RegressionKernel

Гауссова модель регрессии ядра использование случайного расширения функции

Описание

RegressionKernel является обученным объектом модели для Гауссовой регрессии ядра с помощью случайного расширения функции. RegressionKernel более практичен для больших применений данных, которые имеют большие наборы обучающих данных, но могут также быть применены к меньшим наборам данных, которые умещаются в памяти.

В отличие от других моделей регрессии, и для экономичного использования памяти, объекты модели RegressionKernel не хранят данные тренировки. Однако они действительно хранят информацию, такую как размерность расширенного пробела, масштабного коэффициента ядра и силы регуляризации.

Можно использовать обученные модели RegressionKernel, чтобы продолжить обучение с помощью данных тренировки, предсказать ответы для новых данных и вычислить среднеквадратическую ошибку или нечувствительную к эпсилону потерю. Для получения дополнительной информации смотрите resume, predict и loss.

Создание

Создайте объект RegressionKernel с помощью функции fitrkernel. Эти функциональные данные о картах в низком мерном пространстве в высокое мерное пространство, затем приспосабливает линейную модель в высоком мерном пространстве путем минимизации упорядоченной целевой функции. Получение линейной модели в высоком мерном пространстве эквивалентно применению Гауссова ядра к модели в низком мерном пространстве. Доступные модели линейной регрессии включают упорядоченные машины вектора поддержки (SVM) и модели регрессии наименьших квадратов.

Свойства

развернуть все

Свойства регрессии ядра

`\epsilon` Полуширина нечувствительной к эпсилону полосы
неотрицательный скаляр

Половина ширины нечувствительной к эпсилону полосы, заданной как неотрицательный скаляр.

Если Learner не является 'svm', то Epsilon является пустым массивом ([]).

Типы данных: single | double

`Learner` — Тип модели линейной регрессии
`'svm'` (значение по умолчанию) | `'leastsquares'`

Тип модели линейной регрессии, заданный как 'leastsquares' или 'svm'.

В следующей таблице, $f (x) = T (x) β + b .$

x является наблюдением (вектор - строка) от переменных прогноза p.
$T (\cdot)$ преобразование наблюдения (вектор - строка) для расширения функции. T (x) сопоставляет x в $ℝ^{p}$ к высокому мерному пространству ( $ℝ^{m}$ ).
β является вектором коэффициентов m.
b является скалярным смещением.

Значение	Алгоритм	Функция потерь	Значение `FittedLoss`
`'leastsquares'`	Линейная регрессия через обычные наименьшие квадраты	Среднеквадратическая ошибка (MSE): $ℓ [y, f (x)] = \frac{}{12} {[y - f (x)]}^{2}$	`'mse'`
`'svm'`	Поддержите векторную регрессию машины	Нечувствительный к эпсилону: $ℓ [y, f (x)] = \max [0, \| y - f (x) \| - ε]$	`'epsiloninsensitive'`

`NumExpansionDimensions` — Количество размерностей расширенного пробела
положительное целое число

Количество размерностей расширенного пробела, заданного как положительное целое число.

Типы данных: single | double

`KernelScale` — Масштабный коэффициент ядра
положительная скалярная величина

Масштабный коэффициент ядра, заданный как положительная скалярная величина.

Типы данных: single | double

`BoxConstraint` — Ограничение поля
положительная скалярная величина

Ограничение поля, заданное как положительная скалярная величина.

Типы данных: double | single

`\lambda` Сила срока регуляризации
неотрицательный скаляр

Сила срока регуляризации, заданная как неотрицательный скаляр.

Типы данных: single | double

`FittedLoss` — Функция потерь раньше соответствовала линейной модели
`'epsiloninsensitive'` | `'mse'`

Функция потерь раньше соответствовала линейной модели, заданной как 'epsiloninsensitive' или 'mse'.

Значение	Алгоритм	Функция потерь	Значение `Learner`
`'epsiloninsensitive'`	Поддержите векторную регрессию машины	Нечувствительный к эпсилону: $ℓ [y, f (x)] = \max [0, \| y - f (x) \| - ε]$	`'svm'`
`'mse'`	Линейная регрессия через обычные наименьшие квадраты	Среднеквадратическая ошибка (MSE): $ℓ [y, f (x)] = \frac{}{12} {[y - f (x)]}^{2}$	`'leastsquares'`

`Regularization` — Тип штрафа сложности
`'lasso (L1)'` | `'ridge (L2)'`

Тип штрафа сложности, заданный как 'lasso (L1)' или 'ridge (L2)'.

Программное обеспечение составляет целевую функцию для минимизации от суммы средней функции потерь (см. FittedLoss), и значение регуляризации из этой таблицы.

Значение	Описание
`'lasso (L1)'`	Лассо (L ₁) штраф: $λ \sum_{j = 1}^{p} \| β_{j} \|$
`'ridge (L2)'`	Гребень (L ₂) штраф: $\frac{λ}{2} \sum_{j = 1}^{p} β_{j}^{2}$

λ задает силу срока регуляризации (см. Lambda).

Программное обеспечение исключает срок смещения (β ₀) от штрафа регуляризации.

Другие свойства регрессии

`CategoricalPredictors` — Индексы категориальных предикторов
`[]`

Индексы категориальных предикторов, значение которых всегда пусто ([]), потому что модель RegressionKernel не поддерживает категориальные предикторы.

`ModelParameters` — Параметры используются для учебной модели
структура

Параметры использовали для обучения модель RegressionKernel, заданную как структура.

Доступ к полям ModelParameters с помощью записи через точку. Например, получите доступ к относительному допуску на линейных коэффициентах и сроке смещения при помощи Mdl.ModelParameters.BetaTolerance.

Типы данных: struct

`PredictorNames` — Имена предиктора
массив ячеек из символьных векторов

Предиктор называет в порядке их внешнего вида в данных о предикторе X, заданный как массив ячеек из символьных векторов. Длина PredictorNames равна количеству столбцов в X.

Типы данных: cell

`ExpandedPredictorNames` — Расширенные имена предиктора
массив ячеек из символьных векторов

Расширенные имена предиктора, заданные как массив ячеек из символьных векторов.

Поскольку модель RegressionKernel не поддерживает категориальные предикторы, ExpandedPredictorNames и PredictorNames равны.

Типы данных: cell

`ResponseName` — Имя переменной отклика
символьный вектор

Имя переменной отклика, заданное как вектор символов.

Типы данных: char

`ResponseTransform` — Преобразование ответа функционирует, чтобы примениться к предсказанным ответам
`'none'` | указатель на функцию

Преобразование ответа функционирует, чтобы примениться к предсказанным ответам, заданным как 'none' или указатель на функцию.

Для моделей регрессии ядра и перед преобразованием ответа, предсказанным ответом для наблюдения x (вектор - строка) $f (x) = T (x) β + b .$

$T (\cdot)$ преобразование наблюдения для расширения функции.
β соответствует Mdl.Beta.
b соответствует Mdl.Bias.

Для функции MATLAB^® или функции, которую вы задаете, введите ее указатель на функцию. Например, можно ввести Mdl.ResponseTransform = @function, где function принимает числовой вектор исходных ответов и возвращает числовой вектор, одного размера содержащий преобразованные ответы.

Типы данных: char | function_handle

Функции объекта

`loss`	Потеря регрессии для Гауссовой модели регрессии ядра
`predict`	Предскажите ответы для Гауссовой модели регрессии ядра
`resume`	Возобновите обучение Гауссовой модели регрессии ядра

Примеры

свернуть все

Обучите гауссову модель регрессии ядра

Скрипт Open Live Script

Обучите модель регрессии ядра длинному массиву при помощи SVM.

Создайте datastore, который ссылается на местоположение папки с данными. Данные могут содержаться в одном файле, наборе файлов или целой папке. Обработайте значения 'NA' как недостающие данные так, чтобы datastore заменил их на значения NaN. Выберите подмножество переменных, чтобы использовать. Составьте длинную таблицу сверху datastore.

varnames = {'ArrTime','DepTime','ActualElapsedTime'};
ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
    'SelectedVariableNames',varnames);
t = tall(ds);

Задайте DepTime и ArrTime как переменные прогноза (X) и ActualElapsedTime как переменная отклика (Y). Выберите наблюдения, для которых ArrTime позже, чем DepTime.

daytime = t.ArrTime>t.DepTime;
Y = t.ActualElapsedTime(daytime);     % Response data
X = t{daytime,{'DepTime' 'ArrTime'}}; % Predictor data

Стандартизируйте переменные прогноза.

Z = zscore(X); % Standardize the data

Обучите Гауссову модель регрессии ядра по умолчанию со стандартизированными предикторами. Извлеките подходящие сводные данные, чтобы определить, как хорошо алгоритм оптимизации соответствует модели к данным.

[Mdl,FitInfo] = fitrkernel(Z,Y)

Found 6 chunks.
|=========================================================================
| Solver | Iteration  /  |   Objective   |   Gradient    | Beta relative |
|        | Data Pass     |               |   magnitude   |    change     |
|=========================================================================
|   INIT |     0 /     1 |  4.335200e+01 |  9.821993e-02 |           NaN |
|  LBFGS |     0 /     2 |  3.693870e+01 |  1.566041e-02 |  9.988238e-01 |
|  LBFGS |     1 /     3 |  3.692143e+01 |  3.030550e-02 |  1.352488e-03 |
|  LBFGS |     2 /     4 |  3.689521e+01 |  2.919252e-02 |  1.137336e-03 |
|  LBFGS |     2 /     5 |  3.686922e+01 |  2.801905e-02 |  2.277224e-03 |
|  LBFGS |     2 /     6 |  3.681793e+01 |  2.615365e-02 |  4.564688e-03 |
|  LBFGS |     2 /     7 |  3.671782e+01 |  2.276596e-02 |  9.170612e-03 |
|  LBFGS |     2 /     8 |  3.652813e+01 |  1.868733e-02 |  1.850839e-02 |
|  LBFGS |     3 /     9 |  3.442961e+01 |  3.260732e-02 |  2.030226e-01 |
|  LBFGS |     4 /    10 |  3.473328e+01 |  8.506865e-02 |  3.309396e-01 |
|  LBFGS |     4 /    11 |  3.378744e+01 |  5.473648e-02 |  1.428247e-01 |
|  LBFGS |     5 /    12 |  3.329728e+01 |  3.922448e-02 |  1.026073e-01 |
|  LBFGS |     6 /    13 |  3.309615e+01 |  1.551459e-02 |  6.118966e-02 |
|  LBFGS |     7 /    14 |  3.300400e+01 |  1.759430e-02 |  1.918912e-02 |
|  LBFGS |     8 /    15 |  3.277892e+01 |  3.155320e-02 |  4.781893e-02 |
|  LBFGS |     9 /    16 |  3.255352e+01 |  3.435953e-02 |  4.200697e-02 |
|  LBFGS |    10 /    17 |  3.207945e+01 |  6.192847e-02 |  2.161540e-01 |
|  LBFGS |    11 /    18 |  3.171391e+01 |  3.185452e-02 |  1.204747e-01 |
|  LBFGS |    12 /    19 |  3.155433e+01 |  1.183853e-02 |  5.837098e-02 |
|  LBFGS |    13 /    20 |  3.149625e+01 |  1.132499e-02 |  2.169556e-02 |
|=========================================================================
| Solver | Iteration  /  |   Objective   |   Gradient    | Beta relative |
|        | Data Pass     |               |   magnitude   |    change     |
|=========================================================================
|  LBFGS |    14 /    21 |  3.136724e+01 |  1.478355e-02 |  3.132871e-02 |
|  LBFGS |    15 /    22 |  3.115575e+01 |  1.461357e-02 |  7.221907e-02 |
|  LBFGS |    16 /    23 |  3.091292e+01 |  1.900119e-02 |  1.237602e-01 |
|  LBFGS |    17 /    24 |  3.076649e+01 |  3.469328e-02 |  1.664433e-01 |
|  LBFGS |    18 /    25 |  3.104221e+01 |  1.341798e-01 |  2.831585e-02 |
|  LBFGS |    18 /    26 |  3.076703e+01 |  4.929652e-02 |  1.414956e-02 |
|  LBFGS |    18 /    27 |  3.073332e+01 |  1.434614e-02 |  7.072158e-03 |
|  LBFGS |    19 /    28 |  3.067248e+01 |  9.931353e-03 |  2.438284e-02 |
|  LBFGS |    20 /    29 |  3.063153e+01 |  6.781994e-03 |  1.606731e-02 |
|========================================================================|

Mdl = 
  RegressionKernel
            PredictorNames: {'x1'  'x2'}
              ResponseName: 'Y'
                   Learner: 'svm'
    NumExpansionDimensions: 64
               KernelScale: 1
                    Lambda: 8.5385e-06
             BoxConstraint: 1
                   Epsilon: 5.9303


  Properties, Methods

FitInfo = struct with fields:
                  Solver: 'LBFGS-tall'
            LossFunction: 'epsiloninsensitive'
                  Lambda: 8.5385e-06
           BetaTolerance: 1.0000e-03
       GradientTolerance: 1.0000e-05
          ObjectiveValue: 30.6315
       GradientMagnitude: 0.0068
    RelativeChangeInBeta: 0.0161
                 FitTime: 77.1910
                 History: [1×1 struct]

Mdl является моделью RegressionKernel. Чтобы осмотреть ошибку регрессии, можно передать Mdl и данные тренировки или новые данные к функции loss. Или, можно передать Mdl и новые данные о предикторе к функции predict, чтобы предсказать ответы для новых наблюдений. Можно также передать Mdl и данные тренировки к функции resume, чтобы продолжить обучение.

FitInfo является массивом структур, содержащим информацию об оптимизации. Используйте FitInfo, чтобы определить, являются ли измерения завершения оптимизации удовлетворительными.

Для улучшенной точности можно увеличить максимальное число итераций оптимизации ('IterationLimit') и уменьшить значения допуска ('BetaTolerance' и 'GradientTolerance') при помощи аргументов пары "имя-значение" fitrkernel. Выполнение так может улучшить меры как ObjectiveValue и RelativeChangeInBeta в FitInfo. Можно также оптимизировать параметры модели при помощи аргумента пары "имя-значение" 'OptimizeHyperparameters'.

Оцените демонстрационную потерю и возобновите обучение

Скрипт Open Live Script

Возобновите обучение Гауссова модель регрессии ядра для большего количества итераций, чтобы улучшить потерю регрессии.

Загрузите набор данных carbig.

load carbig

Задайте переменные прогноза (X) и переменная отклика (Y).

X = [Acceleration,Cylinders,Displacement,Horsepower,Weight];
Y = MPG;

Удалите строки X и Y, где любой массив имеет значения NaN. При удалении строк со значениями NaN, прежде чем передающие данные к fitrkernel могут ускорить обучение и уменьшать использование памяти.

R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5); 
Y = R(:,end);

Зарезервируйте 10% наблюдений как выборка затяжки. Извлеките обучение и протестируйте индексы из определения раздела.

rng(10)  % For reproducibility
N = length(Y);
cvp = cvpartition(N,'Holdout',0.1);
idxTrn = training(cvp); % Training set indices
idxTest = test(cvp);    % Test set indices

Стандартизируйте данные тренировки и обучите модель регрессии ядра. Установите предел итерации к 5 и задайте 'Verbose',1, чтобы отобразить диагностическую информацию.

Xtrain = X(idxTrn,:);
Ytrain = Y(idxTrn);
[Ztrain,tr_mu,tr_sigma] = zscore(Xtrain); % Standardize the training data
tr_sigma(tr_sigma==0) = 1;
Mdl = fitrkernel(Ztrain,Ytrain,'IterationLimit',5,'Verbose',1)

|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |            0 |  5.691016e+00 |  0.000000e+00 |  5.852758e-02 |                |             0 |
|  LBFGS |      1 |            1 |  5.086537e+00 |  8.000000e+00 |  5.220869e-02 |   9.846711e-02 |           256 |
|  LBFGS |      1 |            2 |  3.862301e+00 |  5.000000e-01 |  3.796034e-01 |   5.998808e-01 |           256 |
|  LBFGS |      1 |            3 |  3.460613e+00 |  1.000000e+00 |  3.257790e-01 |   1.615091e-01 |           256 |
|  LBFGS |      1 |            4 |  3.136228e+00 |  1.000000e+00 |  2.832861e-02 |   8.006254e-02 |           256 |
|  LBFGS |      1 |            5 |  3.063978e+00 |  1.000000e+00 |  1.475038e-02 |   3.314455e-02 |           256 |
|=================================================================================================================|

Mdl = 
  RegressionKernel
              ResponseName: 'Y'
                   Learner: 'svm'
    NumExpansionDimensions: 256
               KernelScale: 1
                    Lambda: 0.0028
             BoxConstraint: 1
                   Epsilon: 0.8617


  Properties, Methods

Mdl является a RegressionKernel моделью.

Стандартизируйте тестовые данные с помощью того же среднего и стандартного отклонения столбцов данных тренировки. Оцените нечувствительную к эпсилону ошибку для набора тестов.

Xtest = X(idxTest,:);
Ztest = (Xtest-tr_mu)./tr_sigma; % Standardize the test data
Ytest = Y(idxTest);

L = loss(Mdl,Ztest,Ytest,'LossFun','epsiloninsensitive')

L = 2.0674

Продолжите обучение модель при помощи resume. Эта функция продолжает обучение с теми же опциями, используемыми для учебного Mdl.

UpdatedMdl = resume(Mdl,Ztrain,Ytrain);

|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |            0 |  3.063978e+00 |  0.000000e+00 |  1.475038e-02 |                |           256 |
|  LBFGS |      1 |            1 |  3.007822e+00 |  8.000000e+00 |  1.391637e-02 |   2.603966e-02 |           256 |
|  LBFGS |      1 |            2 |  2.817171e+00 |  5.000000e-01 |  5.949008e-02 |   1.918084e-01 |           256 |
|  LBFGS |      1 |            3 |  2.807294e+00 |  2.500000e-01 |  6.798867e-02 |   2.973097e-02 |           256 |
|  LBFGS |      1 |            4 |  2.791060e+00 |  1.000000e+00 |  2.549575e-02 |   1.639328e-02 |           256 |
|  LBFGS |      1 |            5 |  2.767821e+00 |  1.000000e+00 |  6.154419e-03 |   2.468903e-02 |           256 |
|  LBFGS |      1 |            6 |  2.738163e+00 |  1.000000e+00 |  5.949008e-02 |   9.476263e-02 |           256 |
|  LBFGS |      1 |            7 |  2.719146e+00 |  1.000000e+00 |  1.699717e-02 |   1.849972e-02 |           256 |
|  LBFGS |      1 |            8 |  2.705941e+00 |  1.000000e+00 |  3.116147e-02 |   4.152590e-02 |           256 |
|  LBFGS |      1 |            9 |  2.701162e+00 |  1.000000e+00 |  5.665722e-03 |   9.401466e-03 |           256 |
|  LBFGS |      1 |           10 |  2.695341e+00 |  5.000000e-01 |  3.116147e-02 |   4.968046e-02 |           256 |
|  LBFGS |      1 |           11 |  2.691277e+00 |  1.000000e+00 |  8.498584e-03 |   1.017446e-02 |           256 |
|  LBFGS |      1 |           12 |  2.689972e+00 |  1.000000e+00 |  1.983003e-02 |   9.938921e-03 |           256 |
|  LBFGS |      1 |           13 |  2.688979e+00 |  1.000000e+00 |  1.416431e-02 |   6.606316e-03 |           256 |
|  LBFGS |      1 |           14 |  2.687787e+00 |  1.000000e+00 |  1.621956e-03 |   7.089542e-03 |           256 |
|  LBFGS |      1 |           15 |  2.686539e+00 |  1.000000e+00 |  1.699717e-02 |   1.169701e-02 |           256 |
|  LBFGS |      1 |           16 |  2.685356e+00 |  1.000000e+00 |  1.133144e-02 |   1.069310e-02 |           256 |
|  LBFGS |      1 |           17 |  2.685021e+00 |  5.000000e-01 |  1.133144e-02 |   2.104248e-02 |           256 |
|  LBFGS |      1 |           18 |  2.684002e+00 |  1.000000e+00 |  2.832861e-03 |   6.175231e-03 |           256 |
|  LBFGS |      1 |           19 |  2.683507e+00 |  1.000000e+00 |  5.665722e-03 |   3.724026e-03 |           256 |
|  LBFGS |      1 |           20 |  2.683343e+00 |  5.000000e-01 |  5.665722e-03 |   9.549119e-03 |           256 |
|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |           21 |  2.682897e+00 |  1.000000e+00 |  5.665722e-03 |   7.172867e-03 |           256 |
|  LBFGS |      1 |           22 |  2.682682e+00 |  1.000000e+00 |  2.832861e-03 |   2.587726e-03 |           256 |
|  LBFGS |      1 |           23 |  2.682485e+00 |  1.000000e+00 |  2.832861e-03 |   2.953648e-03 |           256 |
|  LBFGS |      1 |           24 |  2.682326e+00 |  1.000000e+00 |  2.832861e-03 |   7.777294e-03 |           256 |
|  LBFGS |      1 |           25 |  2.681914e+00 |  1.000000e+00 |  2.832861e-03 |   2.778555e-03 |           256 |
|  LBFGS |      1 |           26 |  2.681867e+00 |  5.000000e-01 |  1.031085e-03 |   3.638352e-03 |           256 |
|  LBFGS |      1 |           27 |  2.681725e+00 |  1.000000e+00 |  5.665722e-03 |   1.515199e-03 |           256 |
|  LBFGS |      1 |           28 |  2.681692e+00 |  5.000000e-01 |  1.314940e-03 |   1.850055e-03 |           256 |
|  LBFGS |      1 |           29 |  2.681625e+00 |  1.000000e+00 |  2.832861e-03 |   1.456903e-03 |           256 |
|  LBFGS |      1 |           30 |  2.681594e+00 |  5.000000e-01 |  2.832861e-03 |   8.704875e-04 |           256 |
|  LBFGS |      1 |           31 |  2.681581e+00 |  5.000000e-01 |  8.498584e-03 |   3.934768e-04 |           256 |
|  LBFGS |      1 |           32 |  2.681579e+00 |  1.000000e+00 |  8.498584e-03 |   1.847866e-03 |           256 |
|  LBFGS |      1 |           33 |  2.681553e+00 |  1.000000e+00 |  9.857038e-04 |   6.509825e-04 |           256 |
|  LBFGS |      1 |           34 |  2.681541e+00 |  5.000000e-01 |  8.498584e-03 |   6.635528e-04 |           256 |
|  LBFGS |      1 |           35 |  2.681499e+00 |  1.000000e+00 |  5.665722e-03 |   6.194735e-04 |           256 |
|  LBFGS |      1 |           36 |  2.681493e+00 |  5.000000e-01 |  1.133144e-02 |   1.617763e-03 |           256 |
|  LBFGS |      1 |           37 |  2.681473e+00 |  1.000000e+00 |  9.869233e-04 |   8.418484e-04 |           256 |
|  LBFGS |      1 |           38 |  2.681469e+00 |  1.000000e+00 |  5.665722e-03 |   1.069722e-03 |           256 |
|  LBFGS |      1 |           39 |  2.681432e+00 |  1.000000e+00 |  2.832861e-03 |   8.501930e-04 |           256 |
|  LBFGS |      1 |           40 |  2.681423e+00 |  2.500000e-01 |  1.133144e-02 |   9.543716e-04 |           256 |
|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |           41 |  2.681416e+00 |  1.000000e+00 |  2.832861e-03 |   8.763251e-04 |           256 |
|  LBFGS |      1 |           42 |  2.681413e+00 |  5.000000e-01 |  2.832861e-03 |   4.101888e-04 |           256 |
|  LBFGS |      1 |           43 |  2.681403e+00 |  1.000000e+00 |  5.665722e-03 |   2.713209e-04 |           256 |
|  LBFGS |      1 |           44 |  2.681392e+00 |  1.000000e+00 |  2.832861e-03 |   2.115241e-04 |           256 |
|  LBFGS |      1 |           45 |  2.681383e+00 |  1.000000e+00 |  2.832861e-03 |   2.872858e-04 |           256 |
|  LBFGS |      1 |           46 |  2.681374e+00 |  1.000000e+00 |  8.498584e-03 |   5.771001e-04 |           256 |
|  LBFGS |      1 |           47 |  2.681353e+00 |  1.000000e+00 |  2.832861e-03 |   3.160871e-04 |           256 |
|  LBFGS |      1 |           48 |  2.681334e+00 |  5.000000e-01 |  8.498584e-03 |   1.045502e-03 |           256 |
|  LBFGS |      1 |           49 |  2.681314e+00 |  1.000000e+00 |  7.878714e-04 |   1.505118e-03 |           256 |
|  LBFGS |      1 |           50 |  2.681306e+00 |  1.000000e+00 |  2.832861e-03 |   4.756894e-04 |           256 |
|  LBFGS |      1 |           51 |  2.681301e+00 |  1.000000e+00 |  1.133144e-02 |   3.664873e-04 |           256 |
|  LBFGS |      1 |           52 |  2.681288e+00 |  1.000000e+00 |  2.832861e-03 |   1.449821e-04 |           256 |
|  LBFGS |      1 |           53 |  2.681287e+00 |  2.500000e-01 |  1.699717e-02 |   2.357176e-04 |           256 |
|  LBFGS |      1 |           54 |  2.681282e+00 |  1.000000e+00 |  5.665722e-03 |   2.046663e-04 |           256 |
|  LBFGS |      1 |           55 |  2.681278e+00 |  1.000000e+00 |  2.832861e-03 |   2.546349e-04 |           256 |
|  LBFGS |      1 |           56 |  2.681276e+00 |  2.500000e-01 |  1.307940e-03 |   1.966786e-04 |           256 |
|  LBFGS |      1 |           57 |  2.681274e+00 |  5.000000e-01 |  1.416431e-02 |   1.005310e-04 |           256 |
|  LBFGS |      1 |           58 |  2.681271e+00 |  5.000000e-01 |  1.118892e-03 |   1.147324e-04 |           256 |
|  LBFGS |      1 |           59 |  2.681269e+00 |  1.000000e+00 |  2.832861e-03 |   1.332914e-04 |           256 |
|  LBFGS |      1 |           60 |  2.681268e+00 |  2.500000e-01 |  1.132045e-03 |   5.441369e-05 |           256 |
|=================================================================================================================|

Оцените нечувствительную к эпсилону ошибку для набора тестов с помощью обновленной модели.

UpdatedL = loss(UpdatedMdl,Ztest,Ytest,'LossFun','epsiloninsensitive')

UpdatedL = 1.8933

Ошибочные уменьшения регрессии фактором приблизительно 0.08 после resume обновляют модель регрессии с большим количеством итераций.

Документация

RegressionKernel

Описание

Создание

Свойства

Свойства регрессии ядра

`\epsilon` Полуширина нечувствительной к эпсилону полосы
неотрицательный скаляр

`Learner` — Тип модели линейной регрессии
`'svm'` (значение по умолчанию) | `'leastsquares'`

`NumExpansionDimensions` — Количество размерностей расширенного пробела
положительное целое число

`KernelScale` — Масштабный коэффициент ядра
положительная скалярная величина

`BoxConstraint` — Ограничение поля
положительная скалярная величина

`\lambda` Сила срока регуляризации
неотрицательный скаляр

`FittedLoss` — Функция потерь раньше соответствовала линейной модели
`'epsiloninsensitive'` | `'mse'`

`Regularization` — Тип штрафа сложности
`'lasso (L1)'` | `'ridge (L2)'`

Другие свойства регрессии

`CategoricalPredictors` — Индексы категориальных предикторов
`[]`

`ModelParameters` — Параметры используются для учебной модели
структура

`PredictorNames` — Имена предиктора
массив ячеек из символьных векторов

`ExpandedPredictorNames` — Расширенные имена предиктора
массив ячеек из символьных векторов

`ResponseName` — Имя переменной отклика
символьный вектор

`ResponseTransform` — Преобразование ответа функционирует, чтобы примениться к предсказанным ответам
`'none'` | указатель на функцию

Функции объекта

Примеры

Обучите гауссову модель регрессии ядра

Оцените демонстрационную потерю и возобновите обучение

Смотрите также

Введенный в R2018a

Документация Statistics and Machine Learning Toolbox

Поддержка

Документация

RegressionKernel

Описание

Создание

Свойства

Свойства регрессии ядра

\epsilon Полуширина нечувствительной к эпсилону полосы неотрицательный скаляр

Learner — Тип модели линейной регрессии 'svm' (значение по умолчанию) | 'leastsquares'

NumExpansionDimensions — Количество размерностей расширенного пробела положительное целое число

KernelScale — Масштабный коэффициент ядра положительная скалярная величина

BoxConstraint — Ограничение поля положительная скалярная величина

\lambda Сила срока регуляризации неотрицательный скаляр

FittedLoss — Функция потерь раньше соответствовала линейной модели 'epsiloninsensitive' | 'mse'

Regularization — Тип штрафа сложности 'lasso (L1)' | 'ridge (L2)'

Другие свойства регрессии

CategoricalPredictors — Индексы категориальных предикторов []

ModelParameters — Параметры используются для учебной модели структура

PredictorNames — Имена предиктора массив ячеек из символьных векторов

ExpandedPredictorNames — Расширенные имена предиктора массив ячеек из символьных векторов

ResponseName — Имя переменной отклика символьный вектор

ResponseTransform — Преобразование ответа функционирует, чтобы примениться к предсказанным ответам 'none' | указатель на функцию

Функции объекта

Примеры

Обучите гауссову модель регрессии ядра

Оцените демонстрационную потерю и возобновите обучение

Смотрите также

Введенный в R2018a

Документация Statistics and Machine Learning Toolbox

Поддержка

`\epsilon` Полуширина нечувствительной к эпсилону полосы
неотрицательный скаляр

`Learner` — Тип модели линейной регрессии
`'svm'` (значение по умолчанию) | `'leastsquares'`

`NumExpansionDimensions` — Количество размерностей расширенного пробела
положительное целое число

`KernelScale` — Масштабный коэффициент ядра
положительная скалярная величина

`BoxConstraint` — Ограничение поля
положительная скалярная величина

`\lambda` Сила срока регуляризации
неотрицательный скаляр

`FittedLoss` — Функция потерь раньше соответствовала линейной модели
`'epsiloninsensitive'` | `'mse'`

`Regularization` — Тип штрафа сложности
`'lasso (L1)'` | `'ridge (L2)'`

`CategoricalPredictors` — Индексы категориальных предикторов
`[]`

`ModelParameters` — Параметры используются для учебной модели
структура

`PredictorNames` — Имена предиктора
массив ячеек из символьных векторов

`ExpandedPredictorNames` — Расширенные имена предиктора
массив ячеек из символьных векторов

`ResponseName` — Имя переменной отклика
символьный вектор

`ResponseTransform` — Преобразование ответа функционирует, чтобы примениться к предсказанным ответам
`'none'` | указатель на функцию