RegressionKernel

Гауссовская регрессионая модель ядра с использованием расширения случайных функций

Описание

RegressionKernel является обученным объектом модели для регрессии Гауссова ядра с использованием расширения случайных функций. RegressionKernel является более практичным для приложений больших данных, которые имеют большие наборы обучающих данных, но могут также применяться к меньшим наборам данных, которые помещаются в памяти.

В отличие от других регрессионных моделей и для экономичного использования памяти, RegressionKernel объекты модели не хранят обучающие данные. Однако они хранят такую информацию, как размерность расширенного пространства, параметр шкалы ядра и сила регуляризации.

Можно использовать обученные RegressionKernel модели, чтобы продолжить обучение с использованием обучающих данных, предсказать ответы для новых данных и вычислить среднюю квадратичную невязку или нечувствительную к эпсилону потерю. Для получения дополнительной информации см. resume, predict, и loss.

Создание

Создайте RegressionKernel использование объекта fitrkernel функция. Эта функция преобразует данные в низкомерном пространстве в высокомерное пространство, затем подбирает линейную модель в высокомерном пространстве путем минимизации регуляризованной целевой функции. Получение линейной модели в высокомерном пространстве эквивалентно применению Гауссова ядра к модели в низкомерном пространстве. Доступные линейные регрессионные модели включают регуляризованные машины опорных векторов (SVM) и регрессионые модели методом наименьших квадратов.

Свойства

расширить все

Свойства регрессии ядра

`Epsilon` - Половина ширины эпсилонно-нечувствительной полосы
неотрицательный скаляр

Половина ширины эпсилонно-нечувствительной полосы, заданная как неотрицательный скаляр.

Если Learner не 'svm', затем Epsilon - пустой массив ([]).

Типы данных: single | double

`Learner` - Тип линейной регрессионной модели
`'svm'` (по умолчанию) | `'leastsquares'`

Тип линейной регрессионой модели, заданный как 'leastsquares' или 'svm'.

В следующей таблице: $f (x) = T (x) β + b .$

x является наблюдением ( вектором-строкой) от p предиктора переменных.
$T (\cdot)$ является преобразованием наблюдения ( вектора-строки) для функции расширения. T (x) карты x в $ℝ^{p}$ в высокомерное пространство ( $ℝ^{m}$ ).
β является вектором m коэффициентов.
b - скалярное смещение.

Значение	Алгоритм	Функция потерь	`FittedLoss` Значение
`'leastsquares'`	Линейная регрессия через обыкновенные наименьшие квадраты	Средняя квадратичная невязка (MSE): $ℓ [y, f (x)] = \frac{1}{2} {[y - f (x)]}^{2}$	`'mse'`
`'svm'`	Машина опорных векторов регрессия	Эпсилон нечувствительный: $ℓ [y, f (x)] = \max [0, \| y - f (x) \| - ε]$	`'epsiloninsensitive'`

`NumExpansionDimensions` - Количество размерностей расширенного пространства
положительное целое число

Количество размерностей расширенного пространства, заданное как положительное целое число.

Типы данных: single | double

`KernelScale` - параметр шкалы ядра
положительная скалярная величина

Параметр шкалы ядра, заданный как положительная скалярная величина.

Типы данных: single | double

`BoxConstraint` - Прямоугольное ограничение
положительная скалярная величина

Прямоугольное ограничение, заданное как положительная скалярная величина.

Типы данных: double | single

`Lambda` - Прочность термина регуляризации
неотрицательный скаляр

Сила термина регуляризации, заданная как неотрицательный скаляр.

Типы данных: single | double

`FittedLoss` - Функция потерь, используемая для соответствия линейной модели
`'epsiloninsensitive'` | `'mse'`

Функция потерь, используемая для соответствия линейной модели, задается как 'epsiloninsensitive' или 'mse'.

Значение	Алгоритм	Функция потерь	`Learner` Значение
`'epsiloninsensitive'`	Машина опорных векторов регрессия	Эпсилон нечувствительный: $ℓ [y, f (x)] = \max [0, \| y - f (x) \| - ε]$	`'svm'`
`'mse'`	Линейная регрессия через обыкновенные наименьшие квадраты	Средняя квадратичная невязка (MSE): $ℓ [y, f (x)] = \frac{1}{2} {[y - f (x)]}^{2}$	`'leastsquares'`

`Regularization` - Тип штрафа сложности
`'lasso (L1)'` | `'ridge (L2)'`

Тип штрафа сложности, заданный как 'lasso (L1)' или 'ridge (L2)'.

Программное обеспечение составляет целевую функцию для минимизации из суммы функции средних потерь (см FittedLoss) и значение регуляризации из этой таблицы.

Значение	Описание
`'lasso (L1)'`	Лассо (L 1) штраф : $λ \sum_{j = 1}^{p} \| β_{j} \|$
`'ridge (L2)'`	Хребет (L 2) штраф : $\frac{λ}{2} \sum_{j = 1}^{p} β_{j}^{2}$

λ определяет силу термина регуляризации (см Lambda).

Программа исключает термин смещения (β 0) из штрафа за регуляризацию.

Другие регрессионные свойства

`CategoricalPredictors` - Индексы категориальных предикторов
вектор положительных целых чисел

Категориальные индексы предиктора, заданные как вектор положительных целых чисел. CategoricalPredictors содержит значения индекса, соответствующие столбцам данных предиктора, которые содержат категориальные предикторы. Если ни один из предикторов не является категориальным, то это свойство пустое ([]).

Типы данных: single | double

`ModelParameters` - Параметры, используемые для обучающей модели
структура

Параметры, используемые для настройки RegressionKernel модель, заданная как структура.

Доступ к полям ModelParameters использование записи через точку. Для примера получите доступ к относительной погрешности о линейных коэффициентах и термине смещения при помощи Mdl.ModelParameters.BetaTolerance.

Типы данных: struct

`PredictorNames` - Имена предикторов
массив ячеек из векторов символов

Имена предиктора в порядке их внешнего вида в данных предиктора, заданные как массив ячеек из векторов символов. Длина PredictorNames равен количеству столбцов, используемых в качестве переменных предиктора в обучающих данных X или Tbl.

Типы данных: cell

`ExpandedPredictorNames` - Расширенные имена предикторов
массив ячеек из векторов символов

Расширенные имена предикторов, заданные как массив ячеек из векторов символов.

Если модель использует кодировку для категориальных переменных, то ExpandedPredictorNames включает имена, которые описывают расширенные переменные. В противном случае ExpandedPredictorNames то же, что и PredictorNames.

Типы данных: cell

`ResponseName` - Имя переменной отклика
вектор символов

Имя переменной отклика, заданное как вектор символов.

Типы данных: char

`ResponseTransform` - Функция преобразования отклика для применения к предсказанным откликам
`'none'` | указатель на функцию

Функция преобразования отклика для применения к предсказанным откликам, заданная как 'none' или указатель на функцию.

Для регрессионных моделей ядра и перед преобразованием отклика предсказанный ответ для x наблюдения ( вектора-строки) является $f (x) = T (x) β + b .$

$T (\cdot)$ является преобразованием наблюдения для расширения функции.
β соответствует Mdl.Beta.
b соответствует Mdl.Bias.

Для MATLAB^® function или функция, которую вы задаете, вводите указатель на функцию. Для примера можно ввести Mdl.ResponseTransform = @function, где function принимает числовой вектор исходных откликов и возвращает числовой вектор того же размера, содержащий преобразованные отклики.

Типы данных: char | function_handle

Функции объекта

`lime`	Локальные интерпретируемые модели-агностические объяснения (LIME)
`loss`	Регрессионые потери для модели регрессии Гауссова ядра
`partialDependence`	Вычисление частичной зависимости
`plotPartialDependence`	Создайте график частичной зависимости (PDP) и отдельные графики условного ожидания (ICE)
`predict`	Предсказать ответы для модели регрессии Гауссова ядра
`resume`	Возобновите обучение модели регрессии Гауссова ядра
`shapley`	Значения Shapley

Примеры

свернуть все

Обучите регрессионую модель Гауссова ядра

Открыть Live Script

Обучите регрессионую модель ядра для длинный массив с помощью SVM.

При выполнении вычислений на длинные массивы MATLAB ® использует либо параллельный пул (по умолчанию, если у вас есть Parallel Computing Toolbox™), либо локальный сеанс работы с MATLAB. Чтобы запустить пример с использованием локального сеанса работы с MATLAB, когда у вас есть Parallel Computing Toolbox, измените глобальное окружение выполнения с помощью mapreducer функция.

mapreducer(0)

Создайте datastore, которое ссылается на расположение папки с данными. Данные могут содержаться в одном файле, наборе файлов или целой папке. Лечите 'NA' значения как отсутствующие данные, так что datastore заменяет их на NaN значения. Выберите подмножество переменных для использования. Составьте длинная таблица в верхней части datastore.

varnames = {'ArrTime','DepTime','ActualElapsedTime'};
ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
    'SelectedVariableNames',varnames);
t = tall(ds);

Задайте DepTime и ArrTime как переменные предиктора (X) и ActualElapsedTime как переменная отклика (Y). Выберите наблюдения, для которых ArrTime позже DepTime.

daytime = t.ArrTime>t.DepTime;
Y = t.ActualElapsedTime(daytime);     % Response data
X = t{daytime,{'DepTime' 'ArrTime'}}; % Predictor data

Стандартизируйте переменные предиктора.

Z = zscore(X); % Standardize the data

Обучите регрессионую модель Гауссова ядра по умолчанию со стандартизированными предикторами. Извлеките сводные данные подгонки, чтобы определить, насколько хорошо алгоритм оптимизации подходит модели к данным.

[Mdl,FitInfo] = fitrkernel(Z,Y)

Found 6 chunks.
|=========================================================================
| Solver | Iteration  /  |   Objective   |   Gradient    | Beta relative |
|        | Data Pass     |               |   magnitude   |    change     |
|=========================================================================
|   INIT |     0 /     1 |  4.307833e+01 |  4.345788e-02 |           NaN |
|  LBFGS |     0 /     2 |  3.705713e+01 |  1.577301e-02 |  9.988252e-01 |
|  LBFGS |     1 /     3 |  3.704022e+01 |  3.082836e-02 |  1.338410e-03 |
|  LBFGS |     2 /     4 |  3.701398e+01 |  3.006488e-02 |  1.116070e-03 |
|  LBFGS |     2 /     5 |  3.698797e+01 |  2.870642e-02 |  2.234599e-03 |
|  LBFGS |     2 /     6 |  3.693687e+01 |  2.625581e-02 |  4.479069e-03 |
|  LBFGS |     2 /     7 |  3.683757e+01 |  2.239620e-02 |  8.997877e-03 |
|  LBFGS |     2 /     8 |  3.665038e+01 |  1.782358e-02 |  1.815682e-02 |
|  LBFGS |     3 /     9 |  3.473411e+01 |  4.074480e-02 |  1.778166e-01 |
|  LBFGS |     4 /    10 |  3.684246e+01 |  1.608942e-01 |  3.294968e-01 |
|  LBFGS |     4 /    11 |  3.441595e+01 |  8.587703e-02 |  1.420892e-01 |
|  LBFGS |     5 /    12 |  3.377755e+01 |  3.760006e-02 |  4.640134e-02 |
|  LBFGS |     6 /    13 |  3.357732e+01 |  1.912644e-02 |  3.842057e-02 |
|  LBFGS |     7 /    14 |  3.334081e+01 |  3.046709e-02 |  6.211243e-02 |
|  LBFGS |     8 /    15 |  3.309239e+01 |  3.858085e-02 |  6.411356e-02 |
|  LBFGS |     9 /    16 |  3.276577e+01 |  3.612292e-02 |  6.938579e-02 |
|  LBFGS |    10 /    17 |  3.234029e+01 |  2.734959e-02 |  1.144307e-01 |
|  LBFGS |    11 /    18 |  3.205763e+01 |  2.545990e-02 |  7.323180e-02 |
|  LBFGS |    12 /    19 |  3.183341e+01 |  2.472411e-02 |  3.689625e-02 |
|  LBFGS |    13 /    20 |  3.169307e+01 |  2.064613e-02 |  2.998555e-02 |
|=========================================================================
| Solver | Iteration  /  |   Objective   |   Gradient    | Beta relative |
|        | Data Pass     |               |   magnitude   |    change     |
|=========================================================================
|  LBFGS |    14 /    21 |  3.146896e+01 |  1.788395e-02 |  5.967293e-02 |
|  LBFGS |    15 /    22 |  3.118171e+01 |  1.660696e-02 |  1.124062e-01 |
|  LBFGS |    16 /    23 |  3.106224e+01 |  1.506147e-02 |  7.947037e-02 |
|  LBFGS |    17 /    24 |  3.098395e+01 |  1.564561e-02 |  2.678370e-02 |
|  LBFGS |    18 /    25 |  3.096029e+01 |  4.464104e-02 |  4.547148e-02 |
|  LBFGS |    19 /    26 |  3.085475e+01 |  1.442800e-02 |  1.677268e-02 |
|  LBFGS |    20 /    27 |  3.078140e+01 |  1.906548e-02 |  2.275185e-02 |
|========================================================================|

Mdl = 
  RegressionKernel
            PredictorNames: {'x1'  'x2'}
              ResponseName: 'Y'
                   Learner: 'svm'
    NumExpansionDimensions: 64
               KernelScale: 1
                    Lambda: 8.5385e-06
             BoxConstraint: 1
                   Epsilon: 5.9303


  Properties, Methods

FitInfo = struct with fields:
                  Solver: 'LBFGS-tall'
            LossFunction: 'epsiloninsensitive'
                  Lambda: 8.5385e-06
           BetaTolerance: 1.0000e-03
       GradientTolerance: 1.0000e-05
          ObjectiveValue: 30.7814
       GradientMagnitude: 0.0191
    RelativeChangeInBeta: 0.0228
                 FitTime: 56.8110
                 History: [1x1 struct]

Mdl является RegressionKernel модель. Чтобы просмотреть ошибку регрессии, можно пройти Mdl и обучающих данных или новых данных для loss функция. Или ты можешь пройти Mdl и новые данные предиктора в predict функция для предсказания ответов на новые наблюдения. Можно также пройти Mdl и обучающих данных к resume функция для продолжения обучения.

FitInfo - массив структур, содержащий информацию об оптимизации. Использование FitInfo для определения, являются ли измерения оптимизации завершением удовлетворительными.

Для повышения точности можно увеличить максимальное количество итераций оптимизации ('IterationLimit') и уменьшить значения допусков ('BetaTolerance' и 'GradientTolerance') при помощи аргументов пары "имя-значение" fitrkernel. Это может улучшить такие меры, как ObjectiveValue и RelativeChangeInBeta в FitInfo. Можно также оптимизировать параметры модели при помощи 'OptimizeHyperparameters' аргумент пары "имя-значение".

Оценка потерь выборки и возобновление обучения

Открыть Live Script

Возобновите обучение регрессионной модели Гауссова ядра для больших итераций, чтобы улучшить регрессионую потерю.

Загрузите carbig набор данных.

load carbig

Задайте переменные предиктора (X) и переменной отклика (Y).

X = [Acceleration,Cylinders,Displacement,Horsepower,Weight];
Y = MPG;

Удалите строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передачей данных в fitrkernel может ускорить обучение и уменьшить использование памяти.

R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5); 
Y = R(:,end);

Зарезервируйте 10% наблюдений в виде отсеченной выборки. Извлеките индексы обучения и тестирования из определения раздела.

rng(10)  % For reproducibility
N = length(Y);
cvp = cvpartition(N,'Holdout',0.1);
idxTrn = training(cvp); % Training set indices
idxTest = test(cvp);    % Test set indices

Стандартизируйте обучающие данные и обучите регрессионую модель ядра. Установите предел итерации равный 5 и задайте 'Verbose',1 для отображения диагностической информации.

Xtrain = X(idxTrn,:);
Ytrain = Y(idxTrn);
[Ztrain,tr_mu,tr_sigma] = zscore(Xtrain); % Standardize the training data
tr_sigma(tr_sigma==0) = 1;
Mdl = fitrkernel(Ztrain,Ytrain,'IterationLimit',5,'Verbose',1)

|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |            0 |  5.691016e+00 |  0.000000e+00 |  5.852758e-02 |                |             0 |
|  LBFGS |      1 |            1 |  5.086537e+00 |  8.000000e+00 |  5.220869e-02 |   9.846711e-02 |           256 |
|  LBFGS |      1 |            2 |  3.862301e+00 |  5.000000e-01 |  3.796034e-01 |   5.998808e-01 |           256 |
|  LBFGS |      1 |            3 |  3.460613e+00 |  1.000000e+00 |  3.257790e-01 |   1.615091e-01 |           256 |
|  LBFGS |      1 |            4 |  3.136228e+00 |  1.000000e+00 |  2.832861e-02 |   8.006254e-02 |           256 |
|  LBFGS |      1 |            5 |  3.063978e+00 |  1.000000e+00 |  1.475038e-02 |   3.314455e-02 |           256 |
|=================================================================================================================|

Mdl = 
  RegressionKernel
              ResponseName: 'Y'
                   Learner: 'svm'
    NumExpansionDimensions: 256
               KernelScale: 1
                    Lambda: 0.0028
             BoxConstraint: 1
                   Epsilon: 0.8617


  Properties, Methods

Mdl является RegressionKernel модель.

Стандартизируйте тестовые данные, используя одно и то же среднее и стандартное отклонение столбцов обучающих данных. Оцените нечувствительную к эпсилону ошибку для тестового набора.

Xtest = X(idxTest,:);
Ztest = (Xtest-tr_mu)./tr_sigma; % Standardize the test data
Ytest = Y(idxTest);

L = loss(Mdl,Ztest,Ytest,'LossFun','epsiloninsensitive')

L = 2.0674

Продолжите обучение модели при помощи resume. Эта функция продолжает обучение с теми же опциями, что и для обучения Mdl.

UpdatedMdl = resume(Mdl,Ztrain,Ytrain);

|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |            0 |  3.063978e+00 |  0.000000e+00 |  1.475038e-02 |                |           256 |
|  LBFGS |      1 |            1 |  3.007822e+00 |  8.000000e+00 |  1.391637e-02 |   2.603966e-02 |           256 |
|  LBFGS |      1 |            2 |  2.817171e+00 |  5.000000e-01 |  5.949008e-02 |   1.918084e-01 |           256 |
|  LBFGS |      1 |            3 |  2.807294e+00 |  2.500000e-01 |  6.798867e-02 |   2.973097e-02 |           256 |
|  LBFGS |      1 |            4 |  2.791060e+00 |  1.000000e+00 |  2.549575e-02 |   1.639328e-02 |           256 |
|  LBFGS |      1 |            5 |  2.767821e+00 |  1.000000e+00 |  6.154419e-03 |   2.468903e-02 |           256 |
|  LBFGS |      1 |            6 |  2.738163e+00 |  1.000000e+00 |  5.949008e-02 |   9.476263e-02 |           256 |
|  LBFGS |      1 |            7 |  2.719146e+00 |  1.000000e+00 |  1.699717e-02 |   1.849972e-02 |           256 |
|  LBFGS |      1 |            8 |  2.705941e+00 |  1.000000e+00 |  3.116147e-02 |   4.152590e-02 |           256 |
|  LBFGS |      1 |            9 |  2.701162e+00 |  1.000000e+00 |  5.665722e-03 |   9.401466e-03 |           256 |
|  LBFGS |      1 |           10 |  2.695341e+00 |  5.000000e-01 |  3.116147e-02 |   4.968046e-02 |           256 |
|  LBFGS |      1 |           11 |  2.691277e+00 |  1.000000e+00 |  8.498584e-03 |   1.017446e-02 |           256 |
|  LBFGS |      1 |           12 |  2.689972e+00 |  1.000000e+00 |  1.983003e-02 |   9.938921e-03 |           256 |
|  LBFGS |      1 |           13 |  2.688979e+00 |  1.000000e+00 |  1.416431e-02 |   6.606316e-03 |           256 |
|  LBFGS |      1 |           14 |  2.687787e+00 |  1.000000e+00 |  1.621956e-03 |   7.089542e-03 |           256 |
|  LBFGS |      1 |           15 |  2.686539e+00 |  1.000000e+00 |  1.699717e-02 |   1.169701e-02 |           256 |
|  LBFGS |      1 |           16 |  2.685356e+00 |  1.000000e+00 |  1.133144e-02 |   1.069310e-02 |           256 |
|  LBFGS |      1 |           17 |  2.685021e+00 |  5.000000e-01 |  1.133144e-02 |   2.104248e-02 |           256 |
|  LBFGS |      1 |           18 |  2.684002e+00 |  1.000000e+00 |  2.832861e-03 |   6.175231e-03 |           256 |
|  LBFGS |      1 |           19 |  2.683507e+00 |  1.000000e+00 |  5.665722e-03 |   3.724026e-03 |           256 |
|  LBFGS |      1 |           20 |  2.683343e+00 |  5.000000e-01 |  5.665722e-03 |   9.549119e-03 |           256 |
|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |           21 |  2.682897e+00 |  1.000000e+00 |  5.665722e-03 |   7.172867e-03 |           256 |
|  LBFGS |      1 |           22 |  2.682682e+00 |  1.000000e+00 |  2.832861e-03 |   2.587726e-03 |           256 |
|  LBFGS |      1 |           23 |  2.682485e+00 |  1.000000e+00 |  2.832861e-03 |   2.953648e-03 |           256 |
|  LBFGS |      1 |           24 |  2.682326e+00 |  1.000000e+00 |  2.832861e-03 |   7.777294e-03 |           256 |
|  LBFGS |      1 |           25 |  2.681914e+00 |  1.000000e+00 |  2.832861e-03 |   2.778555e-03 |           256 |
|  LBFGS |      1 |           26 |  2.681867e+00 |  5.000000e-01 |  1.031085e-03 |   3.638352e-03 |           256 |
|  LBFGS |      1 |           27 |  2.681725e+00 |  1.000000e+00 |  5.665722e-03 |   1.515199e-03 |           256 |
|  LBFGS |      1 |           28 |  2.681692e+00 |  5.000000e-01 |  1.314940e-03 |   1.850055e-03 |           256 |
|  LBFGS |      1 |           29 |  2.681625e+00 |  1.000000e+00 |  2.832861e-03 |   1.456903e-03 |           256 |
|  LBFGS |      1 |           30 |  2.681594e+00 |  5.000000e-01 |  2.832861e-03 |   8.704875e-04 |           256 |
|  LBFGS |      1 |           31 |  2.681581e+00 |  5.000000e-01 |  8.498584e-03 |   3.934768e-04 |           256 |
|  LBFGS |      1 |           32 |  2.681579e+00 |  1.000000e+00 |  8.498584e-03 |   1.847866e-03 |           256 |
|  LBFGS |      1 |           33 |  2.681553e+00 |  1.000000e+00 |  9.857038e-04 |   6.509825e-04 |           256 |
|  LBFGS |      1 |           34 |  2.681541e+00 |  5.000000e-01 |  8.498584e-03 |   6.635528e-04 |           256 |
|  LBFGS |      1 |           35 |  2.681499e+00 |  1.000000e+00 |  5.665722e-03 |   6.194735e-04 |           256 |
|  LBFGS |      1 |           36 |  2.681493e+00 |  5.000000e-01 |  1.133144e-02 |   1.617763e-03 |           256 |
|  LBFGS |      1 |           37 |  2.681473e+00 |  1.000000e+00 |  9.869233e-04 |   8.418484e-04 |           256 |
|  LBFGS |      1 |           38 |  2.681469e+00 |  1.000000e+00 |  5.665722e-03 |   1.069722e-03 |           256 |
|  LBFGS |      1 |           39 |  2.681432e+00 |  1.000000e+00 |  2.832861e-03 |   8.501930e-04 |           256 |
|  LBFGS |      1 |           40 |  2.681423e+00 |  2.500000e-01 |  1.133144e-02 |   9.543716e-04 |           256 |
|=================================================================================================================|
| Solver |  Pass  |   Iteration  |   Objective   |     Step      |    Gradient   |    Relative    |  sum(beta~=0) |
|        |        |              |               |               |   magnitude   | change in Beta |               |
|=================================================================================================================|
|  LBFGS |      1 |           41 |  2.681416e+00 |  1.000000e+00 |  2.832861e-03 |   8.763251e-04 |           256 |
|  LBFGS |      1 |           42 |  2.681413e+00 |  5.000000e-01 |  2.832861e-03 |   4.101888e-04 |           256 |
|  LBFGS |      1 |           43 |  2.681403e+00 |  1.000000e+00 |  5.665722e-03 |   2.713209e-04 |           256 |
|  LBFGS |      1 |           44 |  2.681392e+00 |  1.000000e+00 |  2.832861e-03 |   2.115241e-04 |           256 |
|  LBFGS |      1 |           45 |  2.681383e+00 |  1.000000e+00 |  2.832861e-03 |   2.872858e-04 |           256 |
|  LBFGS |      1 |           46 |  2.681374e+00 |  1.000000e+00 |  8.498584e-03 |   5.771001e-04 |           256 |
|  LBFGS |      1 |           47 |  2.681353e+00 |  1.000000e+00 |  2.832861e-03 |   3.160871e-04 |           256 |
|  LBFGS |      1 |           48 |  2.681334e+00 |  5.000000e-01 |  8.498584e-03 |   1.045502e-03 |           256 |
|  LBFGS |      1 |           49 |  2.681314e+00 |  1.000000e+00 |  7.878714e-04 |   1.505118e-03 |           256 |
|  LBFGS |      1 |           50 |  2.681306e+00 |  1.000000e+00 |  2.832861e-03 |   4.756894e-04 |           256 |
|  LBFGS |      1 |           51 |  2.681301e+00 |  1.000000e+00 |  1.133144e-02 |   3.664873e-04 |           256 |
|  LBFGS |      1 |           52 |  2.681288e+00 |  1.000000e+00 |  2.832861e-03 |   1.449821e-04 |           256 |
|  LBFGS |      1 |           53 |  2.681287e+00 |  2.500000e-01 |  1.699717e-02 |   2.357176e-04 |           256 |
|  LBFGS |      1 |           54 |  2.681282e+00 |  1.000000e+00 |  5.665722e-03 |   2.046663e-04 |           256 |
|  LBFGS |      1 |           55 |  2.681278e+00 |  1.000000e+00 |  2.832861e-03 |   2.546349e-04 |           256 |
|  LBFGS |      1 |           56 |  2.681276e+00 |  2.500000e-01 |  1.307940e-03 |   1.966786e-04 |           256 |
|  LBFGS |      1 |           57 |  2.681274e+00 |  5.000000e-01 |  1.416431e-02 |   1.005310e-04 |           256 |
|  LBFGS |      1 |           58 |  2.681271e+00 |  5.000000e-01 |  1.118892e-03 |   1.147324e-04 |           256 |
|  LBFGS |      1 |           59 |  2.681269e+00 |  1.000000e+00 |  2.832861e-03 |   1.332914e-04 |           256 |
|  LBFGS |      1 |           60 |  2.681268e+00 |  2.500000e-01 |  1.132045e-03 |   5.441369e-05 |           256 |
|=================================================================================================================|

Оцените нечувствительную к эпсилону ошибку для тестового набора с помощью обновленной модели.

UpdatedL = loss(UpdatedMdl,Ztest,Ytest,'LossFun','epsiloninsensitive')

UpdatedL = 1.8933

Ошибка регрессии уменьшается в множителе около 0.08 после resume обновляет регрессионую модель с большим количеством итераций.

См. также

fitrkernel | fitrlinear | RegressionLinear

Введенный в R2018a

Документация

RegressionKernel

Описание

Создание

Свойства

Свойства регрессии ядра

`Epsilon` - Половина ширины эпсилонно-нечувствительной полосы
неотрицательный скаляр

`Learner` - Тип линейной регрессионной модели
`'svm'` (по умолчанию) | `'leastsquares'`

`NumExpansionDimensions` - Количество размерностей расширенного пространства
положительное целое число

`KernelScale` - параметр шкалы ядра
положительная скалярная величина

`BoxConstraint` - Прямоугольное ограничение
положительная скалярная величина

`Lambda` - Прочность термина регуляризации
неотрицательный скаляр

`FittedLoss` - Функция потерь, используемая для соответствия линейной модели
`'epsiloninsensitive'` | `'mse'`

`Regularization` - Тип штрафа сложности
`'lasso (L1)'` | `'ridge (L2)'`

Другие регрессионные свойства

`CategoricalPredictors` - Индексы категориальных предикторов
вектор положительных целых чисел

`ModelParameters` - Параметры, используемые для обучающей модели
структура

`PredictorNames` - Имена предикторов
массив ячеек из векторов символов

`ExpandedPredictorNames` - Расширенные имена предикторов
массив ячеек из векторов символов

`ResponseName` - Имя переменной отклика
вектор символов

`ResponseTransform` - Функция преобразования отклика для применения к предсказанным откликам
`'none'` | указатель на функцию

Функции объекта

Примеры

Обучите регрессионую модель Гауссова ядра

Оценка потерь выборки и возобновление обучения

См. также

Statistics and Machine Learning Toolbox документация

Поддержка

Документация

RegressionKernel

Описание

Создание

Свойства

Свойства регрессии ядра

Epsilon - Половина ширины эпсилонно-нечувствительной полосы неотрицательный скаляр

Learner - Тип линейной регрессионной модели 'svm' (по умолчанию) | 'leastsquares'

NumExpansionDimensions - Количество размерностей расширенного пространства положительное целое число

KernelScale - параметр шкалы ядра положительная скалярная величина

BoxConstraint - Прямоугольное ограничение положительная скалярная величина

Lambda - Прочность термина регуляризации неотрицательный скаляр

FittedLoss - Функция потерь, используемая для соответствия линейной модели 'epsiloninsensitive' | 'mse'

Regularization - Тип штрафа сложности 'lasso (L1)' | 'ridge (L2)'

Другие регрессионные свойства

CategoricalPredictors - Индексы категориальных предикторов вектор положительных целых чисел

ModelParameters - Параметры, используемые для обучающей модели структура

PredictorNames - Имена предикторов массив ячеек из векторов символов

ExpandedPredictorNames - Расширенные имена предикторов массив ячеек из векторов символов

ResponseName - Имя переменной отклика вектор символов

ResponseTransform - Функция преобразования отклика для применения к предсказанным откликам 'none' | указатель на функцию

Функции объекта

Примеры

Обучите регрессионую модель Гауссова ядра

Оценка потерь выборки и возобновление обучения

См. также

Statistics and Machine Learning Toolbox документация

Поддержка

`Epsilon` - Половина ширины эпсилонно-нечувствительной полосы
неотрицательный скаляр

`Learner` - Тип линейной регрессионной модели
`'svm'` (по умолчанию) | `'leastsquares'`

`NumExpansionDimensions` - Количество размерностей расширенного пространства
положительное целое число

`KernelScale` - параметр шкалы ядра
положительная скалярная величина

`BoxConstraint` - Прямоугольное ограничение
положительная скалярная величина

`Lambda` - Прочность термина регуляризации
неотрицательный скаляр

`FittedLoss` - Функция потерь, используемая для соответствия линейной модели
`'epsiloninsensitive'` | `'mse'`

`Regularization` - Тип штрафа сложности
`'lasso (L1)'` | `'ridge (L2)'`

`CategoricalPredictors` - Индексы категориальных предикторов
вектор положительных целых чисел

`ModelParameters` - Параметры, используемые для обучающей модели
структура

`PredictorNames` - Имена предикторов
массив ячеек из векторов символов

`ExpandedPredictorNames` - Расширенные имена предикторов
массив ячеек из векторов символов

`ResponseName` - Имя переменной отклика
вектор символов

`ResponseTransform` - Функция преобразования отклика для применения к предсказанным откликам
`'none'` | указатель на функцию