Подгонка модели регрессии ядра Гаусса с использованием случайного расширения элементов
fitrkernel выполняет или перекрестную проверку модели регрессии ядра Гаусса для нелинейной регрессии. fitrkernel является более практичным для приложений больших данных, которые имеют большие обучающие наборы, но также могут быть применены к меньшим наборам данных, которые подходят в памяти.
fitrkernel отображает данные в низкоразмерном пространстве в высокомерное пространство, затем укладывает линейную модель в высокомерное пространство путем минимизации регуляризованной целевой функции. Получение линейной модели в высокомерном пространстве эквивалентно применению гауссова ядра к модели в низкоразмерном пространстве. Доступные линейные регрессионные модели включают регуляризованные векторные модели поддержки (SVM) и регрессионные модели наименьших квадратов.
Чтобы обучить нелинейную регрессионную модель SVM данным в памяти, см. раздел fitrsvm.
Mdl = fitrkernel(Tbl,ResponseVarName)Mdl обучены с использованием переменных предиктора, содержащихся в таблице Tbl и значения ответа в Tbl.ResponseVarName.
Mdl = fitrkernel(___,Name,Value)
[ также возвращает результаты оптимизации гиперпараметров при оптимизации гиперпараметров с помощью Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(___)'OptimizeHyperparameters' аргумент пары имя-значение.
Обучение модели регрессии ядра для массива высокого уровня с помощью SVM.
При выполнении вычислений в массивах TALL MATLAB ® использует либо параллельный пул (по умолчанию при наличии Toolbox™ Parallel Computing), либо локальный сеанс MATLAB. Для выполнения примера с использованием локального сеанса MATLAB при наличии панели инструментов Parallel Computing Toolbox измените глобальную среду выполнения с помощью mapreducer функция.
mapreducer(0)
Создайте хранилище данных, которое ссылается на расположение папки с данными. Данные могут содержаться в одном файле, коллекции файлов или во всей папке. Удовольствие 'NA' значения как отсутствующие данные, так что datastore заменяет их на NaN значения. Выберите подмножество переменных для использования. Создайте высокую таблицу поверх хранилища данных.
varnames = {'ArrTime','DepTime','ActualElapsedTime'};
ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
'SelectedVariableNames',varnames);
t = tall(ds);Определить DepTime и ArrTime в качестве переменных предиктора (X) и ActualElapsedTime в качестве переменной ответа (Y). Выберите наблюдения, для которых ArrTime позднее, чем DepTime.
daytime = t.ArrTime>t.DepTime; Y = t.ActualElapsedTime(daytime); % Response data X = t{daytime,{'DepTime' 'ArrTime'}}; % Predictor data
Стандартизация переменных предиктора.
Z = zscore(X); % Standardize the dataОбучение модели регрессии гауссова ядра по умолчанию со стандартизированными предикторами. Извлеките сводку соответствия, чтобы определить, насколько хорошо алгоритм оптимизации соответствует модели данным.
[Mdl,FitInfo] = fitrkernel(Z,Y)
Found 6 chunks. |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | INIT | 0 / 1 | 4.307833e+01 | 4.345788e-02 | NaN | | LBFGS | 0 / 2 | 3.705713e+01 | 1.577301e-02 | 9.988252e-01 | | LBFGS | 1 / 3 | 3.704022e+01 | 3.082836e-02 | 1.338410e-03 | | LBFGS | 2 / 4 | 3.701398e+01 | 3.006488e-02 | 1.116070e-03 | | LBFGS | 2 / 5 | 3.698797e+01 | 2.870642e-02 | 2.234599e-03 | | LBFGS | 2 / 6 | 3.693687e+01 | 2.625581e-02 | 4.479069e-03 | | LBFGS | 2 / 7 | 3.683757e+01 | 2.239620e-02 | 8.997877e-03 | | LBFGS | 2 / 8 | 3.665038e+01 | 1.782358e-02 | 1.815682e-02 | | LBFGS | 3 / 9 | 3.473411e+01 | 4.074480e-02 | 1.778166e-01 | | LBFGS | 4 / 10 | 3.684246e+01 | 1.608942e-01 | 3.294968e-01 | | LBFGS | 4 / 11 | 3.441595e+01 | 8.587703e-02 | 1.420892e-01 | | LBFGS | 5 / 12 | 3.377755e+01 | 3.760006e-02 | 4.640134e-02 | | LBFGS | 6 / 13 | 3.357732e+01 | 1.912644e-02 | 3.842057e-02 | | LBFGS | 7 / 14 | 3.334081e+01 | 3.046709e-02 | 6.211243e-02 | | LBFGS | 8 / 15 | 3.309239e+01 | 3.858085e-02 | 6.411356e-02 | | LBFGS | 9 / 16 | 3.276577e+01 | 3.612292e-02 | 6.938579e-02 | | LBFGS | 10 / 17 | 3.234029e+01 | 2.734959e-02 | 1.144307e-01 | | LBFGS | 11 / 18 | 3.205763e+01 | 2.545990e-02 | 7.323180e-02 | | LBFGS | 12 / 19 | 3.183341e+01 | 2.472411e-02 | 3.689625e-02 | | LBFGS | 13 / 20 | 3.169307e+01 | 2.064613e-02 | 2.998555e-02 | |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | LBFGS | 14 / 21 | 3.146896e+01 | 1.788395e-02 | 5.967293e-02 | | LBFGS | 15 / 22 | 3.118171e+01 | 1.660696e-02 | 1.124062e-01 | | LBFGS | 16 / 23 | 3.106224e+01 | 1.506147e-02 | 7.947037e-02 | | LBFGS | 17 / 24 | 3.098395e+01 | 1.564561e-02 | 2.678370e-02 | | LBFGS | 18 / 25 | 3.096029e+01 | 4.464104e-02 | 4.547148e-02 | | LBFGS | 19 / 26 | 3.085475e+01 | 1.442800e-02 | 1.677268e-02 | | LBFGS | 20 / 27 | 3.078140e+01 | 1.906548e-02 | 2.275185e-02 | |========================================================================|
Mdl =
RegressionKernel
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 64
KernelScale: 1
Lambda: 8.5385e-06
BoxConstraint: 1
Epsilon: 5.9303
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-tall'
LossFunction: 'epsiloninsensitive'
Lambda: 8.5385e-06
BetaTolerance: 1.0000e-03
GradientTolerance: 1.0000e-05
ObjectiveValue: 30.7814
GradientMagnitude: 0.0191
RelativeChangeInBeta: 0.0228
FitTime: 56.8110
History: [1x1 struct]
Mdl является RegressionKernel модель. Для проверки ошибки регрессии можно пройти Mdl и данные обучения или новые данные для loss функция. Или, вы можете пройти Mdl и новые данные предиктора для predict функция для прогнозирования ответов для новых наблюдений. Вы также можете пройти Mdl и данные обучения для resume функция продолжения обучения.
FitInfo - структурный массив, содержащий информацию об оптимизации. Использовать FitInfo чтобы определить, являются ли измерения окончания оптимизации удовлетворительными.
Для повышения точности можно увеличить максимальное число итераций оптимизации ('IterationLimit') и уменьшите значения допуска ('BetaTolerance' и 'GradientTolerance') с использованием аргументов пары имя-значение fitrkernel. Это может улучшить такие меры, как ObjectiveValue и RelativeChangeInBeta в FitInfo. Можно также оптимизировать параметры модели с помощью 'OptimizeHyperparameters' аргумент пары имя-значение.
Загрузить carbig набор данных.
load carbigУкажите переменные предиктора (X) и переменной ответа (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалить строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передачей данных fitrkernel может ускорить обучение и сократить использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизация переменных предиктора.
Z = zscore(X);
Перекрестная проверка модели регрессии ядра с использованием пятикратной перекрестной проверки.
Mdl = fitrkernel(Z,Y,'Kfold',5)Mdl =
RegressionPartitionedKernel
CrossValidatedModel: 'Kernel'
ResponseName: 'Y'
NumObservations: 392
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
numel(Mdl.Trained)
ans = 5
Mdl является RegressionPartitionedKernel модель. Поскольку fitrkernel реализует пятикратную перекрестную проверку, Mdl содержит пять RegressionKernel модели, которые программное обеспечение обучает тренировочным (кратным) наблюдениям.
Проверьте потерю перекрестной проверки (средняя квадратичная ошибка) для каждого раза.
kfoldLoss(Mdl,'mode','individual')
ans = 5×1
13.0610
14.0975
24.0104
21.1223
24.3979
Автоматическая оптимизация гиперпараметров с помощью 'OptimizeHyperparameters' аргумент пары имя-значение.
Загрузить carbig набор данных.
load carbigУкажите переменные предиктора (X) и переменной ответа (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалить строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передачей данных fitrkernel может ускорить обучение и сократить использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизация переменных предиктора.
Z = zscore(X);
Найдите гиперпараметры, которые минимизируют пятикратные потери при перекрестной проверке, используя автоматическую оптимизацию гиперпараметров. Определить 'OptimizeHyperparameters' как 'auto' чтобы fitrkernel находит оптимальные значения 'KernelScale', 'Lambda', и 'Epsilon' аргументы пары имя-значение. Для воспроизводимости задайте случайное начальное число и используйте 'expected-improvement-plus' функция приобретения.
rng('default') [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(Z,Y,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName','expected-improvement-plus'))
|====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 1 | Best | 4.8295 | 6.7644 | 4.8295 | 4.8295 | 0.011518 | 6.8068e-05 | 0.95918 | | 2 | Best | 4.1488 | 0.41379 | 4.1488 | 4.1855 | 477.57 | 0.066115 | 0.091828 | | 3 | Accept | 4.1521 | 0.22316 | 4.1488 | 4.1747 | 0.0080478 | 0.0052867 | 520.84 | | 4 | Accept | 4.1506 | 0.24382 | 4.1488 | 4.1488 | 0.10935 | 0.35931 | 0.013372 | | 5 | Best | 4.1446 | 0.57425 | 4.1446 | 4.1446 | 326.29 | 2.5457 | 0.22475 | | 6 | Accept | 4.1521 | 0.24056 | 4.1446 | 4.1447 | 719.11 | 0.19478 | 881.84 | | 7 | Accept | 4.1501 | 0.36784 | 4.1446 | 4.1461 | 0.052426 | 2.5402 | 0.051319 | | 8 | Accept | 4.1521 | 0.22448 | 4.1446 | 4.1447 | 990.71 | 0.014203 | 702.34 | | 9 | Accept | 4.1521 | 0.23926 | 4.1446 | 4.1465 | 415.85 | 0.054602 | 81.005 | | 10 | Accept | 4.1454 | 0.25366 | 4.1446 | 4.1455 | 972.49 | 1.1601 | 1.8715 | | 11 | Accept | 4.1495 | 0.29478 | 4.1446 | 4.1473 | 121.79 | 1.4077 | 0.061055 | | 12 | Accept | 4.1521 | 0.16042 | 4.1446 | 4.1474 | 985.81 | 0.83297 | 213.45 | | 13 | Best | 4.1374 | 0.30021 | 4.1374 | 4.1441 | 167.34 | 2.5497 | 4.8997 | | 14 | Accept | 4.1434 | 0.24781 | 4.1374 | 4.1437 | 74.527 | 2.55 | 6.1044 | | 15 | Accept | 4.1402 | 0.28729 | 4.1374 | 4.1407 | 877.17 | 2.5391 | 2.2888 | | 16 | Accept | 4.1436 | 0.93646 | 4.1374 | 4.1412 | 0.0010354 | 0.017613 | 0.11811 | | 17 | Best | 4.1346 | 1.0133 | 4.1346 | 4.1375 | 0.0010362 | 0.010401 | 8.9719 | | 18 | Accept | 4.1521 | 0.22251 | 4.1346 | 4.1422 | 0.0010467 | 0.0094817 | 563.96 | | 19 | Accept | 4.1508 | 0.29329 | 4.1346 | 4.1367 | 760.12 | 0.0079557 | 0.009087 | | 20 | Accept | 4.1435 | 1.0817 | 4.1346 | 4.143 | 0.020647 | 0.0089063 | 2.3699 | |====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Best | 3.7172 | 0.57616 | 3.7172 | 3.7174 | 818.08 | 2.5529e-06 | 2.1058 | | 22 | Accept | 4.1521 | 0.22403 | 3.7172 | 3.7177 | 0.006272 | 2.5598e-06 | 93.063 | | 23 | Accept | 4.0567 | 0.31628 | 3.7172 | 3.7176 | 940.43 | 2.6941e-06 | 0.12016 | | 24 | Best | 2.8979 | 2.6062 | 2.8979 | 2.8979 | 37.141 | 2.5677e-06 | 2.71 | | 25 | Accept | 4.1521 | 0.19873 | 2.8979 | 2.898 | 13.817 | 2.5755e-06 | 863.91 | | 26 | Best | 2.795 | 5.1108 | 2.795 | 2.7953 | 20.022 | 2.6098e-06 | 1.6561 | | 27 | Accept | 2.8284 | 3.3885 | 2.795 | 2.7956 | 17.252 | 2.7719e-06 | 0.82777 | | 28 | Best | 2.7896 | 2.2461 | 2.7896 | 2.7898 | 11.432 | 7.621e-06 | 2.094 | | 29 | Accept | 2.8191 | 7.4885 | 2.7896 | 2.7899 | 8.5133 | 2.5872e-06 | 2.0567 | | 30 | Accept | 2.8061 | 3.7809 | 2.7896 | 2.7968 | 15.823 | 6.1956e-06 | 2.0085 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 66.8666 seconds
Total objective function evaluation time: 40.3192
Best observed feasible point:
KernelScale Lambda Epsilon
___________ _________ _______
11.432 7.621e-06 2.094
Observed objective function value = 2.7896
Estimated objective function value = 2.7984
Function evaluation time = 2.2461
Best estimated feasible point (according to models):
KernelScale Lambda Epsilon
___________ __________ _______
15.823 6.1956e-06 2.0085
Estimated objective function value = 2.7968
Estimated function evaluation time = 3.4579
Mdl =
RegressionKernel
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 256
KernelScale: 15.8229
Lambda: 6.1956e-06
BoxConstraint: 411.7488
Epsilon: 2.0085
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-fast'
LossFunction: 'epsiloninsensitive'
Lambda: 6.1956e-06
BetaTolerance: 1.0000e-04
GradientTolerance: 1.0000e-06
ObjectiveValue: 1.3582
GradientMagnitude: 0.0051
RelativeChangeInBeta: 5.3944e-05
FitTime: 1.1977
History: []
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [5x1 optimizableVariable]
Options: [1x1 struct]
MinObjective: 2.7896
XAtMinObjective: [1x3 table]
MinEstimatedObjective: 2.7968
XAtMinEstimatedObjective: [1x3 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 66.8666
NextPoint: [1x3 table]
XTrace: [30x3 table]
ObjectiveTrace: [30x1 double]
ConstraintsTrace: []
UserDataTrace: {30x1 cell}
ObjectiveEvaluationTimeTrace: [30x1 double]
IterationTimeTrace: [30x1 double]
ErrorTrace: [30x1 double]
FeasibilityTrace: [30x1 logical]
FeasibilityProbabilityTrace: [30x1 double]
IndexOfMinimumTrace: [30x1 double]
ObjectiveMinimumTrace: [30x1 double]
EstimatedObjectiveMinimumTrace: [30x1 double]
Для больших данных процедура оптимизации может занять много времени. Если набор данных слишком велик для выполнения процедуры оптимизации, можно попытаться оптимизировать параметры, используя только частичные данные. Используйте datasample функции и указать 'Replace','false' для выборки данных без замены.
fitrkernel не принимает исходные условия для линейных коэффициентов бета (β) и термина смещения (b), используемых для определения функции принятия решения, β + b.
fitrkernel не поддерживает стандартизацию.
fitrkernel минимизирует регуляризованную целевую функцию, используя решатель с ограниченной памятью Бройдена-Флетчера-Гольдфарба-Шанно (LBFGS) с регуляризацией гребня (L2). Чтобы найти тип решателя LBFGS, используемого для обучения, введите FitInfo.Solver в окне команд.
'LBFGS-fast' - решатель LBFGS.
'LBFGS-blockwise' - решатель LBFGS с блочной стратегией. Если fitrkernel требует больше памяти, чем значение BlockSize чтобы сохранить преобразованные данные предиктора, он использует блочную стратегию.
'LBFGS-tall' - решатель LBFGS с блочной стратегией для больших массивов.
Когда fitrkernel использует поэтапную стратегию, fitrkernel реализует LBFGS, распределяя вычисление потерь и градиента между различными частями данных на каждой итерации. Также, fitrkernel уточняет начальные оценки линейных коэффициентов и члена смещения, подгоняя модель локально к частям данных и комбинируя коэффициенты путем усреднения. При указании 'Verbose',1, то fitrkernel отображает диагностическую информацию для каждого прохода данных и сохраняет информацию в History поле FitInfo.
Когда fitrkernel не использует блочную стратегию, начальные оценки равны нулю. При указании 'Verbose',1, то fitrkernel отображает диагностическую информацию для каждой итерации и сохраняет информацию в History поле FitInfo.
[1] Рахими, А. и Б. Рехт. «Случайные возможности для крупногабаритных машин ядра». Достижения в системах обработки нейронной информации. т. 20, 2008, стр. 1177-1184.
[2] Ле, К., Т. Сарлос и А. Смола. «Fastfood - аппроксимация расширений ядра в логлинеарное время». Материалы 30-й Международной конференции по машинному обучению. т. 28, № 3, 2013, стр. 244-252.
[3] Хуан, П. С., Х. Аврон, Т. Н. Сайнатх, В. Синдхвани и Б. Рамабхадран. «Kernel methods match Deep Neural Networks on TIMIT». Международная конференция IEEE 2014 по акустике, речи и обработке сигналов. 2014, стр 205–209.
bayesopt | bestPoint | fitrlinear | fitrsvm | loss | predict | RegressionKernel | RegressionPartitionedKernel | resume