Подбирайте Гауссову модель регрессии ядра использование случайного расширения функции
fitrkernel обучает или перекрестный подтверждает Гауссову модель регрессии ядра для нелинейной регрессии. fitrkernel более практично, чтобы использовать для больших применений данных, которые имеют большие наборы обучающих данных, но могут также быть применены к меньшим наборам данных, которые умещаются в памяти.
fitrkernel данные о картах в низком мерном пространстве в высокое мерное пространство, затем подбирает линейную модель в высоком мерном пространстве путем минимизации упорядоченной целевой функции. Получение линейной модели в высоком мерном пространстве эквивалентно применению Гауссова ядра к модели в низком мерном пространстве. Доступные модели линейной регрессии включают упорядоченную машину опорных векторов (SVM) и модели регрессии наименьших квадратов.
Чтобы обучить нелинейную модель регрессии SVM на данных в оперативной памяти, смотрите fitrsvm.
Mdl = fitrkernel(Tbl,ResponseVarName)Mdl регрессии ядра обученное использование переменных предикторов содержится в таблице Tbl и значения отклика в Tbl.ResponseVarName.
Mdl = fitrkernel(___,Name,Value)
[ также возвращает результаты гипероптимизации параметров управления, когда вы оптимизируете гиперпараметры при помощи Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(___)'OptimizeHyperparameters' аргумент пары "имя-значение".
Обучите модель регрессии ядра длинному массиву при помощи SVM.
Когда вы выполняете вычисления на длинных массивах, MATLAB® использует любого параллельный пул (значение по умолчанию, если у вас есть Parallel Computing Toolbox™), или локальный сеанс работы с MATLAB. Чтобы запустить пример с помощью локального сеанса работы с MATLAB, когда у вас будет Parallel Computing Toolbox, измените глобальную среду выполнения при помощи mapreducer функция.
mapreducer(0)
Создайте datastore, который ссылается на местоположение папки с данными. Данные могут содержаться в одном файле, наборе файлов или целой папке. Обработайте 'NA' значения как недостающие данные так, чтобы datastore заменяет их на NaN значения. Выберите подмножество переменных, чтобы использовать. Составьте длинную таблицу сверху datastore.
varnames = {'ArrTime','DepTime','ActualElapsedTime'};
ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
'SelectedVariableNames',varnames);
t = tall(ds);Задайте DepTime и ArrTime как переменные предикторы (X) и ActualElapsedTime как переменная отклика (Y). Выберите наблюдения для который ArrTime позже, чем DepTime.
daytime = t.ArrTime>t.DepTime; Y = t.ActualElapsedTime(daytime); % Response data X = t{daytime,{'DepTime' 'ArrTime'}}; % Predictor data
Стандартизируйте переменные предикторы.
Z = zscore(X); % Standardize the dataОбучите Гауссову модель регрессии ядра по умолчанию со стандартизированными предикторами. Извлеките подходящие сводные данные, чтобы определить, как хорошо алгоритм оптимизации подбирает модель к данным.
[Mdl,FitInfo] = fitrkernel(Z,Y)
Found 6 chunks. |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | INIT | 0 / 1 | 4.307833e+01 | 4.345788e-02 | NaN | | LBFGS | 0 / 2 | 3.705713e+01 | 1.577301e-02 | 9.988252e-01 | | LBFGS | 1 / 3 | 3.704022e+01 | 3.082836e-02 | 1.338410e-03 | | LBFGS | 2 / 4 | 3.701398e+01 | 3.006488e-02 | 1.116070e-03 | | LBFGS | 2 / 5 | 3.698797e+01 | 2.870642e-02 | 2.234599e-03 | | LBFGS | 2 / 6 | 3.693687e+01 | 2.625581e-02 | 4.479069e-03 | | LBFGS | 2 / 7 | 3.683757e+01 | 2.239620e-02 | 8.997877e-03 | | LBFGS | 2 / 8 | 3.665038e+01 | 1.782358e-02 | 1.815682e-02 | | LBFGS | 3 / 9 | 3.473411e+01 | 4.074480e-02 | 1.778166e-01 | | LBFGS | 4 / 10 | 3.684246e+01 | 1.608942e-01 | 3.294968e-01 | | LBFGS | 4 / 11 | 3.441595e+01 | 8.587703e-02 | 1.420892e-01 | | LBFGS | 5 / 12 | 3.377755e+01 | 3.760006e-02 | 4.640134e-02 | | LBFGS | 6 / 13 | 3.357732e+01 | 1.912644e-02 | 3.842057e-02 | | LBFGS | 7 / 14 | 3.334081e+01 | 3.046709e-02 | 6.211243e-02 | | LBFGS | 8 / 15 | 3.309239e+01 | 3.858085e-02 | 6.411356e-02 | | LBFGS | 9 / 16 | 3.276577e+01 | 3.612292e-02 | 6.938579e-02 | | LBFGS | 10 / 17 | 3.234029e+01 | 2.734959e-02 | 1.144307e-01 | | LBFGS | 11 / 18 | 3.205763e+01 | 2.545990e-02 | 7.323180e-02 | | LBFGS | 12 / 19 | 3.183341e+01 | 2.472411e-02 | 3.689625e-02 | | LBFGS | 13 / 20 | 3.169307e+01 | 2.064613e-02 | 2.998555e-02 | |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | LBFGS | 14 / 21 | 3.146896e+01 | 1.788395e-02 | 5.967293e-02 | | LBFGS | 15 / 22 | 3.118171e+01 | 1.660696e-02 | 1.124062e-01 | | LBFGS | 16 / 23 | 3.106224e+01 | 1.506147e-02 | 7.947037e-02 | | LBFGS | 17 / 24 | 3.098395e+01 | 1.564561e-02 | 2.678370e-02 | | LBFGS | 18 / 25 | 3.096029e+01 | 4.464104e-02 | 4.547148e-02 | | LBFGS | 19 / 26 | 3.085475e+01 | 1.442800e-02 | 1.677268e-02 | | LBFGS | 20 / 27 | 3.078140e+01 | 1.906548e-02 | 2.275185e-02 | |========================================================================|
Mdl =
RegressionKernel
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 64
KernelScale: 1
Lambda: 8.5385e-06
BoxConstraint: 1
Epsilon: 5.9303
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-tall'
LossFunction: 'epsiloninsensitive'
Lambda: 8.5385e-06
BetaTolerance: 1.0000e-03
GradientTolerance: 1.0000e-05
ObjectiveValue: 30.7814
GradientMagnitude: 0.0191
RelativeChangeInBeta: 0.0228
FitTime: 56.8110
History: [1x1 struct]
Mdl RegressionKernel модель. Чтобы смотреть ошибку регрессии, можно передать Mdl и обучающие данные или новые данные к loss функция. Или, можно передать Mdl и новые данные о предикторе к predict функция, чтобы предсказать ответы для новых наблюдений. Можно также передать Mdl и обучающие данные к resume функция, чтобы продолжить обучение.
FitInfo массив структур, содержащий информацию об оптимизации. Используйте FitInfo определить, являются ли измерения завершения оптимизации удовлетворительными.
Для улучшенной точности можно увеличить максимальное число итераций оптимизации ('IterationLimit') и уменьшите значения допуска ('BetaTolerance' и 'GradientTolerance') при помощи аргументов пары "имя-значение" fitrkernel. Выполнение так может улучшить меры как ObjectiveValue и RelativeChangeInBeta в FitInfo. Можно также оптимизировать параметры модели при помощи 'OptimizeHyperparameters' аргумент пары "имя-значение".
Загрузите carbig набор данных.
load carbigЗадайте переменные предикторы (X) и переменная отклика (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалите строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передающими данными к fitrkernel может ускорить обучение и уменьшать использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизируйте переменные предикторы.
Z = zscore(X);
Перекрестный подтвердите модель регрессии ядра использование 5-кратной перекрестной проверки.
Mdl = fitrkernel(Z,Y,'Kfold',5)Mdl =
RegressionPartitionedKernel
CrossValidatedModel: 'Kernel'
ResponseName: 'Y'
NumObservations: 392
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
numel(Mdl.Trained)
ans = 5
Mdl RegressionPartitionedKernel модель. Поскольку fitrkernel реализации пятикратная перекрестная проверка, Mdl содержит пять RegressionKernel модели, которые программное обеспечение обучает на учебном сгибе (окутывают) наблюдения.
Исследуйте потерю перекрестной проверки (среднеквадратическая ошибка) на каждый сгиб.
kfoldLoss(Mdl,'mode','individual')
ans = 5×1
13.0610
14.0975
24.0104
21.1223
24.3979
Оптимизируйте гиперпараметры автоматически с помощью 'OptimizeHyperparameters' аргумент пары "имя-значение".
Загрузите carbig набор данных.
load carbigЗадайте переменные предикторы (X) и переменная отклика (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалите строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передающими данными к fitrkernel может ускорить обучение и уменьшать использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизируйте переменные предикторы.
Z = zscore(X);
Найдите гиперпараметры, которые минимизируют пятикратную потерю перекрестной проверки при помощи автоматической гипероптимизации параметров управления. Задайте 'OptimizeHyperparameters' как 'auto' так, чтобы fitrkernel находит оптимальные значения 'KernelScale'\lambda, и 'Epsilon' аргументы в виде пар имя-значение. Для воспроизводимости установите случайный seed и используйте 'expected-improvement-plus' функция приобретения.
rng('default') [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(Z,Y,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName','expected-improvement-plus'))
|====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 1 | Best | 4.8295 | 6.7644 | 4.8295 | 4.8295 | 0.011518 | 6.8068e-05 | 0.95918 | | 2 | Best | 4.1488 | 0.41379 | 4.1488 | 4.1855 | 477.57 | 0.066115 | 0.091828 | | 3 | Accept | 4.1521 | 0.22316 | 4.1488 | 4.1747 | 0.0080478 | 0.0052867 | 520.84 | | 4 | Accept | 4.1506 | 0.24382 | 4.1488 | 4.1488 | 0.10935 | 0.35931 | 0.013372 | | 5 | Best | 4.1446 | 0.57425 | 4.1446 | 4.1446 | 326.29 | 2.5457 | 0.22475 | | 6 | Accept | 4.1521 | 0.24056 | 4.1446 | 4.1447 | 719.11 | 0.19478 | 881.84 | | 7 | Accept | 4.1501 | 0.36784 | 4.1446 | 4.1461 | 0.052426 | 2.5402 | 0.051319 | | 8 | Accept | 4.1521 | 0.22448 | 4.1446 | 4.1447 | 990.71 | 0.014203 | 702.34 | | 9 | Accept | 4.1521 | 0.23926 | 4.1446 | 4.1465 | 415.85 | 0.054602 | 81.005 | | 10 | Accept | 4.1454 | 0.25366 | 4.1446 | 4.1455 | 972.49 | 1.1601 | 1.8715 | | 11 | Accept | 4.1495 | 0.29478 | 4.1446 | 4.1473 | 121.79 | 1.4077 | 0.061055 | | 12 | Accept | 4.1521 | 0.16042 | 4.1446 | 4.1474 | 985.81 | 0.83297 | 213.45 | | 13 | Best | 4.1374 | 0.30021 | 4.1374 | 4.1441 | 167.34 | 2.5497 | 4.8997 | | 14 | Accept | 4.1434 | 0.24781 | 4.1374 | 4.1437 | 74.527 | 2.55 | 6.1044 | | 15 | Accept | 4.1402 | 0.28729 | 4.1374 | 4.1407 | 877.17 | 2.5391 | 2.2888 | | 16 | Accept | 4.1436 | 0.93646 | 4.1374 | 4.1412 | 0.0010354 | 0.017613 | 0.11811 | | 17 | Best | 4.1346 | 1.0133 | 4.1346 | 4.1375 | 0.0010362 | 0.010401 | 8.9719 | | 18 | Accept | 4.1521 | 0.22251 | 4.1346 | 4.1422 | 0.0010467 | 0.0094817 | 563.96 | | 19 | Accept | 4.1508 | 0.29329 | 4.1346 | 4.1367 | 760.12 | 0.0079557 | 0.009087 | | 20 | Accept | 4.1435 | 1.0817 | 4.1346 | 4.143 | 0.020647 | 0.0089063 | 2.3699 | |====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Best | 3.7172 | 0.57616 | 3.7172 | 3.7174 | 818.08 | 2.5529e-06 | 2.1058 | | 22 | Accept | 4.1521 | 0.22403 | 3.7172 | 3.7177 | 0.006272 | 2.5598e-06 | 93.063 | | 23 | Accept | 4.0567 | 0.31628 | 3.7172 | 3.7176 | 940.43 | 2.6941e-06 | 0.12016 | | 24 | Best | 2.8979 | 2.6062 | 2.8979 | 2.8979 | 37.141 | 2.5677e-06 | 2.71 | | 25 | Accept | 4.1521 | 0.19873 | 2.8979 | 2.898 | 13.817 | 2.5755e-06 | 863.91 | | 26 | Best | 2.795 | 5.1108 | 2.795 | 2.7953 | 20.022 | 2.6098e-06 | 1.6561 | | 27 | Accept | 2.8284 | 3.3885 | 2.795 | 2.7956 | 17.252 | 2.7719e-06 | 0.82777 | | 28 | Best | 2.7896 | 2.2461 | 2.7896 | 2.7898 | 11.432 | 7.621e-06 | 2.094 | | 29 | Accept | 2.8191 | 7.4885 | 2.7896 | 2.7899 | 8.5133 | 2.5872e-06 | 2.0567 | | 30 | Accept | 2.8061 | 3.7809 | 2.7896 | 2.7968 | 15.823 | 6.1956e-06 | 2.0085 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 66.8666 seconds
Total objective function evaluation time: 40.3192
Best observed feasible point:
KernelScale Lambda Epsilon
___________ _________ _______
11.432 7.621e-06 2.094
Observed objective function value = 2.7896
Estimated objective function value = 2.7984
Function evaluation time = 2.2461
Best estimated feasible point (according to models):
KernelScale Lambda Epsilon
___________ __________ _______
15.823 6.1956e-06 2.0085
Estimated objective function value = 2.7968
Estimated function evaluation time = 3.4579
Mdl =
RegressionKernel
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 256
KernelScale: 15.8229
Lambda: 6.1956e-06
BoxConstraint: 411.7488
Epsilon: 2.0085
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-fast'
LossFunction: 'epsiloninsensitive'
Lambda: 6.1956e-06
BetaTolerance: 1.0000e-04
GradientTolerance: 1.0000e-06
ObjectiveValue: 1.3582
GradientMagnitude: 0.0051
RelativeChangeInBeta: 5.3944e-05
FitTime: 1.1977
History: []
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [5x1 optimizableVariable]
Options: [1x1 struct]
MinObjective: 2.7896
XAtMinObjective: [1x3 table]
MinEstimatedObjective: 2.7968
XAtMinEstimatedObjective: [1x3 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 66.8666
NextPoint: [1x3 table]
XTrace: [30x3 table]
ObjectiveTrace: [30x1 double]
ConstraintsTrace: []
UserDataTrace: {30x1 cell}
ObjectiveEvaluationTimeTrace: [30x1 double]
IterationTimeTrace: [30x1 double]
ErrorTrace: [30x1 double]
FeasibilityTrace: [30x1 logical]
FeasibilityProbabilityTrace: [30x1 double]
IndexOfMinimumTrace: [30x1 double]
ObjectiveMinimumTrace: [30x1 double]
EstimatedObjectiveMinimumTrace: [30x1 double]
Для больших данных может занять много времени процедура оптимизации. Если набор данных является слишком большим, чтобы запустить процедуру оптимизации, можно попытаться оптимизировать параметры с помощью только частичные данные. Используйте datasample функционируйте и задайте 'Replace','false' к выборочным данным без замены.
fitrkernel не принимает начальные условия для линейной содействующей беты (β) и смещает термин (b), используемый, чтобы определить решающую функцию,
fitrkernel не поддерживает стандартизацию.
fitrkernel минимизирует упорядоченную целевую функцию с помощью решателя Лимитед-мемори Бройдена Флетчера Голдфарба Шэнно (LBFGS) с гребнем (L 2) регуляризация. Чтобы найти тип решателя LBFGS используемым для обучения, введите FitInfo.Solver в Командном окне.
'LBFGS-fast' — Решатель LBFGS.
'LBFGS-blockwise' — Решатель LBFGS с мудрой блоком стратегией. Если fitrkernel требует большей памяти, чем значение BlockSize чтобы содержать преобразованные данные о предикторе, затем это использует мудрую блоком стратегию.
'LBFGS-tall' — Решатель LBFGS с мудрой блоком стратегией длинных массивов.
Когда fitrkernel использует мудрую блоком стратегию, fitrkernel реализации LBFGS путем распределения вычисления потери и градиента среди различных частей данных в каждой итерации. Кроме того, fitrkernel совершенствовал первоначальные оценки линейных коэффициентов и срока смещения, подбирая модель локально к частям данных и комбинируя коэффициенты путем усреднения. Если вы задаете 'Verbose',1то fitrkernel информация о диагностике отображений для каждых данных передает, и хранит информацию в History поле FitInfo.
Когда fitrkernel не использует мудрую блоком стратегию, первоначальные оценки являются нулями. Если вы задаете 'Verbose',1то fitrkernel информация о диагностике отображений для каждой итерации и хранит информацию в History поле FitInfo.
[1] Rahimi, A. и Б. Речт. “Случайные Функции Крупномасштабных Машин Ядра”. Усовершенствования в Нейронных Системах обработки информации. Издание 20, 2008, стр 1177–1184.
[2] Le, Q., Т. Сарлос и А. Смола. “Быстрое питание — Аппроксимация Расширений Ядра в Логлинейное Время”. Продолжения 30-й Международной конференции по вопросам Машинного обучения. Издание 28, № 3, 2013, стр 244–252.
[3] Хуан, P. S. Х. Аврон, Т. Н. Сэйнэт, В. Синдхвани и Б. Рамабхэдрэн. “Методы ядра совпадают с Глубокими нейронными сетями на TIMIT”. 2 014 Международных конференций IEEE по вопросам Акустики, Речи и Обработки сигналов. 2014, стр 205–209.
bayesopt | bestPoint | fitrlinear | fitrsvm | loss | predict | RegressionKernel | RegressionPartitionedKernel | resume