fitrkernel
Подбирайте Гауссову модель регрессии ядра использование случайного расширения функции
Синтаксис
Описание
fitrkernel обучает или перекрестный подтверждает Гауссову модель регрессии ядра для нелинейной регрессии. fitrkernel более практично, чтобы использовать в больших применениях данных, которые имеют большие наборы обучающих данных, но могут также быть применены к меньшим наборам данных, которые умещаются в памяти.
fitrkernel данные о картах в низком мерном пространстве в высокое мерное пространство, затем подбирает линейную модель в высоком мерном пространстве путем минимизации упорядоченной целевой функции. Получение линейной модели в высоком мерном пространстве эквивалентно применению Гауссова ядра к модели в низком мерном пространстве. Доступные модели линейной регрессии включают упорядоченную машину опорных векторов (SVM) и модели регрессии наименьших квадратов.
Чтобы обучить нелинейную модель регрессии SVM на данных в оперативной памяти, смотрите fitrsvm.
Mdl = fitrkernel(X,Y,Name,Value)
[ также возвращает результаты гипероптимизации параметров управления, когда вы оптимизируете гиперпараметры при помощи Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(___)'OptimizeHyperparameters' аргумент пары "имя-значение".
Примеры
Обучите гауссову модель регрессии ядра
Обучите модель регрессии ядра длинному массиву при помощи SVM.
Когда вы выполняете вычисления на длинных массивах, MATLAB® использует любого параллельный пул (значение по умолчанию, если у вас есть Parallel Computing Toolbox™), или локальный сеанс работы с MATLAB. Если вы хотите запустить пример с помощью локального сеанса работы с MATLAB, когда у вас есть Parallel Computing Toolbox, можно изменить глобальную среду выполнения при помощи mapreducer функция.
Создайте datastore, который ссылается на местоположение папки с данными. Данные могут содержаться в одном файле, наборе файлов или целой папке. Обработайте 'NA' значения как недостающие данные так, чтобы datastore заменяет их на NaN значения. Выберите подмножество переменных, чтобы использовать. Составьте длинную таблицу сверху datastore.
varnames = {'ArrTime','DepTime','ActualElapsedTime'};
ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
'SelectedVariableNames',varnames);
t = tall(ds);Starting parallel pool (parpool) using the 'local' profile ... Connected to the parallel pool (number of workers: 12).
Задайте DepTime и ArrTime как переменные предикторы (X) и ActualElapsedTime как переменная отклика (Y). Выберите наблюдения для который ArrTime позже, чем DepTime.
daytime = t.ArrTime>t.DepTime; Y = t.ActualElapsedTime(daytime); % Response data X = t{daytime,{'DepTime' 'ArrTime'}}; % Predictor data
Стандартизируйте переменные предикторы.
Z = zscore(X); % Standardize the dataОбучите Гауссову модель регрессии ядра по умолчанию со стандартизированными предикторами. Извлеките подходящие сводные данные, чтобы определить, как хорошо алгоритм оптимизации подбирает модель к данным.
[Mdl,FitInfo] = fitrkernel(Z,Y)
Found 6 chunks. |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | INIT | 0 / 1 | 4.307833e+01 | 4.345788e-02 | NaN | | LBFGS | 0 / 2 | 3.705713e+01 | 1.577301e-02 | 9.988252e-01 | | LBFGS | 1 / 3 | 3.704022e+01 | 3.082836e-02 | 1.338410e-03 | | LBFGS | 2 / 4 | 3.701398e+01 | 3.006488e-02 | 1.116070e-03 | | LBFGS | 2 / 5 | 3.698797e+01 | 2.870642e-02 | 2.234599e-03 | | LBFGS | 2 / 6 | 3.693687e+01 | 2.625581e-02 | 4.479069e-03 | | LBFGS | 2 / 7 | 3.683757e+01 | 2.239620e-02 | 8.997877e-03 | | LBFGS | 2 / 8 | 3.665038e+01 | 1.782358e-02 | 1.815682e-02 | | LBFGS | 3 / 9 | 3.473411e+01 | 4.074480e-02 | 1.778166e-01 | | LBFGS | 4 / 10 | 3.684246e+01 | 1.608942e-01 | 3.294968e-01 | | LBFGS | 4 / 11 | 3.441595e+01 | 8.587703e-02 | 1.420892e-01 | | LBFGS | 5 / 12 | 3.377755e+01 | 3.760006e-02 | 4.640134e-02 | | LBFGS | 6 / 13 | 3.357732e+01 | 1.912644e-02 | 3.842057e-02 | | LBFGS | 7 / 14 | 3.334081e+01 | 3.046709e-02 | 6.211243e-02 | | LBFGS | 8 / 15 | 3.309239e+01 | 3.858085e-02 | 6.411356e-02 | | LBFGS | 9 / 16 | 3.276577e+01 | 3.612292e-02 | 6.938579e-02 | | LBFGS | 10 / 17 | 3.234029e+01 | 2.734959e-02 | 1.144307e-01 | | LBFGS | 11 / 18 | 3.205763e+01 | 2.545990e-02 | 7.323180e-02 | | LBFGS | 12 / 19 | 3.183341e+01 | 2.472411e-02 | 3.689625e-02 | | LBFGS | 13 / 20 | 3.169307e+01 | 2.064613e-02 | 2.998555e-02 | |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | LBFGS | 14 / 21 | 3.146896e+01 | 1.788395e-02 | 5.967293e-02 | | LBFGS | 15 / 22 | 3.118171e+01 | 1.660696e-02 | 1.124062e-01 | | LBFGS | 16 / 23 | 3.106224e+01 | 1.506147e-02 | 7.947037e-02 | | LBFGS | 17 / 24 | 3.098395e+01 | 1.564561e-02 | 2.678370e-02 | | LBFGS | 18 / 25 | 3.096029e+01 | 4.464104e-02 | 4.547148e-02 | | LBFGS | 19 / 26 | 3.085475e+01 | 1.442800e-02 | 1.677268e-02 | | LBFGS | 20 / 27 | 3.078140e+01 | 1.906548e-02 | 2.275185e-02 | |========================================================================|
Mdl =
RegressionKernel
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 64
KernelScale: 1
Lambda: 8.5385e-06
BoxConstraint: 1
Epsilon: 5.9303
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-tall'
LossFunction: 'epsiloninsensitive'
Lambda: 8.5385e-06
BetaTolerance: 1.0000e-03
GradientTolerance: 1.0000e-05
ObjectiveValue: 30.7814
GradientMagnitude: 0.0191
RelativeChangeInBeta: 0.0228
FitTime: 102.6792
History: [1x1 struct]
Mdl RegressionKernel модель. Чтобы смотреть ошибку регрессии, можно передать Mdl и обучающие данные или новые данные к loss функция. Или, можно передать Mdl и новые данные о предикторе к predict функция, чтобы предсказать ответы для новых наблюдений. Можно также передать Mdl и обучающие данные к resume функция, чтобы продолжить обучение.
FitInfo массив структур, содержащий информацию об оптимизации. Используйте FitInfo определить, являются ли измерения завершения оптимизации удовлетворительными.
Для улучшенной точности можно увеличить максимальное число итераций оптимизации ('IterationLimit') и уменьшите значения допуска ('BetaTolerance' и 'GradientTolerance') при помощи аргументов пары "имя-значение" fitrkernel. Выполнение так может улучшить меры как ObjectiveValue и RelativeChangeInBeta в FitInfo. Можно также оптимизировать параметры модели при помощи 'OptimizeHyperparameters' аргумент пары "имя-значение".
Перекрестный подтвердите модель регрессии ядра
Загрузите carbig набор данных.
load carbigЗадайте переменные предикторы (X) и переменная отклика (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалите строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передающими данными к fitrkernel может ускорить обучение и уменьшать использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизируйте переменные предикторы.
Z = zscore(X);
Перекрестный подтвердите модель регрессии ядра использование 5-кратной перекрестной проверки.
Mdl = fitrkernel(Z,Y,'Kfold',5)Mdl =
classreg.learning.partition.RegressionPartitionedKernel
CrossValidatedModel: 'Kernel'
ResponseName: 'Y'
NumObservations: 392
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
numel(Mdl.Trained)
ans = 5
Mdl RegressionPartitionedKernel модель. Поскольку fitrkernel реализации пятикратная перекрестная проверка, Mdl содержит пять RegressionKernel модели, которые программное обеспечение обучает на учебном сгибе (окутывают) наблюдения.
Исследуйте потерю перекрестной проверки (среднеквадратическая ошибка) на каждый сгиб.
kfoldLoss(Mdl,'mode','individual')
ans = 5×1
13.0610
14.0975
24.0104
21.1223
24.3979
Оптимизируйте регрессию ядра
Оптимизируйте гиперпараметры автоматически с помощью 'OptimizeHyperparameters' аргумент пары "имя-значение".
Загрузите carbig набор данных.
load carbigЗадайте переменные предикторы (X) и переменная отклика (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалите строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передающими данными к fitrkernel может ускорить обучение и уменьшать использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизируйте переменные предикторы.
Z = zscore(X);
Найдите гиперпараметры, которые минимизируют пятикратную потерю перекрестной проверки при помощи автоматической гипероптимизации параметров управления. Задайте 'OptimizeHyperparameters' как 'auto' так, чтобы fitrkernel находит оптимальные значения 'KernelScale'\lambda, и 'Epsilon' аргументы в виде пар имя-значение. Для воспроизводимости установите случайный seed и используйте 'expected-improvement-plus' функция приобретения.
rng('default') [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(Z,Y,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName','expected-improvement-plus'))
|====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 1 | Best | 4.8295 | 5.7317 | 4.8295 | 4.8295 | 0.011518 | 6.8068e-05 | 0.95918 |
| 2 | Best | 4.1488 | 0.3083 | 4.1488 | 4.1855 | 477.57 | 0.066115 | 0.091828 |
| 3 | Accept | 4.1521 | 0.19035 | 4.1488 | 4.1747 | 0.0080478 | 0.0052867 | 520.84 |
| 4 | Accept | 4.1506 | 0.189 | 4.1488 | 4.1488 | 0.10935 | 0.35931 | 0.013372 |
| 5 | Best | 4.1446 | 0.24663 | 4.1446 | 4.1446 | 326.29 | 2.5457 | 0.22475 |
| 6 | Accept | 4.1521 | 0.11924 | 4.1446 | 4.1447 | 719.11 | 0.19478 | 881.84 |
| 7 | Accept | 4.1501 | 0.12915 | 4.1446 | 4.1461 | 0.052426 | 2.5402 | 0.051319 |
| 8 | Accept | 4.1521 | 0.12022 | 4.1446 | 4.1447 | 990.71 | 0.014203 | 702.34 |
| 9 | Accept | 4.1521 | 0.11993 | 4.1446 | 4.1465 | 415.85 | 0.054602 | 81.005 |
| 10 | Accept | 4.1454 | 0.12647 | 4.1446 | 4.1455 | 972.49 | 1.1601 | 1.8715 |
| 11 | Accept | 4.1495 | 0.14511 | 4.1446 | 4.1473 | 121.79 | 1.4077 | 0.061055 |
| 12 | Accept | 4.1521 | 0.13289 | 4.1446 | 4.1474 | 985.81 | 0.83297 | 213.45 |
| 13 | Best | 4.1374 | 0.14016 | 4.1374 | 4.1441 | 167.34 | 2.5497 | 4.8997 |
| 14 | Accept | 4.1434 | 0.12979 | 4.1374 | 4.1437 | 74.527 | 2.55 | 6.1044 |
| 15 | Accept | 4.1402 | 0.1309 | 4.1374 | 4.1407 | 877.17 | 2.5391 | 2.2888 |
| 16 | Accept | 4.1436 | 0.1382 | 4.1374 | 4.1412 | 0.0010354 | 0.017613 | 0.11811 |
| 17 | Best | 4.1346 | 0.16029 | 4.1346 | 4.1375 | 0.0010362 | 0.010401 | 8.9719 |
| 18 | Accept | 4.1521 | 0.11671 | 4.1346 | 4.1422 | 0.0010467 | 0.0094817 | 563.96 |
| 19 | Accept | 4.1508 | 0.12426 | 4.1346 | 4.1367 | 760.12 | 0.0079557 | 0.009087 |
| 20 | Accept | 4.1435 | 0.17071 | 4.1346 | 4.143 | 0.020647 | 0.0089063 | 2.3699 |
|====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Best | 3.7172 | 0.16359 | 3.7172 | 3.7174 | 818.08 | 2.5529e-06 | 2.1058 |
| 22 | Accept | 4.1521 | 0.13821 | 3.7172 | 3.7177 | 0.006272 | 2.5598e-06 | 93.063 |
| 23 | Accept | 4.0567 | 0.13225 | 3.7172 | 3.7176 | 940.43 | 2.6941e-06 | 0.12016 |
| 24 | Best | 2.8979 | 0.29659 | 2.8979 | 2.8979 | 37.141 | 2.5677e-06 | 2.71 |
| 25 | Accept | 4.1521 | 0.11604 | 2.8979 | 2.898 | 13.817 | 2.5755e-06 | 863.91 |
| 26 | Best | 2.795 | 0.33366 | 2.795 | 2.7953 | 20.022 | 2.6098e-06 | 1.6561 |
| 27 | Accept | 2.8284 | 0.3162 | 2.795 | 2.7956 | 17.252 | 2.7719e-06 | 0.82777 |
| 28 | Best | 2.7896 | 0.32609 | 2.7896 | 2.7898 | 11.432 | 7.621e-06 | 2.094 |
| 29 | Accept | 2.8194 | 0.78505 | 2.7896 | 2.7899 | 8.5133 | 2.5872e-06 | 2.0567 |
| 30 | Accept | 2.8061 | 0.36604 | 2.7896 | 2.7968 | 15.823 | 6.1956e-06 | 2.0085 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 41.1197 seconds.
Total objective function evaluation time: 11.6437
Best observed feasible point:
KernelScale Lambda Epsilon
___________ _________ _______
11.432 7.621e-06 2.094
Observed objective function value = 2.7896
Estimated objective function value = 2.7984
Function evaluation time = 0.32609
Best estimated feasible point (according to models):
KernelScale Lambda Epsilon
___________ __________ _______
15.823 6.1956e-06 2.0085
Estimated objective function value = 2.7968
Estimated function evaluation time = 0.34338
Mdl =
RegressionKernel
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 256
KernelScale: 15.8229
Lambda: 6.1956e-06
BoxConstraint: 411.7488
Epsilon: 2.0085
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-fast'
LossFunction: 'epsiloninsensitive'
Lambda: 6.1956e-06
BetaTolerance: 1.0000e-04
GradientTolerance: 1.0000e-06
ObjectiveValue: 1.3582
GradientMagnitude: 0.0051
RelativeChangeInBeta: 5.3944e-05
FitTime: 0.0665
History: []
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [5×1 optimizableVariable]
Options: [1×1 struct]
MinObjective: 2.7896
XAtMinObjective: [1×3 table]
MinEstimatedObjective: 2.7968
XAtMinEstimatedObjective: [1×3 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 41.1197
NextPoint: [1×3 table]
XTrace: [30×3 table]
ObjectiveTrace: [30×1 double]
ConstraintsTrace: []
UserDataTrace: {30×1 cell}
ObjectiveEvaluationTimeTrace: [30×1 double]
IterationTimeTrace: [30×1 double]
ErrorTrace: [30×1 double]
FeasibilityTrace: [30×1 logical]
FeasibilityProbabilityTrace: [30×1 double]
IndexOfMinimumTrace: [30×1 double]
ObjectiveMinimumTrace: [30×1 double]
EstimatedObjectiveMinimumTrace: [30×1 double]
Для больших данных может занять много времени процедура оптимизации. Если набор данных является слишком большим, чтобы запустить процедуру оптимизации, можно попытаться оптимизировать параметры с помощью только частичные данные. Используйте datasample функционируйте и задайте 'Replace','false' к выборочным данным без замены.
Входные параметры
Выходные аргументы
Ограничения
fitrkernelне принимает начальные условия для линейной содействующей беты (β) и смещает термин (b), используемый, чтобы определить решающую функцию,fitrkernelне поддерживает опции стандартизации и перекрестной проверки.fitrkernelне принимает табличные входные параметры.
Больше о
Алгоритмы
fitrkernel минимизирует упорядоченную целевую функцию с помощью решателя Лимитед-мемори Бройдена Флетчера Голдфарба Шэнно (LBFGS) с гребнем (L 2) регуляризация. Чтобы найти тип решателя LBFGS используемым в обучении, введите FitInfo.Solver в Командном окне.
'LBFGS-fast'— Решатель LBFGS.'LBFGS-blockwise'— Решатель LBFGS с мудрой блоком стратегией. Еслиfitrkernelтребует большей памяти, чем значениеBlockSizeчтобы содержать преобразованные данные о предикторе, затем это использует мудрую блоком стратегию.'LBFGS-tall'— Решатель LBFGS с мудрой блоком стратегией длинных массивов.
Когда fitrkernel использует мудрую блоком стратегию, fitrkernel реализации LBFGS путем распределения вычисления потери и градиента среди различных частей данных в каждой итерации. Кроме того, fitrkernel совершенствовал первоначальные оценки линейных коэффициентов и срока смещения, подбирая модель локально к частям данных и комбинируя коэффициенты путем усреднения. Если вы задаете 'Verbose',1, затем fitrkernel информация о диагностике отображений для каждых данных передает, и хранит информацию в History поле FitInfo.
Когда fitrkernel не использует мудрую блоком стратегию, первоначальные оценки являются нулями. Если вы задаете 'Verbose',1, затем fitrkernel информация о диагностике отображений для каждой итерации и хранит информацию в History поле FitInfo.
Ссылки
[1] Rahimi, A. и Б. Речт. “Случайные Функции Крупномасштабных Машин Ядра”. Усовершенствования в Нейронных Системах обработки информации. Издание 20, 2008, стр 1177–1184.
[2] Le, Q., Т. Сарлос и А. Смола. “Быстрое питание — Аппроксимация Расширений Ядра в Логлинейное Время”. Продолжения 30-й Международной конференции по вопросам Машинного обучения. Издание 28, № 3, 2013, стр 244–252.
[3] Хуан, P. S. Х. Аврон, Т. Н. Сэйнэт, В. Синдхвани и Б. Рамабхэдрэн. “Методы ядра совпадают с Глубокими нейронными сетями на TIMIT”. 2 014 Международных конференций IEEE по вопросам Акустики, Речи и Обработки сигналов. 2014, стр 205–209.
Расширенные возможности
Смотрите также
RegressionKernel | RegressionPartitionedKernel | bayesopt | bestPoint | fitrlinear | fitrsvm | loss | predict | resume