fitrkernel
Подбирайте Гауссову модель регрессии ядра использование случайного расширения функции
Синтаксис
Описание
fitrkernel обучает или перекрестный подтверждает Гауссову модель регрессии ядра для нелинейной регрессии. fitrkernel более практично, чтобы использовать для больших применений данных, которые имеют большие наборы обучающих данных, но могут также быть применены к меньшим наборам данных, которые умещаются в памяти.
fitrkernel данные о картах в низком мерном пространстве в высокое мерное пространство, затем подбирает линейную модель в высоком мерном пространстве путем минимизации упорядоченной целевой функции. Получение линейной модели в высоком мерном пространстве эквивалентно применению Гауссова ядра к модели в низком мерном пространстве. Доступные модели линейной регрессии включают упорядоченную машину опорных векторов (SVM) и модели регрессии наименьших квадратов.
Чтобы обучить нелинейную модель регрессии SVM на данных в оперативной памяти, смотрите fitrsvm.
Mdl = fitrkernel(Tbl,ResponseVarName)Mdl регрессии ядра обученное использование переменных предикторов содержится в таблице Tbl и значения отклика в Tbl.ResponseVarName.
Mdl = fitrkernel(___,Name,Value)
[ также возвращает результаты гипероптимизации параметров управления, когда вы оптимизируете гиперпараметры при помощи Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(___)'OptimizeHyperparameters' аргумент пары "имя-значение".
Примеры
Обучите гауссову модель регрессии ядра
Обучите модель регрессии ядра длинному массиву при помощи SVM.
Когда вы выполняете вычисления на длинных массивах, MATLAB® использует любого параллельный пул (значение по умолчанию, если у вас есть Parallel Computing Toolbox™), или локальный сеанс работы с MATLAB. Чтобы запустить пример с помощью локального сеанса работы с MATLAB, когда у вас будет Parallel Computing Toolbox, измените глобальную среду выполнения при помощи mapreducer функция.
mapreducer(0)
Создайте datastore, который ссылается на местоположение папки с данными. Данные могут содержаться в одном файле, наборе файлов или целой папке. Обработайте 'NA' значения как недостающие данные так, чтобы datastore заменяет их на NaN значения. Выберите подмножество переменных, чтобы использовать. Составьте длинную таблицу сверху datastore.
varnames = {'ArrTime','DepTime','ActualElapsedTime'};
ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
'SelectedVariableNames',varnames);
t = tall(ds);Задайте DepTime и ArrTime как переменные предикторы (X) и ActualElapsedTime как переменная отклика (Y). Выберите наблюдения для который ArrTime позже, чем DepTime.
daytime = t.ArrTime>t.DepTime; Y = t.ActualElapsedTime(daytime); % Response data X = t{daytime,{'DepTime' 'ArrTime'}}; % Predictor data
Стандартизируйте переменные предикторы.
Z = zscore(X); % Standardize the dataОбучите Гауссову модель регрессии ядра по умолчанию со стандартизированными предикторами. Извлеките подходящие сводные данные, чтобы определить, как хорошо алгоритм оптимизации подбирает модель к данным.
[Mdl,FitInfo] = fitrkernel(Z,Y)
Found 6 chunks. |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | INIT | 0 / 1 | 4.307833e+01 | 4.345788e-02 | NaN | | LBFGS | 0 / 2 | 3.705713e+01 | 1.577301e-02 | 9.988252e-01 | | LBFGS | 1 / 3 | 3.704022e+01 | 3.082836e-02 | 1.338410e-03 | | LBFGS | 2 / 4 | 3.701398e+01 | 3.006488e-02 | 1.116070e-03 | | LBFGS | 2 / 5 | 3.698797e+01 | 2.870642e-02 | 2.234599e-03 | | LBFGS | 2 / 6 | 3.693687e+01 | 2.625581e-02 | 4.479069e-03 | | LBFGS | 2 / 7 | 3.683757e+01 | 2.239620e-02 | 8.997877e-03 | | LBFGS | 2 / 8 | 3.665038e+01 | 1.782358e-02 | 1.815682e-02 | | LBFGS | 3 / 9 | 3.473411e+01 | 4.074480e-02 | 1.778166e-01 | | LBFGS | 4 / 10 | 3.684246e+01 | 1.608942e-01 | 3.294968e-01 | | LBFGS | 4 / 11 | 3.441595e+01 | 8.587703e-02 | 1.420892e-01 | | LBFGS | 5 / 12 | 3.377755e+01 | 3.760006e-02 | 4.640134e-02 | | LBFGS | 6 / 13 | 3.357732e+01 | 1.912644e-02 | 3.842057e-02 | | LBFGS | 7 / 14 | 3.334081e+01 | 3.046709e-02 | 6.211243e-02 | | LBFGS | 8 / 15 | 3.309239e+01 | 3.858085e-02 | 6.411356e-02 | | LBFGS | 9 / 16 | 3.276577e+01 | 3.612292e-02 | 6.938579e-02 | | LBFGS | 10 / 17 | 3.234029e+01 | 2.734959e-02 | 1.144307e-01 | | LBFGS | 11 / 18 | 3.205763e+01 | 2.545990e-02 | 7.323180e-02 | | LBFGS | 12 / 19 | 3.183341e+01 | 2.472411e-02 | 3.689625e-02 | | LBFGS | 13 / 20 | 3.169307e+01 | 2.064613e-02 | 2.998555e-02 | |========================================================================= | Solver | Iteration / | Objective | Gradient | Beta relative | | | Data Pass | | magnitude | change | |========================================================================= | LBFGS | 14 / 21 | 3.146896e+01 | 1.788395e-02 | 5.967293e-02 | | LBFGS | 15 / 22 | 3.118171e+01 | 1.660696e-02 | 1.124062e-01 | | LBFGS | 16 / 23 | 3.106224e+01 | 1.506147e-02 | 7.947037e-02 | | LBFGS | 17 / 24 | 3.098395e+01 | 1.564561e-02 | 2.678370e-02 | | LBFGS | 18 / 25 | 3.096029e+01 | 4.464104e-02 | 4.547148e-02 | | LBFGS | 19 / 26 | 3.085475e+01 | 1.442800e-02 | 1.677268e-02 | | LBFGS | 20 / 27 | 3.078140e+01 | 1.906548e-02 | 2.275185e-02 | |========================================================================|
Mdl =
RegressionKernel
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 64
KernelScale: 1
Lambda: 8.5385e-06
BoxConstraint: 1
Epsilon: 5.9303
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-tall'
LossFunction: 'epsiloninsensitive'
Lambda: 8.5385e-06
BetaTolerance: 1.0000e-03
GradientTolerance: 1.0000e-05
ObjectiveValue: 30.7814
GradientMagnitude: 0.0191
RelativeChangeInBeta: 0.0228
FitTime: 32.6516
History: [1x1 struct]
Mdl RegressionKernel модель. Чтобы смотреть ошибку регрессии, можно передать Mdl и обучающие данные или новые данные к loss функция. Или, можно передать Mdl и новые данные о предикторе к predict функция, чтобы предсказать ответы для новых наблюдений. Можно также передать Mdl и обучающие данные к resume функция, чтобы продолжить обучение.
FitInfo массив структур, содержащий информацию об оптимизации. Используйте FitInfo определить, являются ли измерения завершения оптимизации удовлетворительными.
Для улучшенной точности можно увеличить максимальное число итераций оптимизации ('IterationLimit') и уменьшите значения допуска ('BetaTolerance' и 'GradientTolerance') при помощи аргументов пары "имя-значение" fitrkernel. Выполнение так может улучшить меры как ObjectiveValue и RelativeChangeInBeta в FitInfo. Можно также оптимизировать параметры модели при помощи 'OptimizeHyperparameters' аргумент пары "имя-значение".
Перекрестный подтвердите модель регрессии ядра
Загрузите carbig набор данных.
load carbigЗадайте переменные предикторы (X) и переменная отклика (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалите строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передающими данными к fitrkernel может ускорить обучение и уменьшать использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизируйте переменные предикторы.
Z = zscore(X);
Перекрестный подтвердите модель регрессии ядра использование 5-кратной перекрестной проверки.
Mdl = fitrkernel(Z,Y,'Kfold',5)Mdl =
RegressionPartitionedKernel
CrossValidatedModel: 'Kernel'
ResponseName: 'Y'
NumObservations: 392
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
numel(Mdl.Trained)
ans = 5
Mdl RegressionPartitionedKernel модель. Поскольку fitrkernel реализации пятикратная перекрестная проверка, Mdl содержит пять RegressionKernel модели, которые программное обеспечение обучает на учебном сгибе (окутывают) наблюдения.
Исследуйте потерю перекрестной проверки (среднеквадратическая ошибка) на каждый сгиб.
kfoldLoss(Mdl,'mode','individual')
ans = 5×1
13.0610
14.0975
24.0104
21.1223
24.3979
Оптимизируйте регрессию ядра
Оптимизируйте гиперпараметры автоматически с помощью 'OptimizeHyperparameters' аргумент пары "имя-значение".
Загрузите carbig набор данных.
load carbigЗадайте переменные предикторы (X) и переменная отклика (Y).
X = [Acceleration,Cylinders,Displacement,Horsepower,Weight]; Y = MPG;
Удалите строки X и Y где любой массив имеет NaN значения. Удаление строк с NaN значения перед передающими данными к fitrkernel может ускорить обучение и уменьшать использование памяти.
R = rmmissing([X Y]); % Data with missing entries removed
X = R(:,1:5);
Y = R(:,end); Стандартизируйте переменные предикторы.
Z = zscore(X);
Найдите гиперпараметры, которые минимизируют пятикратную потерю перекрестной проверки при помощи автоматической гипероптимизации параметров управления. Задайте 'OptimizeHyperparameters' как 'auto' так, чтобы fitrkernel находит оптимальные значения 'KernelScale'\lambda, и 'Epsilon' аргументы в виде пар имя-значение. Для воспроизводимости установите случайный seed и используйте 'expected-improvement-plus' функция захвата.
rng('default') [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrkernel(Z,Y,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName','expected-improvement-plus'))
|====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 1 | Best | 4.8295 | 1.9262 | 4.8295 | 4.8295 | 0.011518 | 6.8068e-05 | 0.95918 | | 2 | Best | 4.1488 | 0.35677 | 4.1488 | 4.1855 | 477.57 | 0.066115 | 0.091828 | | 3 | Accept | 4.1521 | 0.21648 | 4.1488 | 4.1747 | 0.0080478 | 0.0052867 | 520.84 | | 4 | Accept | 4.1506 | 0.78338 | 4.1488 | 4.1488 | 0.10935 | 0.35931 | 0.013372 | | 5 | Best | 4.1446 | 1.3902 | 4.1446 | 4.1446 | 326.29 | 2.5457 | 0.22475 | | 6 | Accept | 4.1521 | 0.45893 | 4.1446 | 4.1447 | 932.16 | 0.19667 | 873.68 | | 7 | Accept | 4.1501 | 1.0638 | 4.1446 | 4.1461 | 0.052426 | 2.5402 | 0.051319 | | 8 | Best | 4.1408 | 1.2965 | 4.1408 | 4.1402 | 850.91 | 0.01462 | 0.37284 | | 9 | Accept | 4.1521 | 0.34094 | 4.1408 | 4.1427 | 0.019352 | 0.012035 | 63.493 | | 10 | Accept | 4.1521 | 0.32117 | 4.1408 | 4.1452 | 853.22 | 1.0698 | 55.679 | | 11 | Accept | 4.1521 | 0.42032 | 4.1408 | 4.1416 | 1.4548 | 0.022234 | 26.275 | | 12 | Accept | 4.1509 | 1.0227 | 4.1408 | 4.1469 | 877.82 | 0.0071133 | 0.012021 | | 13 | Accept | 4.1422 | 2.9741 | 4.1408 | 4.1455 | 944.08 | 0.011177 | 0.31055 | | 14 | Accept | 4.2032 | 1.9353 | 4.1408 | 4.1405 | 979.21 | 0.010842 | 13.776 | | 15 | Accept | 4.1438 | 1.9649 | 4.1408 | 4.1509 | 0.001234 | 0.018449 | 0.044225 | | 16 | Best | 4.1372 | 1.2361 | 4.1372 | 4.1511 | 1.7802 | 2.5477 | 0.014737 | | 17 | Accept | 4.1521 | 0.33139 | 4.1372 | 4.1466 | 0.0015946 | 2.5474 | 590.35 | | 18 | Accept | 4.1452 | 1.0538 | 4.1372 | 4.1464 | 0.058846 | 1.0766 | 0.20569 | | 19 | Accept | 4.1521 | 0.31894 | 4.1372 | 4.1461 | 2.187 | 2.5531e-06 | 278.92 | | 20 | Accept | 4.1451 | 1.7428 | 4.1372 | 4.1461 | 0.0050283 | 0.039894 | 0.14402 | |====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | KernelScale | Lambda | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Best | 4.1362 | 1.346 | 4.1362 | 4.1426 | 0.0029885 | 0.039099 | 6.3938 | | 22 | Accept | 4.1521 | 0.38251 | 4.1362 | 4.1449 | 0.035949 | 0.038533 | 80.585 | | 23 | Accept | 4.1399 | 1.251 | 4.1362 | 4.1446 | 50.001 | 0.095432 | 0.19954 | | 24 | Accept | 4.1487 | 1.4885 | 4.1362 | 4.1374 | 0.012199 | 0.089894 | 0.034773 | | 25 | Accept | 4.1521 | 0.33996 | 4.1362 | 4.1447 | 0.0011871 | 0.30153 | 425.89 | | 26 | Accept | 4.1466 | 0.87976 | 4.1362 | 4.145 | 0.0011773 | 0.052213 | 0.017592 | | 27 | Accept | 4.1418 | 0.68955 | 4.1362 | 4.145 | 7.556 | 1.655 | 0.016225 | | 28 | Accept | 4.1407 | 1.8075 | 4.1362 | 4.145 | 0.01201 | 1.6696 | 0.38806 | | 29 | Accept | 5.425 | 43.217 | 4.1362 | 4.1365 | 0.0010531 | 1.1032e-05 | 0.034083 | | 30 | Accept | 4.1521 | 0.43422 | 4.1362 | 4.1365 | 7.2684 | 8.4842e-06 | 887.63 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 93.1052 seconds
Total objective function evaluation time: 72.991
Best observed feasible point:
KernelScale Lambda Epsilon
___________ ________ _______
0.0029885 0.039099 6.3938
Observed objective function value = 4.1362
Estimated objective function value = 4.1365
Function evaluation time = 1.346
Best estimated feasible point (according to models):
KernelScale Lambda Epsilon
___________ ________ _______
0.0029885 0.039099 6.3938
Estimated objective function value = 4.1365
Estimated function evaluation time = 1.2772
Mdl =
RegressionKernel
ResponseName: 'Y'
Learner: 'svm'
NumExpansionDimensions: 256
KernelScale: 0.0030
Lambda: 0.0391
BoxConstraint: 0.0652
Epsilon: 6.3938
Properties, Methods
FitInfo = struct with fields:
Solver: 'LBFGS-fast'
LossFunction: 'epsiloninsensitive'
Lambda: 0.0391
BetaTolerance: 1.0000e-04
GradientTolerance: 1.0000e-06
ObjectiveValue: 1.7716
GradientMagnitude: 0.0051
RelativeChangeInBeta: 8.5572e-05
FitTime: 0.9412
History: []
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [5x1 optimizableVariable]
Options: [1x1 struct]
MinObjective: 4.1362
XAtMinObjective: [1x3 table]
MinEstimatedObjective: 4.1365
XAtMinEstimatedObjective: [1x3 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 93.1052
NextPoint: [1x3 table]
XTrace: [30x3 table]
ObjectiveTrace: [30x1 double]
ConstraintsTrace: []
UserDataTrace: {30x1 cell}
ObjectiveEvaluationTimeTrace: [30x1 double]
IterationTimeTrace: [30x1 double]
ErrorTrace: [30x1 double]
FeasibilityTrace: [30x1 logical]
FeasibilityProbabilityTrace: [30x1 double]
IndexOfMinimumTrace: [30x1 double]
ObjectiveMinimumTrace: [30x1 double]
EstimatedObjectiveMinimumTrace: [30x1 double]
Для больших данных может занять много времени процедура оптимизации. Если набор данных является слишком большим, чтобы запустить процедуру оптимизации, можно попытаться оптимизировать параметры с помощью только частичные данные. Используйте datasample функционируйте и задайте 'Replace','false' к выборочным данным без замены.
Входные параметры
Выходные аргументы
Ограничения
fitrkernelне принимает начальные условия для линейной содействующей беты (β) и смещает термин (b), используемый, чтобы определить решающую функцию,fitrkernelне поддерживает стандартизацию.
Больше о
Алгоритмы
fitrkernel минимизирует упорядоченную целевую функцию с помощью решателя Лимитед-мемори Бройдена Флетчера Голдфарба Шэнно (LBFGS) с гребнем (L 2) регуляризация. Чтобы найти тип решателя LBFGS используемым для обучения, введите FitInfo.Solver в Командном окне.
'LBFGS-fast'— Решатель LBFGS.'LBFGS-blockwise'— Решатель LBFGS с мудрой блоком стратегией. Еслиfitrkernelтребует большей памяти, чем значениеBlockSizeчтобы содержать преобразованные данные о предикторе, затем это использует мудрую блоком стратегию.'LBFGS-tall'— Решатель LBFGS с мудрой блоком стратегией длинных массивов.
Когда fitrkernel использует мудрую блоком стратегию, fitrkernel реализации LBFGS путем распределения вычисления потери и градиента среди различных частей данных в каждой итерации. Кроме того, fitrkernel совершенствовал первоначальные оценки линейных коэффициентов и термина смещения, подбирая модель локально к частям данных и комбинируя коэффициенты путем усреднения. Если вы задаете 'Verbose',1то fitrkernel информация о диагностике отображений для каждых данных передает, и хранит информацию в History поле FitInfo.
Когда fitrkernel не использует мудрую блоком стратегию, первоначальные оценки являются нулями. Если вы задаете 'Verbose',1то fitrkernel информация о диагностике отображений для каждой итерации и хранит информацию в History поле FitInfo.
Ссылки
[1] Rahimi, A. и Б. Речт. “Случайные Функции Крупномасштабных Машин Ядра”. Усовершенствования в Нейронных Системах обработки информации. Издание 20, 2008, стр 1177–1184.
[2] Le, Q., Т. Сарлос и А. Смола. “Быстрое питание — Аппроксимация Расширений Ядра в Логлинейное Время”. Продолжения 30-й Международной конференции по вопросам Машинного обучения. Издание 28, № 3, 2013, стр 244–252.
[3] Хуан, P. S. Х. Аврон, Т. Н. Сэйнэт, В. Синдхвани и Б. Рамабхэдрэн. “Методы ядра совпадают с Глубокими нейронными сетями на TIMIT”. 2 014 Международных конференций IEEE по вопросам Акустики, Речи и Обработки сигналов. 2014, стр 205–209.
Расширенные возможности
Смотрите также
bayesopt | bestPoint | fitrlinear | fitrsvm | loss | predict | RegressionKernel | resume | RegressionPartitionedKernel