Подходящая модель линейной регрессии к высоко-размерным данным
fitrlinear эффективно обучает модели линейной регрессии с высоко-размерными, полными или разреженными данными о предикторе. Доступные модели линейной регрессии включают упорядоченные машины вектора поддержки (SVM) и методы регрессии наименьших квадратов. fitrlinear минимизирует целевую функцию с помощью методов, которые уменьшают вычислительное время (например, стохастический спуск градиента).
В течение уменьшаемого времени вычисления на высоко-размерном наборе данных, который включает много переменных прогноза, обучите модель линейной регрессии при помощи fitrlinear. Для низкого - через средние размерные наборы данных предиктора, смотрите Альтернативы для Более низко-размерных Данных.
Mdl = fitrlinear(X,Y)Mdl = fitrlinear(X,Y,Name,Value)[Mdl,FitInfo]
= fitrlinear(___)[Mdl,FitInfo,HyperparameterOptimizationResults]
= fitrlinear(___)Mdl = fitrlinear(X,Y,Name,Value)Name,Value. Например, можно задать регрессию наименьших квадратов реализации, задать, чтобы перекрестный подтвердить, или задать тип регуляризации. Это - хорошая практика, чтобы перекрестный подтвердить использование аргумента пары Name,Value Kfold. Результаты перекрестной проверки определяют, как хорошо модель делает вывод.
[ также возвращает детали гипероптимизации параметров управления, когда вы передаете пару "имя-значение" Mdl,FitInfo,HyperparameterOptimizationResults]
= fitrlinear(___)OptimizeHyperparameters.
Обучите модель линейной регрессии, использующую SVM, двойной SGD и гребенчатую регуляризацию.
Моделируйте 10 000 наблюдений из этой модели
10000 1000 разреженная матрица с 10%-ми ненулевыми стандартными нормальными элементами.
e является случайной нормальной ошибкой со средним значением 0 и стандартным отклонением 0.3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Обучите модель линейной регрессии. По умолчанию fitrlinear использует поддержку векторные машины с гребенчатым штрафом и оптимизирует использующий двойной SGD для SVM. Определите, как хорошо алгоритм оптимизации соответствует модели к данным путем извлечения подходящих сводных данных.
[Mdl,FitInfo] = fitrlinear(X,Y)
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0056
Lambda: 1.0000e-04
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 1.0000e-04
Objective: 0.2725
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 100000
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.4907
BetaTolerance: 1.0000e-04
DeltaGradient: 1.5816
DeltaGradientTolerance: 0.1000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000x1 double]
History: []
FitTime: 0.1155
Solver: {'dual'}
Mdl является моделью RegressionLinear. Можно передать Mdl и учебные или новые данные к loss, чтобы осмотреть среднеквадратическую ошибку в выборке. Или, можно передать Mdl и новые данные о предикторе к predict, чтобы предсказать ответы для новых наблюдений.
FitInfo является массивом структур, содержащим, среди прочего, состояние завершения (TerminationStatus) и сколько времени решатель взял, чтобы соответствовать модели к данным (FitTime). Это - хорошая практика, чтобы использовать FitInfo, чтобы определить, являются ли измерения завершения оптимизации удовлетворительными. В этом случае fitrlinear достиг максимального количества итераций. Поскольку учебное время быстро, можно переобучить модель, но увеличить количество проходов через данные. Или, попробуйте другой решатель, такой как LBFGS.
Чтобы определить хорошую силу штрафа лассо для модели линейной регрессии, которая использует наименьшие квадраты, реализуйте 5-кратную перекрестную проверку.
Моделируйте 10 000 наблюдений из этой модели
10000 1000 разреженная матрица с 10%-ми ненулевыми стандартными нормальными элементами.
e является случайной нормальной ошибкой со средним значением 0 и стандартным отклонением 0.3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Создайте набор 15 логарифмически распределенных сильных мест регуляризации от через .
Lambda = logspace(-5,-1,15);
Перекрестный подтвердите модели. Чтобы увеличить скорость выполнения, транспонируйте данные о предикторе и укажите, что наблюдения находятся в столбцах. Оптимизируйте использование целевой функции SpaRSA.
X = X'; CVMdl = fitrlinear(X,Y,'ObservationsIn','columns','KFold',5,'Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numCLModels = numel(CVMdl.Trained)
numCLModels = 5
CVMdl является моделью RegressionPartitionedLinear. Поскольку fitrlinear реализует 5-кратную перекрестную проверку, CVMdl содержит 5 моделей RegressionLinear, которые программное обеспечение обучает на каждом сгибе.
Отобразите первую обученную модель линейной регрессии.
Mdl1 = CVMdl.Trained{1}Mdl1 =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x15 double]
Bias: [1x15 double]
Lambda: [1x15 double]
Learner: 'leastsquares'
Properties, Methods
Mdl1 является объектом модели RegressionLinear. fitrlinear создал Mdl1 по образованию на первых четырех сгибах. Поскольку Lambda является последовательностью сильных мест регуляризации, можно думать о Mdl1 как о 15 моделях, один для каждой силы регуляризации в Lambda.
Оцените перекрестный подтвержденный MSE.
mse = kfoldLoss(CVMdl);
Более высокие значения Lambda приводят к разреженности переменной прогноза, которая является хорошим качеством модели регрессии. Для каждой силы регуляризации обучите модель линейной регрессии использование целого набора данных и тех же опций как тогда, когда вы перекрестный подтвержденный модели. Определите количество ненулевых коэффициентов на модель.
Mdl = fitrlinear(X,Y,'ObservationsIn','columns','Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numNZCoeff = sum(Mdl.Beta~=0);
В той же фигуре постройте перекрестный подтвержденный MSE и частоту ненулевых коэффициентов для каждой силы регуляризации. Постройте все переменные на логарифмической шкале.
figure [h,hL1,hL2] = plotyy(log10(Lambda),log10(mse),... log10(Lambda),log10(numNZCoeff)); hL1.Marker = 'o'; hL2.Marker = 'o'; ylabel(h(1),'log_{10} MSE') ylabel(h(2),'log_{10} nonzero-coefficient frequency') xlabel('log_{10} Lambda') hold off
Выберите индекс силы регуляризации, которая балансирует разреженность переменной прогноза и низкий MSE (например, Lambda(10)).
idxFinal = 10;
Извлеките модель с соответствием минимальному MSE.
MdlFinal = selectModels(Mdl,idxFinal)
MdlFinal =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0050
Lambda: 0.0037
Learner: 'leastsquares'
Properties, Methods
idxNZCoeff = find(MdlFinal.Beta~=0)
idxNZCoeff = 2×1
100
200
EstCoeff = Mdl.Beta(idxNZCoeff)
EstCoeff = 2×1
1.0051
1.9965
MdlFinal является моделью RegressionLinear с одной силой регуляризации. Ненулевой содействующий EstCoeff близко к коэффициентам, которые моделировали данные.
Этот пример показывает, как оптимизировать гиперпараметры автоматически с помощью fitrlinear. Пример использует искусственные (моделируемые) данные для модели
10000 1000 разреженная матрица с 10%-ми ненулевыми стандартными нормальными элементами.
e является случайной нормальной ошибкой со средним значением 0 и стандартным отклонением 0.3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Найдите гиперпараметры, которые минимизируют пятикратную потерю перекрестной проверки при помощи автоматической гипероптимизации параметров управления.
Для воспроизводимости используйте функцию приобретения 'expected-improvement-plus'.
hyperopts = struct('AcquisitionFunctionName','expected-improvement-plus'); [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrlinear(X,Y,... 'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',hyperopts)
|=====================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Lambda | Learner |
| | result | | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 1 | Best | 0.16029 | 1.4446 | 0.16029 | 0.16029 | 2.4206e-09 | svm |
| 2 | Best | 0.14496 | 0.57524 | 0.14496 | 0.14601 | 0.001807 | svm |
| 3 | Best | 0.13879 | 0.43999 | 0.13879 | 0.14065 | 2.4681e-09 | leastsquares |
| 4 | Best | 0.115 | 0.42829 | 0.115 | 0.11501 | 0.021027 | leastsquares |
| 5 | Accept | 0.44352 | 0.42217 | 0.115 | 0.1159 | 4.6795 | leastsquares |
| 6 | Best | 0.11025 | 0.51062 | 0.11025 | 0.11024 | 0.010671 | leastsquares |
| 7 | Accept | 0.13222 | 0.40441 | 0.11025 | 0.11024 | 8.6067e-08 | leastsquares |
| 8 | Accept | 0.13262 | 0.37491 | 0.11025 | 0.11023 | 8.5109e-05 | leastsquares |
| 9 | Accept | 0.13543 | 0.40664 | 0.11025 | 0.11021 | 2.7562e-06 | leastsquares |
| 10 | Accept | 0.15751 | 0.54019 | 0.11025 | 0.11022 | 5.0559e-06 | svm |
| 11 | Accept | 0.40673 | 0.59473 | 0.11025 | 0.1102 | 0.52074 | svm |
| 12 | Accept | 0.16057 | 0.5041 | 0.11025 | 0.1102 | 0.00014292 | svm |
| 13 | Accept | 0.16105 | 0.75763 | 0.11025 | 0.11018 | 1.0079e-07 | svm |
| 14 | Accept | 0.12763 | 0.37927 | 0.11025 | 0.11019 | 0.0012085 | leastsquares |
| 15 | Accept | 0.13504 | 0.31481 | 0.11025 | 0.11019 | 1.3981e-08 | leastsquares |
| 16 | Accept | 0.11041 | 0.31867 | 0.11025 | 0.11026 | 0.0093968 | leastsquares |
| 17 | Best | 0.10954 | 0.30385 | 0.10954 | 0.11003 | 0.010393 | leastsquares |
| 18 | Accept | 0.10998 | 0.3186 | 0.10954 | 0.11002 | 0.010254 | leastsquares |
| 19 | Accept | 0.45314 | 0.37556 | 0.10954 | 0.11001 | 9.9932 | svm |
| 20 | Best | 0.10753 | 0.46093 | 0.10753 | 0.10759 | 0.022576 | svm |
|=====================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Lambda | Learner |
| | result | | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 21 | Best | 0.10737 | 0.40389 | 0.10737 | 0.10728 | 0.010171 | svm |
| 22 | Accept | 0.13448 | 0.37006 | 0.10737 | 0.10727 | 1.5344e-05 | leastsquares |
| 23 | Best | 0.10645 | 0.61087 | 0.10645 | 0.10565 | 0.015495 | svm |
| 24 | Accept | 0.13598 | 0.32091 | 0.10645 | 0.10559 | 4.5984e-07 | leastsquares |
| 25 | Accept | 0.15962 | 0.49945 | 0.10645 | 0.10556 | 1.4302e-08 | svm |
| 26 | Accept | 0.10689 | 0.66698 | 0.10645 | 0.10616 | 0.015391 | svm |
| 27 | Accept | 0.13748 | 0.33758 | 0.10645 | 0.10614 | 1.001e-09 | leastsquares |
| 28 | Accept | 0.10692 | 0.5687 | 0.10645 | 0.10639 | 0.015761 | svm |
| 29 | Accept | 0.10681 | 0.49638 | 0.10645 | 0.10649 | 0.015777 | svm |
| 30 | Accept | 0.34314 | 0.41078 | 0.10645 | 0.10651 | 0.39671 | leastsquares |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 48.5322 seconds.
Total objective function evaluation time: 14.5608
Best observed feasible point:
Lambda Learner
________ _______
0.015495 svm
Observed objective function value = 0.10645
Estimated objective function value = 0.10651
Function evaluation time = 0.61087
Best estimated feasible point (according to models):
Lambda Learner
________ _______
0.015777 svm
Estimated objective function value = 0.10651
Estimated function evaluation time = 0.5285
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0018
Lambda: 0.0158
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 0.0158
Objective: 0.2309
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 99989
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.0641
BetaTolerance: 1.0000e-04
DeltaGradient: 1.1697
DeltaGradientTolerance: 0.1000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000x1 double]
History: []
FitTime: 0.0990
Solver: {'dual'}
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [3x1 optimizableVariable]
Options: [1x1 struct]
MinObjective: 0.1065
XAtMinObjective: [1x2 table]
MinEstimatedObjective: 0.1065
XAtMinEstimatedObjective: [1x2 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 48.5322
NextPoint: [1x2 table]
XTrace: [30x2 table]
ObjectiveTrace: [30x1 double]
ConstraintsTrace: []
UserDataTrace: {30x1 cell}
ObjectiveEvaluationTimeTrace: [30x1 double]
IterationTimeTrace: [30x1 double]
ErrorTrace: [30x1 double]
FeasibilityTrace: [30x1 logical]
FeasibilityProbabilityTrace: [30x1 double]
IndexOfMinimumTrace: [30x1 double]
ObjectiveMinimumTrace: [30x1 double]
EstimatedObjectiveMinimumTrace: [30x1 double]
Этот метод оптимизации более прост, чем показанный в Находке Хороший Штраф Лассо Используя Перекрестную проверку, но не позволяет вам обменивать сложность модели и потерю перекрестной проверки.
Это - лучшая практика ориентировать вашу матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавать 'ObservationsIn','columns'. В результате можно испытать значительное сокращение во время выполнения оптимизации.
Для лучшей точности оптимизации, если X является высоко-размерным и Regularization является 'ridge', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'dual', если Learner является 'svm'
{'sgd','lbfgs'}
{'asgd','lbfgs'}
{'dual','lbfgs'}, если Learner является 'svm'
Другие комбинации могут привести к плохой точности оптимизации.
Для лучшей точности оптимизации, если X является умеренным - через низко-размерный и Regularization, 'ridge', установите Solver на 'bfgs'.
Если Regularization является 'lasso', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'sparsa'
{'sgd','sparsa'}
{'asgd','sparsa'}
При выборе между SGD и ASGD, полагайте что:
SGD занимает меньше времени на итерацию, но требует, чтобы сходилось больше итераций.
ASGD требует, чтобы меньше итераций сходилось, но занимает больше времени на итерацию.
Если X имеет немного наблюдений, но много переменных прогноза, то:
Задайте 'PostFitBias',true.
Для SGD или решателей ASGD, набор PassLimit к положительному целому числу, которое больше, чем 1, например, 5 или 10. Эта установка часто приводит к лучшей точности.
Для SGD и решателей ASGD, BatchSize влияет на уровень сходимости.
Если BatchSize является слишком маленьким, то fitrlinear достигает минимума во многих итерациях, но вычисляет градиент на итерацию быстро.
Если BatchSize является слишком большим, то fitrlinear достигает минимума в меньшем количестве итераций, но вычисляет градиент на итерацию медленно.
Большие темпы обучения (см. LearnRate) ускоряют сходимость к минимуму, но могут привести к расхождению (то есть, переступив через минимум). Небольшие темпы обучения гарантируют сходимость минимуму, но могут вести, чтобы замедлить завершение.
При использовании штрафов лассо экспериментируйте с различными значениями TruncationPeriod. Например, установите TruncationPeriod на 1, 10, и затем 100.
Для эффективности fitrlinear не стандартизирует данные о предикторе. Чтобы стандартизировать X, войти
X = bsxfun(@rdivide,bsxfun(@minus,X,mean(X,2)),std(X,0,2));
Код требует, чтобы вы ориентировали предикторы и наблюдения как строки и столбцы X, соответственно. Кроме того, для экономики использования памяти код заменяет исходные данные о предикторе стандартизированные данные.
После обучения модель можно сгенерировать код C/C++, который предсказывает ответы для новых данных. Генерация кода C/C++ требует MATLAB Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.
Если вы задаете ValidationData, то, во время оптимизации целевой функции:
fitrlinear оценивает потерю валидации ValidationData периодически с помощью текущей модели и отслеживает минимальную оценку.
Когда fitrlinear оценивает потерю валидации, он сравнивает оценку с минимальной оценкой.
Когда последующий, оценки потерь валидации превышают минимальную оценку пять раз, fitrlinear отключает оптимизацию.
Если вы задаете ValidationData и реализовывать стандартную программу перекрестной проверки (CrossVal, CVPartition, Holdout или KFold), то:
fitrlinear случайным образом делит X и Y согласно стандартной программе перекрестной проверки, которую вы выбираете.
fitrlinear обучает модель с помощью раздела данных тренировки. Во время оптимизации целевой функции fitrlinear использует ValidationData в качестве другого возможного способа отключить оптимизацию (для получения дополнительной информации смотрите предыдущий маркер).
Если fitrlinear удовлетворяет останавливающийся критерий, он создает обученное основанное на модели на оптимизированных линейных коэффициентах и прерывании.
Если вы реализуете k - перекрестная проверка сгиба, и fitrlinear не исчерпал все сгибы набора обучающих данных, то fitrlinear возвращается к Шагу 2, чтобы обучить использование следующего сгиба набора обучающих данных.
В противном случае fitrlinear отключает обучение, и затем возвращает перекрестную подтвержденную модель.
Можно определить качество перекрестной подтвержденной модели. Например:
Чтобы определить потерю валидации с помощью затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldLoss.
Чтобы предсказать наблюдения относительно затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldPredict.
[1] Хо, C. H. и К. Дж. Лин. “Крупномасштабная Линейная Регрессия Вектора Поддержки”. Журнал Исследования Машинного обучения, Издания 13, 2012, стр 3323–3348.
[2] Се, C. J. К. В. Чанг, К. Дж. Лин, С. С. Кирти и С. Сандарарэджэн. “Двойной Координатный Метод Спуска для Крупномасштабного Линейного SVM”. Продолжения 25-й Международной конференции по вопросам Машинного обучения, ICML ’08, 2001, стр 408–415.
[3] Лэнгфорд, J., Л. Ли и Т. Чжан. “Разреженное Дистанционное обучение Через Усеченный Градиент”. Дж. Мах. Учиться. Res., Издание 10, 2009, стр 777–801.
[4] Nocedal, J. и С. Дж. Райт. Числовая Оптимизация, 2-й редактор, Нью-Йорк: Спрингер, 2006.
[5] Шалев-Шварц, S., И. Зингер и Н. Сребро. “Pegasos: Основной Предполагаемый Решатель Подградиента для SVM”. Продолжения 24-й Международной конференции по вопросам Машинного обучения, ICML ’07, 2007, стр 807–814.
[6] Мастер, S. J. Р. Д. Ноуок и М. А. Т. Фигередо. “Разреженная Реконструкция Отделимым Приближением”. Сигнал сделки Proc., Издание 57, № 7, 2009, стр 2479–2493.
[7] Сяо, Лин. “Двойные Методы усреднения для Упорядоченного Стохастического Изучения и Онлайновой Оптимизации”. Дж. Мах. Учиться. Res., Издание 11, 2010, стр 2543–2596.
[8] Сюй, Вэй. “К Оптимальному Один Крупный масштаб Передачи Изучение с Усредненным Стохастическим Спуском Градиента”. CoRR, abs/1107.2490, 2011.
RegressionLinear | RegressionPartitionedLinear | fitclinear | fitlm | fitrsvm | kfoldLoss | kfoldPredict | lasso | predict | ridge