Подбирайте модель линейной регрессии к высоко-размерным данным
fitrlinear эффективно обучает модели линейной регрессии с высоко-размерными, полными или разреженными данными о предикторе. Доступные модели линейной регрессии включают упорядоченные машины опорных векторов (SVM) и методы регрессии наименьших квадратов. fitrlinear минимизирует целевую функцию с помощью методов, которые уменьшают вычислительное время (например, стохастический градиентный спуск).
Для сокращения времени вычисления на высоко-размерном наборе данных, который включает много переменных предикторов, обучите модель линейной регрессии при помощи fitrlinear. Для низкого - через средние размерные наборы данных предиктора, смотрите Альтернативы для Более низко-размерных Данных.
Mdl = fitrlinear(X,Y,Name,Value)Name,Value парные аргументы. Например, можно задать регрессию наименьших квадратов реализации, задать, чтобы перекрестный подтвердить, или задать тип регуляризации. Это - хорошая практика, чтобы перекрестный подтвердить использование Kfold Name,Value парный аргумент. Результаты перекрестной проверки определяют, как хорошо модель делает вывод.
[ также возвращает детали гипероптимизации параметров управления, когда вы передаете Mdl,FitInfo,HyperparameterOptimizationResults]
= fitrlinear(___)OptimizeHyperparameters пара "имя-значение".
Обучите модель линейной регрессии, использующую SVM, двойной SGD и гребенчатую регуляризацию.
Симулируйте 10 000 наблюдений из этой модели
10000 1000 разреженная матрица с 10%-ми ненулевыми стандартными нормальными элементами.
e является случайной нормальной ошибкой со средним значением 0 и стандартным отклонением 0.3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Обучите модель линейной регрессии. По умолчанию, fitrlinear машины опорных векторов использования с гребенчатым штрафом, и оптимизируют использующий двойной SGD для SVM. Определите, как хорошо алгоритм оптимизации подбирает модель к данным путем извлечения подходящих сводных данных.
[Mdl,FitInfo] = fitrlinear(X,Y)
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0056
Lambda: 1.0000e-04
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 1.0000e-04
Objective: 0.2725
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 100000
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.4907
BetaTolerance: 1.0000e-04
DeltaGradient: 1.5816
DeltaGradientTolerance: 0.1000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000x1 double]
History: []
FitTime: 0.0796
Solver: {'dual'}
Mdl RegressionLinear модель. Можно передать Mdl и учебные или новые данные к loss смотреть среднеквадратическую ошибку в выборке. Или, можно передать Mdl и новые данные о предикторе к predict предсказать ответы для новых наблюдений.
FitInfo массив структур, содержащий, среди прочего, состояние завершения (TerminationStatus) и сколько времени решатель взял, чтобы подбирать модель к данным (FitTime). Это - хорошая практика, чтобы использовать FitInfo определить, являются ли измерения завершения оптимизации удовлетворительными. В этом случае, fitrlinear достигнутый максимальное количество итераций. Поскольку учебное время быстро, можно переобучить модель, но увеличить количество проходов через данные. Или, попробуйте другой решатель, такой как LBFGS.
Чтобы определить хорошую силу штрафа лассо для модели линейной регрессии, которая использует наименьшие квадраты, реализуйте 5-кратную перекрестную проверку.
Симулируйте 10 000 наблюдений из этой модели
10000 1000 разреженная матрица с 10%-ми ненулевыми стандартными нормальными элементами.
e является случайной нормальной ошибкой со средним значением 0 и стандартным отклонением 0.3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Создайте набор 15 логарифмически распределенных сильных мест регуляризации от через .
Lambda = logspace(-5,-1,15);
Перекрестный подтвердите модели. Чтобы увеличить скорость выполнения, транспонируйте данные о предикторе и укажите, что наблюдения находятся в столбцах. Оптимизируйте использование целевой функции SpaRSA.
X = X'; CVMdl = fitrlinear(X,Y,'ObservationsIn','columns','KFold',5,'Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numCLModels = numel(CVMdl.Trained)
numCLModels = 5
CVMdl RegressionPartitionedLinear модель. Поскольку fitrlinear реализует 5-кратную перекрестную проверку, CVMdl содержит 5 RegressionLinear модели, которые программное обеспечение обучает на каждом сгибе.
Отобразите первую обученную модель линейной регрессии.
Mdl1 = CVMdl.Trained{1}Mdl1 =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x15 double]
Bias: [1x15 double]
Lambda: [1x15 double]
Learner: 'leastsquares'
Properties, Methods
Mdl1 RegressionLinear объект модели. fitrlinear созданный Mdl1 по образованию на первых четырех сгибах. Поскольку Lambda последовательность сильных мест регуляризации, можно думать о Mdl1 как 15 моделей, один для каждой силы регуляризации в Lambda.
Оцените перекрестный подтвержденный MSE.
mse = kfoldLoss(CVMdl);
Более высокие значения Lambda приведите к разреженности переменного предиктора, которая является хорошим качеством модели регрессии. Для каждой силы регуляризации обучите модель линейной регрессии использование целого набора данных и тех же опций как тогда, когда вы перекрестный подтвержденный модели. Определите количество ненулевых коэффициентов на модель.
Mdl = fitrlinear(X,Y,'ObservationsIn','columns','Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numNZCoeff = sum(Mdl.Beta~=0);
В той же фигуре постройте перекрестный подтвержденный MSE и частоту ненулевых коэффициентов для каждой силы регуляризации. Постройте все переменные на логарифмической шкале.
figure [h,hL1,hL2] = plotyy(log10(Lambda),log10(mse),... log10(Lambda),log10(numNZCoeff)); hL1.Marker = 'o'; hL2.Marker = 'o'; ylabel(h(1),'log_{10} MSE') ylabel(h(2),'log_{10} nonzero-coefficient frequency') xlabel('log_{10} Lambda') hold off
Выберите индекс силы регуляризации, которая балансирует разреженность переменного предиктора и низкий MSE (например, Lambda(10)).
idxFinal = 10;
Извлеките модель с соответствием минимальному MSE.
MdlFinal = selectModels(Mdl,idxFinal)
MdlFinal =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0050
Lambda: 0.0037
Learner: 'leastsquares'
Properties, Methods
idxNZCoeff = find(MdlFinal.Beta~=0)
idxNZCoeff = 2×1
100
200
EstCoeff = Mdl.Beta(idxNZCoeff)
EstCoeff = 2×1
1.0051
1.9965
MdlFinal RegressionLinear модель с одной силой регуляризации. Ненулевые коэффициенты EstCoeff близко к коэффициентам, которые симулировали данные.
В этом примере показано, как оптимизировать гиперпараметры автоматически с помощью fitrlinear. Пример использует искусственные (симулированные) данные в модели
10000 1000 разреженная матрица с 10%-ми ненулевыми стандартными нормальными элементами.
e является случайной нормальной ошибкой со средним значением 0 и стандартным отклонением 0.3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Найдите гиперпараметры, которые минимизируют пятикратную потерю перекрестной проверки при помощи автоматической гипероптимизации параметров управления.
Для воспроизводимости используйте 'expected-improvement-plus' функция приобретения.
hyperopts = struct('AcquisitionFunctionName','expected-improvement-plus'); [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrlinear(X,Y,... 'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',hyperopts)
|=====================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Lambda | Learner |
| | result | log(1+loss) | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 1 | Best | 0.16029 | 1.3249 | 0.16029 | 0.16029 | 2.4206e-09 | svm |
| 2 | Best | 0.14496 | 0.58377 | 0.14496 | 0.14601 | 0.001807 | svm |
| 3 | Best | 0.13879 | 0.46699 | 0.13879 | 0.14065 | 2.4681e-09 | leastsquares |
| 4 | Best | 0.115 | 0.45708 | 0.115 | 0.11501 | 0.021027 | leastsquares |
| 5 | Accept | 0.44352 | 0.51526 | 0.115 | 0.1159 | 4.6795 | leastsquares |
| 6 | Best | 0.11025 | 0.45359 | 0.11025 | 0.11024 | 0.010671 | leastsquares |
| 7 | Accept | 0.13222 | 0.3721 | 0.11025 | 0.11024 | 8.6067e-08 | leastsquares |
| 8 | Accept | 0.13262 | 0.3774 | 0.11025 | 0.11023 | 8.5109e-05 | leastsquares |
| 9 | Accept | 0.13543 | 0.43314 | 0.11025 | 0.11021 | 2.7562e-06 | leastsquares |
| 10 | Accept | 0.15751 | 0.56759 | 0.11025 | 0.11022 | 5.0559e-06 | svm |
| 11 | Accept | 0.40673 | 0.73822 | 0.11025 | 0.1102 | 0.52074 | svm |
| 12 | Accept | 0.16057 | 0.57493 | 0.11025 | 0.1102 | 0.00014292 | svm |
| 13 | Accept | 0.16105 | 0.6408 | 0.11025 | 0.11018 | 1.0079e-07 | svm |
| 14 | Accept | 0.12763 | 0.38494 | 0.11025 | 0.11019 | 0.0012085 | leastsquares |
| 15 | Accept | 0.13504 | 0.43863 | 0.11025 | 0.11019 | 1.3981e-08 | leastsquares |
| 16 | Accept | 0.11041 | 0.349 | 0.11025 | 0.11026 | 0.0093968 | leastsquares |
| 17 | Best | 0.10954 | 0.39218 | 0.10954 | 0.11003 | 0.010393 | leastsquares |
| 18 | Accept | 0.10998 | 0.43999 | 0.10954 | 0.11002 | 0.010254 | leastsquares |
| 19 | Accept | 0.45314 | 0.50596 | 0.10954 | 0.11001 | 9.9966 | svm |
| 20 | Best | 0.10753 | 0.81484 | 0.10753 | 0.10759 | 0.022576 | svm |
|=====================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Lambda | Learner |
| | result | log(1+loss) | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 21 | Best | 0.10737 | 0.67722 | 0.10737 | 0.10728 | 0.010171 | svm |
| 22 | Accept | 0.13448 | 0.46156 | 0.10737 | 0.10727 | 1.5344e-05 | leastsquares |
| 23 | Best | 0.10645 | 0.78804 | 0.10645 | 0.10565 | 0.015495 | svm |
| 24 | Accept | 0.13598 | 0.48292 | 0.10645 | 0.10559 | 4.5984e-07 | leastsquares |
| 25 | Accept | 0.15962 | 0.71874 | 0.10645 | 0.10556 | 1.4302e-08 | svm |
| 26 | Accept | 0.10689 | 0.73221 | 0.10645 | 0.10616 | 0.015391 | svm |
| 27 | Accept | 0.13748 | 0.55768 | 0.10645 | 0.10614 | 1.001e-09 | leastsquares |
| 28 | Accept | 0.10692 | 0.77551 | 0.10645 | 0.10639 | 0.015761 | svm |
| 29 | Accept | 0.10681 | 0.87379 | 0.10645 | 0.10649 | 0.015777 | svm |
| 30 | Accept | 0.34314 | 0.46778 | 0.10645 | 0.10651 | 0.39671 | leastsquares |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 55.4128 seconds.
Total objective function evaluation time: 17.3668
Best observed feasible point:
Lambda Learner
________ _______
0.015495 svm
Observed objective function value = 0.10645
Estimated objective function value = 0.10651
Function evaluation time = 0.78804
Best estimated feasible point (according to models):
Lambda Learner
________ _______
0.015777 svm
Estimated objective function value = 0.10651
Estimated function evaluation time = 0.76659
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0018
Lambda: 0.0158
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 0.0158
Objective: 0.2309
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 99989
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.0641
BetaTolerance: 1.0000e-04
DeltaGradient: 1.1697
DeltaGradientTolerance: 0.1000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000x1 double]
History: []
FitTime: 0.1144
Solver: {'dual'}
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [3x1 optimizableVariable]
Options: [1x1 struct]
MinObjective: 0.1065
XAtMinObjective: [1x2 table]
MinEstimatedObjective: 0.1065
XAtMinEstimatedObjective: [1x2 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 55.4128
NextPoint: [1x2 table]
XTrace: [30x2 table]
ObjectiveTrace: [30x1 double]
ConstraintsTrace: []
UserDataTrace: {30x1 cell}
ObjectiveEvaluationTimeTrace: [30x1 double]
IterationTimeTrace: [30x1 double]
ErrorTrace: [30x1 double]
FeasibilityTrace: [30x1 logical]
FeasibilityProbabilityTrace: [30x1 double]
IndexOfMinimumTrace: [30x1 double]
ObjectiveMinimumTrace: [30x1 double]
EstimatedObjectiveMinimumTrace: [30x1 double]
Этот метод оптимизации более прост, чем показанный в Находке Хороший Штраф Лассо Используя Перекрестную проверку, но не позволяет вам обменивать сложность модели и потерю перекрестной проверки.
Это - лучшая практика ориентировать вашу матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавать 'ObservationsIn','columns'. В результате можно испытать значительное сокращение во время выполнения оптимизации.
Для лучшей точности оптимизации, если X является высоко-размерным и Regularization 'ridge', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'dual' если Learner 'svm'
{'sgd','lbfgs'}
{'asgd','lbfgs'}
{'dual','lbfgs'} если Learner 'svm'
Другие комбинации могут привести к плохой точности оптимизации.
Для лучшей точности оптимизации, если X является умеренным - через низко-размерный и Regularization 'ridge', установите Solver к 'bfgs'.
Если Regularization 'lasso', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'sparsa'
{'sgd','sparsa'}
{'asgd','sparsa'}
При выборе между SGD и ASGD, полагайте что:
SGD занимает меньше времени на итерацию, но требует, чтобы сходилось больше итераций.
ASGD требует, чтобы меньше итераций сходилось, но занимает больше времени на итерацию.
Если X имеет немного наблюдений, но много переменных предикторов, затем:
Задайте 'PostFitBias',true.
Для SGD или решателей ASGD, набор PassLimit к положительному целому числу, которое больше 1, например, 5 или 10. Эта установка часто приводит к лучшей точности.
Для SGD и решателей ASGD, BatchSize влияет на уровень сходимости.
Если BatchSize слишком мал, затем fitrlinear достигает минимума во многих итерациях, но вычисляет градиент на итерацию быстро.
Если BatchSize является слишком большим, затем fitrlinear достигает минимума в меньшем количестве итераций, но вычисляет градиент на итерацию медленно.
Большие темпы обучения (см. LearnRate) ускорьте сходимость к минимуму, но может привести к расхождению (то есть, переступив через минимум). Небольшие темпы обучения гарантируют сходимость минимуму, но могут вести, чтобы замедлить завершение.
При использовании штрафов лассо экспериментируйте с различными значениями TruncationPeriod. Например, установите TruncationPeriod к 1, 10, и затем 100.
Для КПД, fitrlinear не стандартизирует данные о предикторе. Стандартизировать X, войти
X = bsxfun(@rdivide,bsxfun(@minus,X,mean(X,2)),std(X,0,2));
Код требует, чтобы вы ориентировали предикторы и наблюдения как строки и столбцы X, соответственно. Кроме того, для экономики использования памяти код заменяет исходные данные о предикторе стандартизированные данные.
После обучения модель можно сгенерировать код C/C++, который предсказывает ответы для новых данных. Генерация кода C/C++ требует MATLAB Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.
Если вы задаете ValidationData, затем, во время оптимизации целевой функции:
fitrlinear оценивает потерю валидации ValidationData периодически с помощью текущей модели и дорожек минимальная оценка.
Когда fitrlinear оценивает потерю валидации, она сравнивает оценку с минимальной оценкой.
Когда последующий, оценки потерь валидации превышают минимальную оценку пять раз, fitrlinear отключает оптимизацию.
Если вы задаете ValidationData и реализовывать стандартную программу перекрестной проверки (CrossVal, CVPartition, Holdout, или KFoldзатем:
fitrlinear случайным образом разделы X и Y согласно стандартной программе перекрестной проверки, которую вы выбираете.
fitrlinear обучает модель с помощью раздела обучающих данных. Во время оптимизации целевой функции, fitrlinear использование ValidationData как другой возможный способ отключить оптимизацию (для получения дополнительной информации смотрите предыдущий маркер).
Однажды fitrlinear удовлетворяет останавливающемуся критерию, он создает обученное основанное на модели на оптимизированных линейных коэффициентах и прерывании.
Если вы реализуете k - сворачивают перекрестную проверку и fitrlinear не исчерпал все сгибы набора обучающих данных, затем fitrlinear возвращается к Шагу 2, чтобы обучить использование следующего сгиба набора обучающих данных.
В противном случае, fitrlinear отключает обучение, и затем возвращает перекрестную подтвержденную модель.
Можно определить качество перекрестной подтвержденной модели. Например:
Чтобы определить потерю валидации с помощью затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldLoss.
Чтобы предсказать наблюдения относительно затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldPredict.
[1] Хо, C. H. и К. Дж. Лин. “Крупномасштабная Линейная Регрессия Вектора Поддержки”. Журнал Исследования Машинного обучения, Издания 13, 2012, стр 3323–3348.
[2] Се, C. J. К. В. Чанг, К. Дж. Лин, С. С. Кирти и С. Сандарарэджэн. “Двойной Координатный Метод Спуска для Крупномасштабного Линейного SVM”. Продолжения 25-й Международной конференции по вопросам Машинного обучения, ICML ’08, 2001, стр 408–415.
[3] Лэнгфорд, J., Л. Ли и Т. Чжан. “Разреженное Дистанционное обучение Через Усеченный Градиент”. Дж. Мах. Учиться. Res., Издание 10, 2009, стр 777–801.
[4] Nocedal, J. и С. Дж. Райт. Числовая Оптимизация, 2-й редактор, Нью-Йорк: Спрингер, 2006.
[5] Шалев-Шварц, S., И. Зингер и Н. Сребро. “Pegasos: Основной Предполагаемый Решатель Подградиента для SVM”. Продолжения 24-й Международной конференции по вопросам Машинного обучения, ICML ’07, 2007, стр 807–814.
[6] Мастер, S. J. Р. Д. Ноуок и М. А. Т. Фигередо. “Разреженная Реконструкция Отделимым Приближением”. Сигнал сделки Proc., Издание 57, № 7, 2009, стр 2479–2493.
[7] Сяо, Лин. “Двойные Методы усреднения для Упорядоченного Стохастического Изучения и Онлайновой Оптимизации”. Дж. Мах. Учиться. Res., Издание 11, 2010, стр 2543–2596.
[8] Сюй, Вэй. “К Оптимальному Один Крупный масштаб Передачи Изучение с Усредненным Стохастическим Градиентным спуском”. CoRR, abs/1107.2490, 2011.
RegressionLinear | RegressionPartitionedLinear | fitclinear | fitlm | fitrsvm | kfoldLoss | kfoldPredict | lasso | predict | ridge