Подгонка линейной регрессионой модели к высоко-размерным данным
fitrlinear эффективно обучает линейные регрессионые модели с высокомерными, полными или разреженными данными предиктора. Доступные линейные регрессионные модели включают регуляризованные машины опорных векторов (SVM) и методы регрессии методом наименьших квадратов. fitrlinear минимизирует целевую функцию с помощью методов, которые сокращают время вычисления (например, стохастический градиентный спуск).
Для сокращения времени вычисления на высоко-размерном наборе данных, который включает много переменные, обучите линейную регрессионую модель при помощи fitrlinear. Для наборов данных со средним и средним размерностями смотрите Альтернативы для нижних размерных данных.
Mdl = fitrlinear(Tbl,ResponseVarName)Tbl и значений отклика в Tbl.ResponseVarName.
Mdl = fitrlinear(X,Y,Name,Value)'Kfold' аргумент пары "имя-значение". Результаты перекрестной валидации определяют, насколько хорошо обобщается модель.
[ также возвращает детали оптимизации гипероптимизации параметров управления, когда вы проходите Mdl,FitInfo,HyperparameterOptimizationResults]
= fitrlinear(___)OptimizeHyperparameters Пара "имя-значение".
Обучите линейную регрессионую модель с помощью SVM, двойной SGD и регуляризации гребня.
Симулируйте 10000 наблюдений из этой модели
является разреженной матрицей 10000 на 1000 с 10% ненулевыми стандартными нормальными элементами.
e - случайная нормальная ошибка со средним 0 и стандартным отклонением 0,3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Обучите линейную регрессионую модель. По умолчанию fitrlinear использует машины опорных векторов с хребтовой штрафной платой и оптимизирует использование двойного SGD для SVM. Определите, насколько хорошо алгоритм оптимизации соответствует модели данным, путем извлечения сводных данных подгонки.
[Mdl,FitInfo] = fitrlinear(X,Y)
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0056
Lambda: 1.0000e-04
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 1.0000e-04
Objective: 0.2725
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 100000
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.4907
BetaTolerance: 1.0000e-04
DeltaGradient: 1.5816
DeltaGradientTolerance: 0.1000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000x1 double]
History: []
FitTime: 0.1253
Solver: {'dual'}
Mdl является RegressionLinear модель. Можно пройти Mdl и обучающих или новых данных для loss чтобы проверить среднюю квадратную ошибку в выборке. Или ты можешь пройти Mdl и новые данные предиктора для predict для предсказания ответов на новые наблюдения.
FitInfo - массив структур, содержащий, помимо прочего, статус завершения (TerminationStatus) и как долго решатель подгонял модель к данным (FitTime). Передовой практикой является использование FitInfo чтобы определить, являются ли измерения оптимизации-обрыв удовлетворительными. В этом случае fitrlinear достигло максимального количества итераций. Поскольку время обучения быстро, можно переобучить модель, но увеличить количество проходов через данные. Или попробуйте другой решатель, такой как LBFGS.
Чтобы определить хорошую силу лассо-штрафа для линейной регрессионой модели, которая использует методом наименьших квадратов, реализуйте 5-кратную перекрестную валидацию.
Симулируйте 10000 наблюдений из этой модели
является разреженной матрицей 10000 на 1000 с 10% ненулевыми стандартными нормальными элементами.
e - случайная нормальная ошибка со средним 0 и стандартным отклонением 0,3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Создайте набор из 15 логарифмически разнесенных сильных сторон регуляризации через .
Lambda = logspace(-5,-1,15);
Перекрестная проверка моделей. Чтобы увеличить скорость выполнения, транспонируйте данные предиктора и укажите, что наблюдения указаны в столбцах. Оптимизируйте целевую функцию с помощью SpaRSA.
X = X'; CVMdl = fitrlinear(X,Y,'ObservationsIn','columns','KFold',5,'Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numCLModels = numel(CVMdl.Trained)
numCLModels = 5
CVMdl является RegressionPartitionedLinear модель. Потому что fitrlinear реализует 5-кратную перекрестную валидацию, CVMdl содержит 5 RegressionLinear модели, которые программное обеспечение обучает на каждой складке.
Отобразите первую обученную линейную регрессионую модель.
Mdl1 = CVMdl.Trained{1}Mdl1 =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x15 double]
Bias: [1x15 double]
Lambda: [1x15 double]
Learner: 'leastsquares'
Properties, Methods
Mdl1 является RegressionLinear объект модели. fitrlinear построенные Mdl1 путем обучения на первых четырех складках. Потому что Lambda последовательность регуляризационных сильных сторон, вы можете думать о Mdl1 как 15 моделей, по одной на каждую силу регуляризации в Lambda.
Оцените перекрестно проверенный MSE.
mse = kfoldLoss(CVMdl);
Более высокие значения Lambda привести к разреженности переменной предиктора, которая является хорошим качеством регрессионой модели. Для каждой силы регуляризации обучите линейную регрессионую модель, используя весь набор данных и те же опции, что и при перекрестной проверке моделей. Определите количество ненулевых коэффициентов на модель.
Mdl = fitrlinear(X,Y,'ObservationsIn','columns','Lambda',Lambda,... 'Learner','leastsquares','Solver','sparsa','Regularization','lasso'); numNZCoeff = sum(Mdl.Beta~=0);
На том же рисунке постройте график перекрестного проверки MSE и частоты ненулевых коэффициентов для каждой силы регуляризации. Постройте график всех переменных по шкале журнала.
figure [h,hL1,hL2] = plotyy(log10(Lambda),log10(mse),... log10(Lambda),log10(numNZCoeff)); hL1.Marker = 'o'; hL2.Marker = 'o'; ylabel(h(1),'log_{10} MSE') ylabel(h(2),'log_{10} nonzero-coefficient frequency') xlabel('log_{10} Lambda') hold off
Выберите индекс силы регуляризации, который балансирует переменную разреженности предиктора и низкий MSE (для примера, Lambda(10)).
idxFinal = 10;
Извлеките модель с соответствующим минимальным MSE.
MdlFinal = selectModels(Mdl,idxFinal)
MdlFinal =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0050
Lambda: 0.0037
Learner: 'leastsquares'
Properties, Methods
idxNZCoeff = find(MdlFinal.Beta~=0)
idxNZCoeff = 2×1
100
200
EstCoeff = Mdl.Beta(idxNZCoeff)
EstCoeff = 2×1
1.0051
1.9965
MdlFinal является RegressionLinear модель с одной силой регуляризации. Ненулевые коэффициенты EstCoeff близки к коэффициентам, которые моделировали данные.
В этом примере показано, как автоматически оптимизировать гиперпараметры с помощью fitrlinear. Пример использует искусственные (моделируемые) данные для модели
является разреженной матрицей 10000 на 1000 с 10% ненулевыми стандартными нормальными элементами.
e - случайная нормальная ошибка со средним 0 и стандартным отклонением 0,3.
rng(1) % For reproducibility
n = 1e4;
d = 1e3;
nz = 0.1;
X = sprandn(n,d,nz);
Y = X(:,100) + 2*X(:,200) + 0.3*randn(n,1);Найдите гиперпараметры, которые минимизируют пятикратные потери на перекрестную валидацию с помощью автоматической оптимизации гипероптимизации параметров управления.
Для воспроизводимости используйте 'expected-improvement-plus' функция сбора.
hyperopts = struct('AcquisitionFunctionName','expected-improvement-plus'); [Mdl,FitInfo,HyperparameterOptimizationResults] = fitrlinear(X,Y,... 'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',hyperopts)
|=====================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Lambda | Learner | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 1 | Best | 0.16029 | 0.8393 | 0.16029 | 0.16029 | 2.4206e-09 | svm | | 2 | Best | 0.14496 | 0.55333 | 0.14496 | 0.14601 | 0.001807 | svm | | 3 | Best | 0.13879 | 0.42441 | 0.13879 | 0.14065 | 2.4681e-09 | leastsquares | | 4 | Best | 0.115 | 0.39828 | 0.115 | 0.11501 | 0.021027 | leastsquares | | 5 | Accept | 0.44352 | 0.41855 | 0.115 | 0.1159 | 4.6795 | leastsquares | | 6 | Best | 0.11025 | 0.46318 | 0.11025 | 0.11024 | 0.010671 | leastsquares | | 7 | Accept | 0.13222 | 0.41191 | 0.11025 | 0.11024 | 8.6067e-08 | leastsquares | | 8 | Accept | 0.13262 | 0.38611 | 0.11025 | 0.11023 | 8.5109e-05 | leastsquares | | 9 | Accept | 0.13543 | 0.38747 | 0.11025 | 0.11021 | 2.7562e-06 | leastsquares | | 10 | Accept | 0.15751 | 0.60115 | 0.11025 | 0.11022 | 5.0559e-06 | svm | | 11 | Accept | 0.40673 | 0.51909 | 0.11025 | 0.1102 | 0.52074 | svm | | 12 | Accept | 0.16057 | 0.62674 | 0.11025 | 0.1102 | 0.00014292 | svm | | 13 | Accept | 0.16105 | 0.54953 | 0.11025 | 0.11018 | 1.0079e-07 | svm | | 14 | Accept | 0.12763 | 0.42777 | 0.11025 | 0.11019 | 0.0012085 | leastsquares | | 15 | Accept | 0.13504 | 0.38913 | 0.11025 | 0.11019 | 1.3981e-08 | leastsquares | | 16 | Accept | 0.11041 | 0.4437 | 0.11025 | 0.11026 | 0.0093968 | leastsquares | | 17 | Best | 0.10954 | 0.40244 | 0.10954 | 0.11003 | 0.010393 | leastsquares | | 18 | Accept | 0.10998 | 0.42486 | 0.10954 | 0.11002 | 0.010254 | leastsquares | | 19 | Accept | 0.45314 | 0.53248 | 0.10954 | 0.11001 | 9.9966 | svm | | 20 | Best | 0.10753 | 0.6322 | 0.10753 | 0.10759 | 0.022576 | svm | |=====================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Lambda | Learner | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 21 | Best | 0.10737 | 0.64783 | 0.10737 | 0.10728 | 0.010171 | svm | | 22 | Accept | 0.13448 | 0.39942 | 0.10737 | 0.10727 | 1.5344e-05 | leastsquares | | 23 | Best | 0.10645 | 0.55045 | 0.10645 | 0.10565 | 0.015495 | svm | | 24 | Accept | 0.13598 | 0.39638 | 0.10645 | 0.10559 | 4.5984e-07 | leastsquares | | 25 | Accept | 0.15962 | 0.64705 | 0.10645 | 0.10556 | 1.4302e-08 | svm | | 26 | Accept | 0.10689 | 0.55033 | 0.10645 | 0.10616 | 0.015391 | svm | | 27 | Accept | 0.13748 | 0.39817 | 0.10645 | 0.10614 | 1.001e-09 | leastsquares | | 28 | Accept | 0.10692 | 0.5724 | 0.10645 | 0.10639 | 0.015761 | svm | | 29 | Accept | 0.10681 | 0.5118 | 0.10645 | 0.10649 | 0.015777 | svm | | 30 | Accept | 0.34314 | 0.39349 | 0.10645 | 0.10651 | 0.39671 | leastsquares |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 55.5211 seconds
Total objective function evaluation time: 14.899
Best observed feasible point:
Lambda Learner
________ _______
0.015495 svm
Observed objective function value = 0.10645
Estimated objective function value = 0.10651
Function evaluation time = 0.55045
Best estimated feasible point (according to models):
Lambda Learner
________ _______
0.015777 svm
Estimated objective function value = 0.10651
Estimated function evaluation time = 0.56915
Mdl =
RegressionLinear
ResponseName: 'Y'
ResponseTransform: 'none'
Beta: [1000x1 double]
Bias: -0.0018
Lambda: 0.0158
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 0.0158
Objective: 0.2309
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 99989
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.0641
BetaTolerance: 1.0000e-04
DeltaGradient: 1.1697
DeltaGradientTolerance: 0.1000
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [10000x1 double]
History: []
FitTime: 0.1001
Solver: {'dual'}
HyperparameterOptimizationResults =
BayesianOptimization with properties:
ObjectiveFcn: @createObjFcn/inMemoryObjFcn
VariableDescriptions: [3x1 optimizableVariable]
Options: [1x1 struct]
MinObjective: 0.1065
XAtMinObjective: [1x2 table]
MinEstimatedObjective: 0.1065
XAtMinEstimatedObjective: [1x2 table]
NumObjectiveEvaluations: 30
TotalElapsedTime: 55.5211
NextPoint: [1x2 table]
XTrace: [30x2 table]
ObjectiveTrace: [30x1 double]
ConstraintsTrace: []
UserDataTrace: {30x1 cell}
ObjectiveEvaluationTimeTrace: [30x1 double]
IterationTimeTrace: [30x1 double]
ErrorTrace: [30x1 double]
FeasibilityTrace: [30x1 logical]
FeasibilityProbabilityTrace: [30x1 double]
IndexOfMinimumTrace: [30x1 double]
ObjectiveMinimumTrace: [30x1 double]
EstimatedObjectiveMinimumTrace: [30x1 double]
Этот метод оптимизации проще, чем тот, что показан в Find Good Lasso Pencial Using Cross-Validation, но не позволяет вам сравнить сложность модели и потери перекрестной валидации.
Это - лучшая практика сориентировать матрицу предиктора так, чтобы наблюдения соответствовали столбцам, и задать 'ObservationsIn','columns'. В результате можно испытать значительное сокращение времени оптимизации-выполнения.
Для лучшей точности оптимизации, когда у вас есть высокомерные данные предиктора и Regularization значение 'ridge', установите любую из этих опций для Solver:
'sgd'
'asgd'
'dual' если Learner является 'svm'
{'sgd','lbfgs'}
{'asgd','lbfgs'}
{'dual','lbfgs'} если Learner является 'svm'
Другие опции могут привести к плохой точности оптимизации.
Для лучшей точности оптимизации, когда у вас есть умеренно-низкомерные данные предиктора и Regularization значение 'ridge', задать Solver на 'bfgs'.
Если Regularization является 'lasso', установите любую из этих опций для Solver:
'sgd'
'asgd'
'sparsa'
{'sgd','sparsa'}
{'asgd','sparsa'}
При выборе между SGD и ASGD примите к сведению, что:
SGD занимает меньше времени за итерацию, но для сходимости требуется больше итераций.
Для сходимости ASGD требуется меньше итераций, но требуется больше времени на итерацию.
Если ваши данные предиктора имеют мало наблюдений, но много переменных предиктора, то:
Задайте 'PostFitBias',true.
Для решателей SGD или ASGD установите PassLimit к положительному целому числу, которое больше 1, например, 5 или 10. Эта настройка часто приводит к лучшей точности.
Для решателей SGD и ASGD, BatchSize влияет на скорость сходимости.
Если BatchSize слишком маленькая, тогда fitrlinear достигает минимума во многих итерациях, но быстро вычисляет градиент на итерацию.
Если BatchSize слишком велик, тогда fitrlinear достигает минимума в меньшем количестве итераций, но вычисляет градиент на итерацию медленно.
Большие скорости обучения (см LearnRate) ускорить сходимость до минимума, но может привести к расхождению (то есть переступая минимум). Малые скорости обучения гарантируют сходимость к минимуму, но могут привести к медленному прекращению обучения.
При использовании штрафов лассо экспериментируйте с различными значениями TruncationPeriod. Для примера задайте TruncationPeriod на 1, 10и затем 100.
Для эффективности, fitrlinear не стандартизирует данные предиктора. Для стандартизации X, введите
X = bsxfun(@rdivide,bsxfun(@minus,X,mean(X,2)),std(X,0,2));
Код требует, чтобы вы ориентировали предикторы и наблюдения как строки и столбцы X, соответственно. Кроме того, для экономии использования памяти код заменяет исходные данные предиктора стандартизированные данные.
После обучения модели можно сгенерировать код C/C + +, который предсказывает ответы для новых данных. Для генерации кода C/C + + требуется MATLAB Coder™. Для получения дополнительной информации смотрите Введение в генерацию кода.
Если вы задаете ValidationDataзатем, во время оптимизации целевой функции:
fitrlinear оценивает потерю валидации ValidationData периодически используя текущую модель, и отслеживает минимальную оценку.
Когда fitrlinear оценивает потери валидации, сравнивает оценку с минимальной оценкой.
Когда последующие оценки потерь при валидации превышают минимальную оценку в пять раз, fitrlinear завершает оптимизацию.
Если вы задаете ValidationData и для реализации перекрестной стандартной программы валидации (CrossVal, CVPartition, Holdout, или KFold), затем:
fitrlinear случайным образом разделы X и Y (или Tbl) в соответствии с выбранной процедурой перекрестной валидации.
fitrlinear обучает модель с помощью раздела обучающих данных. Во время оптимизации целевой функции, fitrlinear использует ValidationData как еще один возможный способ завершения оптимизации (для получения дополнительной информации см. предыдущую пулю).
Однажды fitrlinear удовлетворяет критерию остановки, он строит обученную модель на основе оптимизированных линейных коэффициентов и точки пересечения.
Если вы реализуете k -кратную перекрестную валидацию, иfitrlinear не исчерпал все складки набора обучающих данных, тогда fitrlinear возвращается к шагу 2, чтобы обучиться с использованием следующего шага набора обучающих данных.
В противном случае, fitrlinear завершает обучение, а затем возвращает перекрестно проверенную модель.
Можно определить качество перекрестно проверенной модели. Для примера:
Чтобы определить потери валидации с помощью данных holdout или out-of-fold из шага 1, передайте перекрестно проверенную модель, чтобы kfoldLoss.
Чтобы предсказать наблюдения за данными holdout или out-of-fold с шага 1, передайте перекрестно проверенную модель, чтобы kfoldPredict.
[1] Ho, C. H. and C. J. Lin. «Крупномасштабная линейная Поддержка Вектора регрессия». Journal of Машинное Обучение Research, Vol. 13, 2012, pp. 3323-3348.
fitclinear | fitlm | fitrsvm | kfoldLoss | kfoldPredict | lasso | predict | RegressionLinear | RegressionPartitionedLinear | ridge