Подбирайте линейную модель классификации к высоко-размерным данным
fitclinear обучает линейные модели классификации 2D классу (бинарное) изучение с высоко-размерными, полными или разреженными данными о предикторе. Доступные линейные модели классификации включают упорядоченные машины опорных векторов (SVM) и модели логистической регрессии. fitclinear минимизирует целевую функцию с помощью методов, которые уменьшают вычислительное время (например, стохастический градиентный спуск).
Для сокращения времени вычисления на высоко-размерном наборе данных, который включает много переменных предикторов, обучите линейную модель классификации при помощи fitclinear. Для низкого - через средние размерные наборы данных предиктора, смотрите Альтернативы для Более низко-размерных Данных.
Чтобы обучить линейную модель классификации мультиклассу, учащемуся путем объединения SVM или двоичных классификаторов логистической регрессии с помощью выходных кодов с коррекцией ошибок, смотрите fitcecoc.
Mdl = fitclinear(X,Y,Name,Value)Name,Value парные аргументы. Например, можно указать, что столбцы матрицы предиктора соответствуют наблюдениям, реализуют логистическую регрессию или задают, чтобы перекрестный подтвердить. Это - хорошая практика, чтобы перекрестный подтвердить использование Kfold
Name,Value парный аргумент. Результаты перекрестной проверки определяют, как хорошо модель делает вывод.
[ также возвращает детали гипероптимизации параметров управления, когда вы передаете Mdl,FitInfo,HyperparameterOptimizationResults]
= fitclinear(___)OptimizeHyperparameters пара "имя-значение".
Обучите двоичный файл, линейная модель классификации использование машин опорных векторов, двойного SGD и гребенчатой регуляризации.
Загрузите набор данных NLP.
load nlpdataX разреженная матрица данных о предикторе и Y категориальный вектор меток класса. В данных существует больше чем два класса.
Идентифицируйте метки, которые соответствуют веб-страницам документации Statistics and Machine Learning Toolbox™.
Ystats = Y == 'stats';Обучите двоичный файл, линейная модель классификации, которая может идентифицировать, являются ли подсчеты слов в веб-странице документации из документации Statistics and Machine Learning Toolbox™. Обучите модель с помощью целого набора данных. Определите, как хорошо алгоритм оптимизации подбирает модель к данным путем извлечения подходящих сводных данных.
rng(1); % For reproducibility
[Mdl,FitInfo] = fitclinear(X,Ystats)Mdl =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [0 1]
ScoreTransform: 'none'
Beta: [34023x1 double]
Bias: -1.0059
Lambda: 3.1674e-05
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 3.1674e-05
Objective: 5.3783e-04
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 238561
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.0562
BetaTolerance: 1.0000e-04
DeltaGradient: 1.4582
DeltaGradientTolerance: 1
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [31572x1 double]
History: []
FitTime: 0.1511
Solver: {'dual'}
Mdl ClassificationLinear модель. Можно передать Mdl и учебные или новые данные к loss смотреть ошибку классификации в выборке. Или, можно передать Mdl и новые данные о предикторе к predict предсказать класс помечает для новых наблюдений.
FitInfo массив структур, содержащий, среди прочего, состояние завершения (TerminationStatus) и сколько времени решатель взял, чтобы подбирать модель к данным (FitTime). Это - хорошая практика, чтобы использовать FitInfo определить, являются ли измерения завершения оптимизации удовлетворительными. Поскольку учебное время мало, можно попытаться переобучить модель, но увеличить количество проходов через данные. Это может улучшить меры как DeltaGradient.
Чтобы определить хорошую силу штрафа лассо для линейной модели классификации, которая использует ученика логистической регрессии, реализуйте 5-кратную перекрестную проверку.
Загрузите набор данных NLP.
load nlpdataX разреженная матрица данных о предикторе и Y категориальный вектор меток класса. В данных существует больше чем два класса.
Модели должны идентифицировать, являются ли подсчеты слов в веб-странице из документации Statistics and Machine Learning Toolbox™. Так, идентифицируйте метки, которые соответствуют веб-страницам документации Statistics and Machine Learning Toolbox™.
Ystats = Y == 'stats';Создайте набор 11 логарифмически распределенных сильных мест регуляризации от через .
Lambda = logspace(-6,-0.5,11);
Перекрестный подтвердите модели. Чтобы увеличить скорость выполнения, транспонируйте данные о предикторе и укажите, что наблюдения находятся в столбцах. Оцените содействующее использование SpaRSA. Понизьте допуск на градиент целевой функции к 1e-8.
X = X'; rng(10); % For reproducibility CVMdl = fitclinear(X,Ystats,'ObservationsIn','columns','KFold',5,... 'Learner','logistic','Solver','sparsa','Regularization','lasso',... 'Lambda',Lambda,'GradientTolerance',1e-8)
CVMdl =
classreg.learning.partition.ClassificationPartitionedLinear
CrossValidatedModel: 'Linear'
ResponseName: 'Y'
NumObservations: 31572
KFold: 5
Partition: [1×1 cvpartition]
ClassNames: [0 1]
ScoreTransform: 'none'
Properties, Methods
numCLModels = numel(CVMdl.Trained)
numCLModels = 5
CVMdl ClassificationPartitionedLinear модель. Поскольку fitclinear реализует 5-кратную перекрестную проверку, CVMdl содержит 5 ClassificationLinear модели, которые программное обеспечение обучает на каждом сгибе.
Отобразите первую обученную линейную модель классификации.
Mdl1 = CVMdl.Trained{1}Mdl1 =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [0 1]
ScoreTransform: 'logit'
Beta: [34023×11 double]
Bias: [-13.2904 -13.2904 -13.2904 -13.2904 -9.9357 -7.0782 -5.4335 -4.5473 -3.4223 -3.1649 -2.9795]
Lambda: [1.0000e-06 3.5481e-06 1.2589e-05 4.4668e-05 1.5849e-04 5.6234e-04 0.0020 0.0071 0.0251 0.0891 0.3162]
Learner: 'logistic'
Properties, Methods
Mdl1 ClassificationLinear объект модели. fitclinear созданный Mdl1 по образованию на первых четырех сгибах. Поскольку Lambda последовательность сильных мест регуляризации, можно думать о Mdl1 как 11 моделей, один для каждой силы регуляризации в Lambda.
Оцените перекрестную подтвержденную ошибку классификации.
ce = kfoldLoss(CVMdl);
Поскольку существует 11 сильных мест регуляризации, ce вектор 1 на 11 коэффициентов ошибок классификации.
Более высокие значения Lambda приведите к разреженности переменного предиктора, которая является хорошим качеством классификатора. Для каждой силы регуляризации обучите линейную модель классификации использование целого набора данных и тех же опций как тогда, когда вы перекрестный подтвержденный модели. Определите количество ненулевых коэффициентов на модель.
Mdl = fitclinear(X,Ystats,'ObservationsIn','columns',... 'Learner','logistic','Solver','sparsa','Regularization','lasso',... 'Lambda',Lambda,'GradientTolerance',1e-8); numNZCoeff = sum(Mdl.Beta~=0);
В той же фигуре постройте перекрестное подтвержденное, коэффициенты ошибок классификации и частоту ненулевых коэффициентов для каждой силы регуляризации. Постройте все переменные на логарифмической шкале.
figure; [h,hL1,hL2] = plotyy(log10(Lambda),log10(ce),... log10(Lambda),log10(numNZCoeff)); hL1.Marker = 'o'; hL2.Marker = 'o'; ylabel(h(1),'log_{10} classification error') ylabel(h(2),'log_{10} nonzero-coefficient frequency') xlabel('log_{10} Lambda') title('Test-Sample Statistics') hold off
Выберите индекс силы регуляризации, которая балансирует разреженность переменного предиктора и низкую ошибку классификации. В этом случае, значение между к должен быть достаточным.
idxFinal = 7;
Выберите модель из Mdl с выбранной силой регуляризации.
MdlFinal = selectModels(Mdl,idxFinal);
MdlFinal ClassificationLinear модель, содержащая одну силу регуляризации. Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.
В этом примере показано, как минимизировать ошибку перекрестной проверки в линейном классификаторе с помощью fitclinear. Пример использует набор данных NLP.
Загрузите набор данных NLP.
load nlpdataX разреженная матрица данных о предикторе и Y категориальный вектор меток класса. В данных существует больше чем два класса.
Модели должны идентифицировать, являются ли подсчеты слов в веб-странице из документации Statistics and Machine Learning Toolbox™. Идентифицируйте соответствующие метки.
X = X';
Ystats = Y == 'stats';Оптимизируйте классификацию с помощью 'auto' параметры.
Для воспроизводимости установите случайный seed и используйте 'expected-improvement-plus' функция приобретения.
rng default Mdl = fitclinear(X,Ystats,'ObservationsIn','columns','Solver','sparsa',... 'OptimizeHyperparameters','auto','HyperparameterOptimizationOptions',... struct('AcquisitionFunctionName','expected-improvement-plus'))
|=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Lambda | Learner | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 1 | Best | 0.041619 | 4.0257 | 0.041619 | 0.041619 | 0.077903 | logistic |
| 2 | Best | 0.00072849 | 3.8245 | 0.00072849 | 0.0028767 | 2.1405e-09 | logistic |
| 3 | Accept | 0.049221 | 4.6777 | 0.00072849 | 0.00075737 | 0.72101 | svm |
| 4 | Accept | 0.00079184 | 4.299 | 0.00072849 | 0.00074989 | 3.4734e-07 | svm |
| 5 | Accept | 0.00082351 | 3.9102 | 0.00072849 | 0.00072924 | 1.1738e-08 | logistic |
| 6 | Accept | 0.00085519 | 4.2132 | 0.00072849 | 0.00072746 | 2.4529e-09 | svm |
| 7 | Accept | 0.00079184 | 4.1282 | 0.00072849 | 0.00072518 | 3.1854e-08 | svm |
| 8 | Accept | 0.00088686 | 4.4564 | 0.00072849 | 0.00072236 | 3.1717e-10 | svm |
| 9 | Accept | 0.00076017 | 3.7918 | 0.00072849 | 0.00068304 | 3.1837e-10 | logistic |
| 10 | Accept | 0.00079184 | 4.4733 | 0.00072849 | 0.00072853 | 1.1258e-07 | svm |
| 11 | Accept | 0.00076017 | 3.9953 | 0.00072849 | 0.00072144 | 2.1214e-09 | logistic |
| 12 | Accept | 0.00079184 | 6.7875 | 0.00072849 | 0.00075984 | 2.2819e-07 | logistic |
| 13 | Accept | 0.00072849 | 4.2131 | 0.00072849 | 0.00075648 | 6.6161e-08 | logistic |
| 14 | Best | 0.00069682 | 4.3785 | 0.00069682 | 0.00069781 | 7.4324e-08 | logistic |
| 15 | Best | 0.00066515 | 4.3717 | 0.00066515 | 0.00068861 | 7.6994e-08 | logistic |
| 16 | Accept | 0.00076017 | 3.9068 | 0.00066515 | 0.00068881 | 7.0687e-10 | logistic |
| 17 | Accept | 0.00066515 | 4.5966 | 0.00066515 | 0.0006838 | 7.7159e-08 | logistic |
| 18 | Accept | 0.0012353 | 4.6723 | 0.00066515 | 0.00068521 | 0.00083275 | svm |
| 19 | Accept | 0.00076017 | 4.2389 | 0.00066515 | 0.00068508 | 5.0781e-05 | svm |
| 20 | Accept | 0.00085519 | 3.2483 | 0.00066515 | 0.00068527 | 0.00022104 | svm |
|=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Lambda | Learner | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 21 | Accept | 0.00082351 | 6.7163 | 0.00066515 | 0.00068569 | 4.5396e-06 | svm |
| 22 | Accept | 0.0010769 | 15.946 | 0.00066515 | 0.00070107 | 5.1931e-06 | logistic |
| 23 | Accept | 0.00095021 | 17.989 | 0.00066515 | 0.00069594 | 1.3051e-06 | logistic |
| 24 | Accept | 0.00085519 | 5.5831 | 0.00066515 | 0.00069625 | 1.6481e-05 | svm |
| 25 | Accept | 0.00085519 | 4.5366 | 0.00066515 | 0.00069643 | 1.157e-06 | svm |
| 26 | Accept | 0.00079184 | 3.6968 | 0.00066515 | 0.00069667 | 1.0016e-08 | svm |
| 27 | Accept | 0.00072849 | 3.9655 | 0.00066515 | 0.00069848 | 4.2234e-08 | logistic |
| 28 | Accept | 0.049221 | 0.49611 | 0.00066515 | 0.00069842 | 3.1608 | logistic |
| 29 | Accept | 0.00085519 | 4.3911 | 0.00066515 | 0.00069855 | 8.5626e-10 | svm |
| 30 | Accept | 0.00076017 | 3.8952 | 0.00066515 | 0.00069837 | 3.1946e-10 | logistic |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 173.5287 seconds.
Total objective function evaluation time: 153.4246
Best observed feasible point:
Lambda Learner
__________ ________
7.6994e-08 logistic
Observed objective function value = 0.00066515
Estimated objective function value = 0.00069859
Function evaluation time = 4.3717
Best estimated feasible point (according to models):
Lambda Learner
__________ ________
7.4324e-08 logistic
Estimated objective function value = 0.00069837
Estimated function evaluation time = 4.3951
Mdl =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [0 1]
ScoreTransform: 'logit'
Beta: [34023×1 double]
Bias: -10.1723
Lambda: 7.4324e-08
Learner: 'logistic'
Properties, Methods
Это - лучшая практика ориентировать вашу матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавать 'ObservationsIn','columns'. В результате можно испытать значительное сокращение во время выполнения оптимизации.
Для лучшей точности оптимизации, если X является высоко-размерным и Regularization 'ridge', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'dual' если Learner 'svm'
{'sgd','lbfgs'}
{'asgd','lbfgs'}
{'dual','lbfgs'} если Learner 'svm'
Другие комбинации могут привести к плохой точности оптимизации.
Для лучшей точности оптимизации, если X является умеренным - через низко-размерный и Regularization 'ridge', установите Solver к 'bfgs'.
Если Regularization 'lasso', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'sparsa'
{'sgd','sparsa'}
{'asgd','sparsa'}
При выборе между SGD и ASGD, полагайте что:
SGD занимает меньше времени на итерацию, но требует, чтобы сходилось больше итераций.
ASGD требует, чтобы меньше итераций сходилось, но занимает больше времени на итерацию.
Если X имеет немного наблюдений, но много переменных предикторов, затем:
Задайте 'PostFitBias',true.
Для SGD или решателей ASGD, набор PassLimit к положительному целому числу, которое больше 1, например, 5 или 10. Эта установка часто приводит к лучшей точности.
Для SGD и решателей ASGD, BatchSize влияет на уровень сходимости.
Если BatchSize слишком мал, затем fitclinear достигает минимума во многих итерациях, но вычисляет градиент на итерацию быстро.
Если BatchSize является слишком большим, затем fitclinear достигает минимума в меньшем количестве итераций, но вычисляет градиент на итерацию медленно.
Большие скорости обучения (см. LearnRate) ускорьте сходимость к минимуму, но может привести к расхождению (то есть, переступив через минимум). Небольшие скорости обучения гарантируют сходимость минимуму, но могут вести, чтобы замедлить завершение.
При использовании штрафов лассо экспериментируйте с различными значениями TruncationPeriod. Например, установите TruncationPeriod к 1, 10, и затем 100.
Для КПД, fitclinear не стандартизирует данные о предикторе. Стандартизировать X, войти
X = bsxfun(@rdivide,bsxfun(@minus,X,mean(X,2)),std(X,0,2));
Код требует, чтобы вы ориентировали предикторы и наблюдения как строки и столбцы X, соответственно. Кроме того, для экономики использования памяти код заменяет исходные данные о предикторе стандартизированные данные.
После обучения модель можно сгенерировать код C/C++, который предсказывает метки для новых данных. Генерация кода C/C++ требует MATLAB Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.
Если вы задаете ValidationData, затем, во время оптимизации целевой функции:
fitclinear оценивает потерю валидации ValidationData периодически с помощью текущей модели и дорожек минимальная оценка.
Когда fitclinear оценивает потерю валидации, она сравнивает оценку с минимальной оценкой.
Когда последующий, оценки потерь валидации превышают минимальную оценку пять раз, fitclinear отключает оптимизацию.
Если вы задаете ValidationData и реализовывать стандартную программу перекрестной проверки (CrossVal, CVPartition, Holdout, или KFoldзатем:
fitclinear случайным образом разделы X и Y согласно стандартной программе перекрестной проверки, которую вы выбираете.
fitclinear обучает модель с помощью раздела обучающих данных. Во время оптимизации целевой функции, fitclinear использование ValidationData как другой возможный способ отключить оптимизацию (для получения дополнительной информации смотрите предыдущий маркер).
Однажды fitclinear удовлетворяет останавливающемуся критерию, он создает обученное основанное на модели на оптимизированных линейных коэффициентах и прерывании.
Если вы реализуете k - сворачивают перекрестную проверку и fitclinear не исчерпал все сгибы набора обучающих данных, затем fitclinear возвращается к Шагу 2, чтобы обучить использование следующего сгиба набора обучающих данных.
В противном случае, fitclinear отключает обучение, и затем возвращает перекрестную подтвержденную модель.
Можно определить качество перекрестной подтвержденной модели. Например:
Чтобы определить потерю валидации с помощью затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldLoss.
Чтобы предсказать наблюдения относительно затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldPredict.
[1] Се, C. J. К. В. Чанг, К. Дж. Лин, С. С. Кирти и С. Сандарарэджэн. “Двойной Координатный Метод Спуска для Крупномасштабного Линейного SVM”. Продолжения 25-й Международной конференции по вопросам Машинного обучения, ICML ’08, 2001, стр 408–415.
[2] Лэнгфорд, J., Л. Ли и Т. Чжан. “Разреженное Дистанционное обучение Через Усеченный Градиент”. Дж. Мах. Учиться. Res., Издание 10, 2009, стр 777–801.
[3] Nocedal, J. и С. Дж. Райт. Числовая Оптимизация, 2-й редактор, Нью-Йорк: Спрингер, 2006.
[4] Шалев-Шварц, S., И. Зингер и Н. Сребро. “Pegasos: Основной Предполагаемый Решатель Подградиента для SVM”. Продолжения 24-й Международной конференции по вопросам Машинного обучения, ICML ’07, 2007, стр 807–814.
[5] Мастер, S. J. Р. Д. Ноуок и М. А. Т. Фигередо. “Разреженная Реконструкция Отделимым Приближением”. Сигнал сделки Proc., Издание 57, № 7, 2009, стр 2479–2493.
[6] Сяо, Лин. “Двойные Методы усреднения для Упорядоченного Стохастического Изучения и Онлайновой Оптимизации”. Дж. Мах. Учиться. Res., Издание 11, 2010, стр 2543–2596.
[7] Сюй, Вэй. “К Оптимальному Один Крупный масштаб Передачи Изучение с Усредненным Стохастическим Градиентным спуском”. CoRR, abs/1107.2490, 2011.
ClassificationLinear | ClassificationPartitionedLinear | fitcecoc | fitckernel | fitcsvm | fitglm | fitrlinear | kfoldLoss | kfoldPredict | lassoglm | predict | templateLinear | testcholdout