Соответствуйте линейной модели классификации к высоко-размерным данным
fitclinear обучает линейные модели классификации 2D классу (бинарное) изучение с высоко-размерными, полными или разреженными данными о предикторе. Доступные линейные модели классификации включают упорядоченные машины вектора поддержки (SVM) и модели логистической регрессии. fitclinear минимизирует целевую функцию с помощью методов, которые уменьшают вычислительное время (например, стохастический спуск градиента).
В течение уменьшаемого времени вычисления на высоко-размерном наборе данных, который включает много переменных прогноза, обучите линейную модель классификации при помощи fitclinear. Для низкого - через средние размерные наборы данных предиктора, смотрите Альтернативы для Более низко-размерных Данных.
Чтобы обучить линейную модель классификации мультиклассу, учащемуся путем объединения SVM или двоичных классификаторов логистической регрессии с помощью выходных кодов с коррекцией ошибок, смотрите fitcecoc.
Mdl = fitclinear(X,Y)Mdl = fitclinear(X,Y,Name,Value)[Mdl,FitInfo]
= fitclinear(___)[Mdl,FitInfo,HyperparameterOptimizationResults]
= fitclinear(___)Mdl = fitclinear(X,Y,Name,Value)Name,Value. Например, можно указать, что столбцы матрицы предиктора соответствуют наблюдениям, реализуют логистическую регрессию или задают, чтобы перекрестный подтвердить. Это - хорошая практика, чтобы перекрестный подтвердить использование аргумента пары Name,Value Kfold. Результаты перекрестной проверки определяют, как хорошо модель делает вывод.
[ также возвращает детали гипероптимизации параметров управления, когда вы передаете пару "имя-значение" Mdl,FitInfo,HyperparameterOptimizationResults]
= fitclinear(___)OptimizeHyperparameters.
Обучите двоичный файл, линейная модель классификации, использующая машины вектора поддержки, двойной SGD и гребенчатую регуляризацию.
Загрузите набор данных NLP.
load nlpdataX является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса. В данных существует больше чем два класса.
Идентифицируйте метки, которые соответствуют веб-страницам документации Statistics and Machine Learning Toolbox™.
Ystats = Y == 'stats';Обучите двоичный файл, линейная модель классификации, которая может идентифицировать, являются ли подсчеты слов в веб-странице документации из документации Statistics and Machine Learning Toolbox™. Обучите модель с помощью целого набора данных. Определите, как хорошо алгоритм оптимизации соответствует модели к данным путем извлечения подходящих сводных данных.
rng(1); % For reproducibility
[Mdl,FitInfo] = fitclinear(X,Ystats)Mdl =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [0 1]
ScoreTransform: 'none'
Beta: [34023x1 double]
Bias: -1.0059
Lambda: 3.1674e-05
Learner: 'svm'
Properties, Methods
FitInfo = struct with fields:
Lambda: 3.1674e-05
Objective: 5.3783e-04
PassLimit: 10
NumPasses: 10
BatchLimit: []
NumIterations: 238561
GradientNorm: NaN
GradientTolerance: 0
RelativeChangeInBeta: 0.0562
BetaTolerance: 1.0000e-04
DeltaGradient: 1.4582
DeltaGradientTolerance: 1
TerminationCode: 0
TerminationStatus: {'Iteration limit exceeded.'}
Alpha: [31572x1 double]
History: []
FitTime: 0.2174
Solver: {'dual'}
Mdl является моделью ClassificationLinear. Можно передать Mdl и учебные или новые данные к loss, чтобы осмотреть ошибку классификации в выборке. Или, можно передать Mdl и новые данные о предикторе к predict, чтобы предсказать метки класса для новых наблюдений.
FitInfo является массивом структур, содержащим, среди прочего, состояние завершения (TerminationStatus) и сколько времени решатель взял, чтобы соответствовать модели к данным (FitTime). Это - хорошая практика, чтобы использовать FitInfo, чтобы определить, являются ли измерения завершения оптимизации удовлетворительными. Поскольку учебное время является маленьким, можно попытаться переобучить модель, но увеличить количество проходов через данные. Это может улучшить меры как DeltaGradient.
Чтобы определить хорошую силу штрафа лассо для линейной модели классификации, которая использует ученика логистической регрессии, реализуйте 5-кратную перекрестную проверку.
Загрузите набор данных NLP.
load nlpdataX является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса. В данных существует больше чем два класса.
Модели должны идентифицировать, являются ли подсчеты слов в веб-странице из документации Statistics and Machine Learning Toolbox™. Так, идентифицируйте метки, которые соответствуют веб-страницам документации Statistics and Machine Learning Toolbox™.
Ystats = Y == 'stats';Создайте набор 11 логарифмически распределенных сильных мест регуляризации от через .
Lambda = logspace(-6,-0.5,11);
Перекрестный подтвердите модели. Чтобы увеличить скорость выполнения, транспонируйте данные о предикторе и укажите, что наблюдения находятся в столбцах. Оцените содействующее использование SpaRSA. Понизьте допуск на градиент целевой функции к 1e-8.
X = X'; rng(10); % For reproducibility CVMdl = fitclinear(X,Ystats,'ObservationsIn','columns','KFold',5,... 'Learner','logistic','Solver','sparsa','Regularization','lasso',... 'Lambda',Lambda,'GradientTolerance',1e-8)
CVMdl =
classreg.learning.partition.ClassificationPartitionedLinear
CrossValidatedModel: 'Linear'
ResponseName: 'Y'
NumObservations: 31572
KFold: 5
Partition: [1×1 cvpartition]
ClassNames: [0 1]
ScoreTransform: 'none'
Properties, Methods
numCLModels = numel(CVMdl.Trained)
numCLModels = 5
CVMdl является моделью ClassificationPartitionedLinear. Поскольку fitclinear реализует 5-кратную перекрестную проверку, CVMdl содержит 5 моделей ClassificationLinear, которые программное обеспечение обучает на каждом сгибе.
Отобразите первую обученную линейную модель классификации.
Mdl1 = CVMdl.Trained{1}Mdl1 =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [0 1]
ScoreTransform: 'logit'
Beta: [34023×11 double]
Bias: [-13.2904 -13.2904 -13.2904 -13.2904 -9.9357 -7.0782 -5.4335 -4.5473 -3.4223 -3.1649 -2.9795]
Lambda: [1.0000e-06 3.5481e-06 1.2589e-05 4.4668e-05 1.5849e-04 5.6234e-04 0.0020 0.0071 0.0251 0.0891 0.3162]
Learner: 'logistic'
Properties, Methods
Mdl1 является объектом модели ClassificationLinear. fitclinear создал Mdl1 по образованию на первых четырех сгибах. Поскольку Lambda является последовательностью сильных мест регуляризации, можно думать о Mdl1 как о 11 моделях, один для каждой силы регуляризации в Lambda.
Оцените перекрестную подтвержденную ошибку классификации.
ce = kfoldLoss(CVMdl);
Поскольку существует 11 сильных мест регуляризации, ce является вектором 1 на 11 коэффициентов ошибок классификации.
Более высокие значения Lambda приводят к разреженности переменной прогноза, которая является хорошим качеством классификатора. Для каждой силы регуляризации обучите линейную модель классификации использование целого набора данных и тех же опций как тогда, когда вы перекрестный подтвержденный модели. Определите количество ненулевых коэффициентов на модель.
Mdl = fitclinear(X,Ystats,'ObservationsIn','columns',... 'Learner','logistic','Solver','sparsa','Regularization','lasso',... 'Lambda',Lambda,'GradientTolerance',1e-8); numNZCoeff = sum(Mdl.Beta~=0);
В той же фигуре постройте перекрестное подтвержденное, коэффициенты ошибок классификации и частоту ненулевых коэффициентов для каждой силы регуляризации. Постройте все переменные на логарифмической шкале.
figure; [h,hL1,hL2] = plotyy(log10(Lambda),log10(ce),... log10(Lambda),log10(numNZCoeff)); hL1.Marker = 'o'; hL2.Marker = 'o'; ylabel(h(1),'log_{10} classification error') ylabel(h(2),'log_{10} nonzero-coefficient frequency') xlabel('log_{10} Lambda') title('Test-Sample Statistics') hold off
Выберите индекс силы регуляризации, которая балансирует разреженность переменной прогноза и низкую ошибку классификации. В этом случае, значение между к должен быть достаточным.
idxFinal = 7;
Выберите модель из Mdl с выбранной силой регуляризации.
MdlFinal = selectModels(Mdl,idxFinal);
MdlFinal является моделью ClassificationLinear, содержащей одну силу регуляризации. Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.
Этот пример показывает, как минимизировать ошибку перекрестной проверки в линейном классификаторе с помощью fitclinear. Пример использует набор данных NLP.
Загрузите набор данных NLP.
load nlpdataX является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса. В данных существует больше чем два класса.
Модели должны идентифицировать, являются ли подсчеты слов в веб-странице из документации Statistics and Machine Learning Toolbox™. Идентифицируйте соответствующие метки.
X = X';
Ystats = Y == 'stats';Оптимизируйте классификацию с помощью параметров 'auto'.
Для воспроизводимости, набор случайный seed и использование функция приобретения 'expected-improvement-plus'.
rng default Mdl = fitclinear(X,Ystats,'ObservationsIn','columns','Solver','sparsa',... 'OptimizeHyperparameters','auto','HyperparameterOptimizationOptions',... struct('AcquisitionFunctionName','expected-improvement-plus'))
|=====================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Lambda | Learner |
| | result | | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 1 | Best | 0.041619 | 3.7102 | 0.041619 | 0.041619 | 0.077903 | logistic |
| 2 | Best | 0.00072849 | 3.6146 | 0.00072849 | 0.0028767 | 2.1405e-09 | logistic |
| 3 | Accept | 0.049221 | 4.383 | 0.00072849 | 0.00075737 | 0.72101 | svm |
| 4 | Accept | 0.00079184 | 4.0362 | 0.00072849 | 0.00074989 | 3.4734e-07 | svm |
| 5 | Accept | 0.00082351 | 3.6567 | 0.00072849 | 0.00072924 | 1.1738e-08 | logistic |
| 6 | Accept | 0.00085519 | 3.8855 | 0.00072849 | 0.00072746 | 2.4529e-09 | svm |
| 7 | Accept | 0.00079184 | 3.8795 | 0.00072849 | 0.00072518 | 3.1854e-08 | svm |
| 8 | Accept | 0.00088686 | 4.1503 | 0.00072849 | 0.00072236 | 3.1717e-10 | svm |
| 9 | Accept | 0.00076017 | 3.5691 | 0.00072849 | 0.00068304 | 3.1837e-10 | logistic |
| 10 | Accept | 0.00079184 | 4.203 | 0.00072849 | 0.00072853 | 1.1258e-07 | svm |
| 11 | Accept | 0.00076017 | 3.8095 | 0.00072849 | 0.00072144 | 2.1214e-09 | logistic |
| 12 | Accept | 0.00079184 | 6.3278 | 0.00072849 | 0.00075984 | 2.2819e-07 | logistic |
| 13 | Accept | 0.00072849 | 3.9257 | 0.00072849 | 0.00075648 | 6.6161e-08 | logistic |
| 14 | Best | 0.00069682 | 4.1709 | 0.00069682 | 0.00069781 | 7.4324e-08 | logistic |
| 15 | Best | 0.00066515 | 4.1086 | 0.00066515 | 0.00068861 | 7.6994e-08 | logistic |
| 16 | Accept | 0.00076017 | 3.685 | 0.00066515 | 0.00068881 | 7.0687e-10 | logistic |
| 17 | Accept | 0.00066515 | 4.1488 | 0.00066515 | 0.0006838 | 7.7159e-08 | logistic |
| 18 | Accept | 0.0012353 | 4.5418 | 0.00066515 | 0.00068521 | 0.00083275 | svm |
| 19 | Accept | 0.00076017 | 4.0808 | 0.00066515 | 0.00068508 | 5.0781e-05 | svm |
| 20 | Accept | 0.00085519 | 3.1398 | 0.00066515 | 0.00068527 | 0.00022104 | svm |
|=====================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Lambda | Learner |
| | result | | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 21 | Accept | 0.00082351 | 6.2676 | 0.00066515 | 0.00068569 | 4.5396e-06 | svm |
| 22 | Accept | 0.0010769 | 14.789 | 0.00066515 | 0.00070107 | 5.1931e-06 | logistic |
| 23 | Accept | 0.00095021 | 16.747 | 0.00066515 | 0.00069594 | 1.3051e-06 | logistic |
| 24 | Accept | 0.00085519 | 5.2072 | 0.00066515 | 0.00069625 | 1.6481e-05 | svm |
| 25 | Accept | 0.00085519 | 4.265 | 0.00066515 | 0.00069643 | 1.157e-06 | svm |
| 26 | Accept | 0.00079184 | 3.4761 | 0.00066515 | 0.00069667 | 1.0016e-08 | svm |
| 27 | Accept | 0.00072849 | 3.7038 | 0.00066515 | 0.00069848 | 4.2234e-08 | logistic |
| 28 | Accept | 0.049221 | 0.48067 | 0.00066515 | 0.00069842 | 3.1608 | logistic |
| 29 | Accept | 0.00085519 | 4.0213 | 0.00066515 | 0.00069855 | 8.5626e-10 | svm |
| 30 | Accept | 0.00076017 | 3.6389 | 0.00066515 | 0.00069837 | 3.1946e-10 | logistic |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 162.4664 seconds.
Total objective function evaluation time: 143.6227
Best observed feasible point:
Lambda Learner
__________ ________
7.6994e-08 logistic
Observed objective function value = 0.00066515
Estimated objective function value = 0.00069837
Function evaluation time = 4.1086
Best estimated feasible point (according to models):
Lambda Learner
__________ ________
7.4324e-08 logistic
Estimated objective function value = 0.00069837
Estimated function evaluation time = 4.0948
Mdl =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [0 1]
ScoreTransform: 'logit'
Beta: [34023×1 double]
Bias: -10.1723
Lambda: 7.4324e-08
Learner: 'logistic'
Properties, Methods
Это - лучшая практика ориентировать вашу матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавать 'ObservationsIn','columns'. В результате можно испытать значительное сокращение во время выполнения оптимизации.
Для лучшей точности оптимизации, если X является высоко-размерным и Regularization является 'ridge', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'dual', если Learner является 'svm'
{'sgd','lbfgs'}
{'asgd','lbfgs'}
{'dual','lbfgs'}, если Learner является 'svm'
Другие комбинации могут привести к плохой точности оптимизации.
Для лучшей точности оптимизации, если X является умеренным - через низко-размерный и Regularization, 'ridge', установите Solver на 'bfgs'.
Если Regularization является 'lasso', установите любую из этих комбинаций для Solver:
'sgd'
'asgd'
'sparsa'
{'sgd','sparsa'}
{'asgd','sparsa'}
При выборе между SGD и ASGD, полагайте что:
SGD занимает меньше времени на итерацию, но требует, чтобы сходилось больше итераций.
ASGD требует, чтобы меньше итераций сходилось, но занимает больше времени на итерацию.
Если X имеет немного наблюдений, но много переменных прогноза, то:
Задайте 'PostFitBias',true.
Для SGD или решателей ASGD, набор PassLimit к положительному целому числу, которое больше, чем 1, например, 5 или 10. Эта установка часто приводит к лучшей точности.
Для SGD и решателей ASGD, BatchSize влияет на уровень сходимости.
Если BatchSize является слишком маленьким, то fitclinear достигает минимума во многих итерациях, но вычисляет градиент на итерацию быстро.
Если BatchSize является слишком большим, то fitclinear достигает минимума в меньшем количестве итераций, но вычисляет градиент на итерацию медленно.
Большие темпы обучения (см. LearnRate) ускоряют сходимость к минимуму, но могут привести к расхождению (то есть, переступив через минимум). Небольшие темпы обучения гарантируют сходимость минимуму, но могут вести, чтобы замедлить завершение.
При использовании штрафов лассо экспериментируйте с различными значениями TruncationPeriod. Например, установите TruncationPeriod на 1, 10, и затем 100.
Для эффективности fitclinear не стандартизирует данные о предикторе. Чтобы стандартизировать X, войти
X = bsxfun(@rdivide,bsxfun(@minus,X,mean(X,2)),std(X,0,2));
Код требует, чтобы вы ориентировали предикторы и наблюдения как строки и столбцы X, соответственно. Кроме того, для экономики использования памяти код заменяет исходные данные о предикторе стандартизированные данные.
После обучения модель можно сгенерировать код C/C++, который предсказывает метки для новых данных. Генерация кода C/C++ требует MATLAB Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.
Если вы задаете ValidationData, то, во время оптимизации целевой функции:
fitclinear оценивает потерю валидации ValidationData периодически с помощью текущей модели и отслеживает минимальную оценку.
Когда fitclinear оценивает потерю валидации, он сравнивает оценку с минимальной оценкой.
Когда последующий, оценки потерь валидации превышают минимальную оценку пять раз, fitclinear отключает оптимизацию.
Если вы задаете ValidationData и реализовывать стандартную программу перекрестной проверки (CrossVal, CVPartition, Holdout или KFold), то:
fitclinear случайным образом делит X и Y согласно стандартной программе перекрестной проверки, которую вы выбираете.
fitclinear обучает модель с помощью раздела данных тренировки. Во время оптимизации целевой функции fitclinear использует ValidationData в качестве другого возможного способа отключить оптимизацию (для получения дополнительной информации смотрите предыдущий маркер).
Если fitclinear удовлетворяет останавливающийся критерий, он создает обученное основанное на модели на оптимизированных линейных коэффициентах и прерывании.
Если вы реализуете k - перекрестная проверка сгиба, и fitclinear не исчерпал все сгибы набора обучающих данных, то fitclinear возвращается к Шагу 2, чтобы обучить использование следующего сгиба набора обучающих данных.
В противном случае fitclinear отключает обучение, и затем возвращает перекрестную подтвержденную модель.
Можно определить качество перекрестной подтвержденной модели. Например:
Чтобы определить потерю валидации с помощью затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldLoss.
Чтобы предсказать наблюдения относительно затяжки или данных из сгиба из шага 1, передайте перекрестную подтвержденную модель kfoldPredict.
[1] Се, C. J. К. В. Чанг, К. Дж. Лин, С. С. Кирти и С. Сандарарэджэн. “Двойной Координатный Метод Спуска для Крупномасштабного Линейного SVM”. Продолжения 25-й Международной конференции по вопросам Машинного обучения, ICML ’08, 2001, стр 408–415.
[2] Лэнгфорд, J., Л. Ли и Т. Чжан. “Разреженное Дистанционное обучение Через Усеченный Градиент”. Дж. Мах. Учиться. Res., Издание 10, 2009, стр 777–801.
[3] Nocedal, J. и С. Дж. Райт. Числовая Оптимизация, 2-й редактор, Нью-Йорк: Спрингер, 2006.
[4] Шалев-Шварц, S., И. Зингер и Н. Сребро. “Pegasos: Основной Предполагаемый Решатель Подградиента для SVM”. Продолжения 24-й Международной конференции по вопросам Машинного обучения, ICML ’07, 2007, стр 807–814.
[5] Мастер, S. J. Р. Д. Ноуок и М. А. Т. Фигередо. “Разреженная Реконструкция Отделимым Приближением”. Сигнал сделки Proc., Издание 57, № 7, 2009, стр 2479–2493.
[6] Сяо, Лин. “Двойные Методы усреднения для Упорядоченного Стохастического Изучения и Онлайновой Оптимизации”. Дж. Мах. Учиться. Res., Издание 11, 2010, стр 2543–2596.
[7] Сюй, Вэй. “К Оптимальному Один Крупный масштаб Передачи Изучение с Усредненным Стохастическим Спуском Градиента”. CoRR, abs/1107.2490, 2011.
ClassificationLinear | ClassificationPartitionedLinear | fitcecoc | fitckernel | fitcsvm | fitglm | fitrlinear | kfoldLoss | kfoldPredict | lassoglm | predict | templateLinear | testcholdout