Пакет: classreg.learning.partition
Суперклассы: ClassificationPartitionedModel
Модель выходных кодов с перекрестной проверкой линейных ошибок для многоклассовой классификации высокоразмерных данных
ClassificationPartitionedLinearECOC представляет собой набор моделей выходных кодов с исправлением ошибок (ECOC), состоящий из моделей линейной классификации, обученных перекрестно проверенным складкам. Оценка качества классификации путем перекрестной проверки с использованием одной или нескольких функций «kfold»: kfoldPredict, kfoldLoss, kfoldMargin, и kfoldEdge.
Каждый метод «kfold» использует модели, обученные на кратных наблюдениях, чтобы предсказать ответ для внеплановых наблюдений. Например, предположим, что выполняется перекрестная проверка с использованием пяти сгибов. В этом случае программное обеспечение случайным образом распределяет каждое наблюдение на пять приблизительно равных по размеру групп. Тренировочная складка содержит четыре группы (то есть примерно 4/5 данных), а тестовая складка содержит другую группу (то есть примерно 1/5 данных). В этом случае перекрестная проверка выполняется следующим образом.
Программное обеспечение обучает первую модель (хранится в CVMdl.Trained{1}) с использованием наблюдений в последних четырех группах и резервирует наблюдения в первой группе для проверки.
Программное обеспечение обучает вторую модель (хранится в CVMdl.Trained{2}) с использованием наблюдений в первой и последних трех группах. Программа резервирует наблюдения во второй группе для проверки.
Программное обеспечение работает аналогичным образом для третьей, четвертой и пятой моделей.
При проверке по вызову kfoldPredict, он вычисляет прогнозы для наблюдений в группе 1, используя первую модель, группу 2 для второй модели и так далее. Короче говоря, программное обеспечение оценивает отклик для каждого наблюдения, используя модель, обученную без этого наблюдения.
Примечание
ClassificationPartitionedLinearECOC объекты модели не хранят набор данных предиктора.
CVMdl = fitcecoc(X,Y,'Learners',t,Name,Value) возвращает перекрестно проверенную линейную модель ECOC, когда:
t является 'Linear' или объект шаблона, возвращенный templateLinear.
Name является одним из 'CrossVal', 'CVPartition', 'Holdout', или 'KFold'.
Дополнительные сведения см. в разделе fitcecoc.
| kfoldEdge | Край классификации для наблюдений, не используемых для обучения |
| kfoldLoss | Классификационные потери для наблюдений, не используемых в обучении |
| kfoldMargin | Поля классификации для наблюдений, не используемых при обучении |
| kfoldPredict | Прогнозирование меток для наблюдений, не используемых для обучения |
Значение. Сведения о том, как классы значений влияют на операции копирования, см. в разделе Копирование объектов.
Загрузите набор данных NLP.
load nlpdataX является разреженной матрицей данных предиктора, и Y является категориальным вектором меток класса.
Перекрестная проверка многоклассной модели линейной классификации, которая может определить, из какой панели инструментов MATLAB ® взята веб-страница документации на основе количества слов на странице.
rng(1); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners','linear','CrossVal','on')
CVMdl =
ClassificationPartitionedLinearECOC
CrossValidatedModel: 'LinearECOC'
ResponseName: 'Y'
NumObservations: 31572
KFold: 10
Partition: [1x1 cvpartition]
ClassNames: [1x13 categorical]
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedLinearECOC модель с перекрестной проверкой. Поскольку fitcecoc реализует 10-кратную перекрестную проверку по умолчанию, CVMdl.Trained содержит вектор ячейки 10 на 1 из десяти CompactClassificationECOC модели, содержащие результаты обучения моделей ECOC, состоящих из бинарных линейных классификационных моделей для каждой из складок.
Оценка меток для внеплановых наблюдений и оценка ошибки обобщения путем передачи CVMdl кому kfoldPredict и kfoldLossсоответственно.
oofLabels = kfoldPredict(CVMdl); ge = kfoldLoss(CVMdl)
ge = 0.0958
Предполагаемая ошибка обобщения составляет около 10% неправильно классифицированных наблюдений.
Чтобы устранить ошибку обобщения, попробуйте указать другой решатель, например LBFGS. Чтобы изменить параметры по умолчанию при обучении моделей ECOC, состоящих из моделей линейной классификации, создайте шаблон модели линейной классификации с помощью templateLinear, а затем передать шаблон в fitcecoc.
Чтобы определить хорошую силу лассо-штрафа для модели ECOC, состоящей из моделей линейной классификации, в которых используются учащиеся логистической регрессии, реализуйте пятикратную перекрестную проверку.
Загрузите набор данных NLP.
load nlpdataX является разреженной матрицей данных предиктора, и Y является категориальным вектором меток класса.
Для простоты используйте метку «others» для всех наблюдений в Y которые не являются 'simulink', 'dsp', или 'comm'.
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';Создайте набор из 11 логарифмически разнесенных уровней регуляризации от до .
Lambda = logspace(-7,-2,11);
Создайте шаблон модели линейной классификации, который определяет использование учащихся логистической регрессии, использование штрафов за лассо с сильными сторонами в Lambda, обучение с использованием SpaRSA и понижение допуска на градиенте целевой функции до 1e-8.
t = templateLinear('Learner','logistic','Solver','sparsa',... 'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);
Выполните перекрестную проверку моделей. Чтобы увеличить скорость выполнения, транспонируйте данные предиктора и укажите, что наблюдения находятся в столбцах.
X = X'; rng(10); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5);
CVMdl является ClassificationPartitionedLinearECOC модель.
Анализировать CVMdlи каждая модель внутри него.
numECOCModels = numel(CVMdl.Trained)
numECOCModels = 5
ECOCMdl1 = CVMdl.Trained{1}ECOCMdl1 =
CompactClassificationECOC
ResponseName: 'Y'
ClassNames: [comm dsp simulink others]
ScoreTransform: 'none'
BinaryLearners: {6×1 cell}
CodingMatrix: [4×6 double]
Properties, Methods
numCLModels = numel(ECOCMdl1.BinaryLearners)
numCLModels = 6
CLMdl1 = ECOCMdl1.BinaryLearners{1}CLMdl1 =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [-1 1]
ScoreTransform: 'logit'
Beta: [34023×11 double]
Bias: [-0.3169 -0.3169 -0.3168 -0.3168 -0.3168 -0.3167 -0.1725 -0.0805 -0.1762 -0.3450 -0.5174]
Lambda: [1.0000e-07 3.1623e-07 1.0000e-06 3.1623e-06 1.0000e-05 3.1623e-05 1.0000e-04 3.1623e-04 1.0000e-03 0.0032 0.0100]
Learner: 'logistic'
Properties, Methods
Поскольку fitcecoc реализует пятикратную перекрестную проверку, CVMdl содержит массив ячеек 5 на 1 CompactClassificationECOC модели, которые программное обеспечение обучает на каждой складке. BinaryLearners свойство каждого CompactClassificationECOC модель содержит ClassificationLinear модели. Количество ClassificationLinear модели в каждой компактной модели ECOC зависят от количества отдельных меток и дизайна кодирования. Поскольку Lambda - это последовательность сильных сторон регуляризации, вы можете думать о CLMdl1 как 11 моделей, по одной для каждой силы регуляризации в Lambda.
Определите, насколько хорошо модели обобщаются, построив график средних значений пятикратной ошибки классификации для каждой силы регуляризации. Определите силу регуляризации, которая минимизирует ошибку обобщения по сетке.
ce = kfoldLoss(CVMdl); figure; plot(log10(Lambda),log10(ce)) [~,minCEIdx] = min(ce); minLambda = Lambda(minCEIdx); hold on plot(log10(minLambda),log10(ce(minCEIdx)),'ro'); ylabel('log_{10} 5-fold classification error') xlabel('log_{10} Lambda') legend('MSE','Min classification error') hold off
Обучить модель ECOC, состоящую из модели линейной классификации, используя весь набор данных, и указать минимальную силу регуляризации.
t = templateLinear('Learner','logistic','Solver','sparsa',... 'Regularization','lasso','Lambda',minLambda,'GradientTolerance',1e-8); MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');
Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные для predict.
ClassificationECOC | ClassificationLinear | fitcecoc | fitclinear | kfoldLoss | kfoldPredict