Пакет: classreg.learning.partition
Суперклассы: ClassificationPartitionedModel
Перекрестная проверенная линейная модель для двоичной классификации высокомерных данных
ClassificationPartitionedLinear - набор линейных классификационных моделей, обученных на перекрестных проверенных складках. Чтобы получить перекрестно проверенную линейную модель классификации, используйте fitclinear и укажите один из опций перекрестной проверки. Можно оценить качество классификации или как хорошо обобщается линейная модель классификации, используя один или несколько из этих методов «kfold»: kfoldPredict, kfoldLoss, kfoldMargin, и kfoldEdge.
Каждый метод «kfold» использует модели, обученные внутрикратным наблюдениям, чтобы предсказать ответ для несовпадающих наблюдений. Например, предположим, что вы перекрестно проверяете с помощью пяти складок. В этом случае программное обеспечение случайным образом присваивает каждое наблюдение пяти группам примерно одинакового размера. training fold содержит четыре группы (то есть примерно 4/5 данных), а test fold - другую группу (то есть примерно 1/5 данных). В этом случае перекрестная валидация выполняется следующим образом:
Программное обеспечение обучает первую модель (хранится в CVMdl.Trained{1}) использование наблюдений в последних четырех группах и резервирует наблюдения в первой группе для валидации.
Программное обеспечение обучает вторую модель, которая хранится в CVMdl.Trained{2}, используя наблюдения в первой группе и последних трех группах. Программа резервирует наблюдения во второй группе для валидации.
Программа работает подобным образом для третьей-пятой моделей.
Если вы проверяете, вызывая kfoldPredict, он вычисляет предсказания для наблюдений в группе 1, используя первую модель, группу 2 для второй модели и так далее. Короче говоря, программное обеспечение оценивает ответ для каждого наблюдения, используя модель, обученную без этого наблюдения.
Примечание
ClassificationPartitionedLinear объекты модели не хранят набор данных предиктора.
CVMdl = fitclinear(X,Y,Name,Value) создает перекрестно проверенную линейную модель классификации при Name является либо 'CrossVal', 'CVPartition', 'Holdout', или 'KFold'. Для получения дополнительной информации см. fitclinear.
| kfoldEdge | Классификационное ребро для наблюдений, не используемых для обучения |
| kfoldLoss | Классификационные потери для наблюдений, не используемых в обучении |
| kfoldMargin | Классификационные поля для наблюдений, не используемых в обучении |
| kfoldPredict | Предсказать метки для наблюдений, не используемых для обучения |
Значение. Чтобы узнать, как классы значений влияют на операции копирования, см. раздел «Копирование объектов».
Загрузите набор данных NLP.
load nlpdataX является разреженной матрицей данных предиктора, и Y является категориальным вектором меток классов. В данных более двух классов.
Идентифицируйте метки, которые соответствуют веб-страницам Statistics and Machine Learning Toolbox™ документации.
Ystats = Y == 'stats';Перекрестная проверка двоичной, линейной модели классификации, которая может идентифицировать, являются ли подсчеты слов на веб-странице документации из документации Statistics and Machine Learning Toolbox™.
rng(1); % For reproducibility CVMdl = fitclinear(X,Ystats,'CrossVal','on')
CVMdl =
ClassificationPartitionedLinear
CrossValidatedModel: 'Linear'
ResponseName: 'Y'
NumObservations: 31572
KFold: 10
Partition: [1x1 cvpartition]
ClassNames: [0 1]
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedLinear перекрестно-проверенная модель. Потому что fitclinear реализует 10-кратную перекрестную валидацию по умолчанию, CVMdl.Trained содержит десять ClassificationLinear модели, которые содержат результаты обучения линейных классификационных моделей для каждой из складок.
Оцените метки для несовпадающих наблюдений и оцените ошибку обобщения передачей CVMdl на kfoldPredict и kfoldLoss, соответственно.
oofLabels = kfoldPredict(CVMdl); ge = kfoldLoss(CVMdl)
ge = 7.6017e-04
Предполагаемая ошибка обобщения составляет менее 0,1% неправильно классифицированных наблюдений.
Чтобы определить хорошую силу лассо-штрафа для линейной модели классификации, которая использует учителя логистической регрессии, реализуйте 5-кратную перекрестную валидацию.
Загрузите набор данных NLP.
load nlpdataX является разреженной матрицей данных предиктора, и Y является категориальным вектором меток классов. В данных более двух классов.
Модели должны определять, получено ли количество слов на веб-странице из документации Statistics and Machine Learning Toolbox™. Итак, идентифицируйте метки, которые соответствуют веб-страницам документации Statistics and Machine Learning Toolbox™.
Ystats = Y == 'stats';Создайте набор из 11 логарифмически разнесенных сильных сторон регуляризации через .
Lambda = logspace(-6,-0.5,11);
Перекрестная проверка моделей. Чтобы увеличить скорость выполнения, транспонируйте данные предиктора и укажите, что наблюдения указаны в столбцах. Оцените коэффициенты, используя SpaRSA. Уменьшите допуск на градиент целевой функции, чтобы 1e-8.
X = X'; rng(10); % For reproducibility CVMdl = fitclinear(X,Ystats,'ObservationsIn','columns','KFold',5,... 'Learner','logistic','Solver','sparsa','Regularization','lasso',... 'Lambda',Lambda,'GradientTolerance',1e-8)
CVMdl =
ClassificationPartitionedLinear
CrossValidatedModel: 'Linear'
ResponseName: 'Y'
NumObservations: 31572
KFold: 5
Partition: [1x1 cvpartition]
ClassNames: [0 1]
ScoreTransform: 'none'
Properties, Methods
numCLModels = numel(CVMdl.Trained)
numCLModels = 5
CVMdl является ClassificationPartitionedLinear модель. Потому что fitclinear реализует 5-кратную перекрестную валидацию, CVMdl содержит 5 ClassificationLinear модели, которые программное обеспечение обучает на каждой складке.
Отобразите первую обученную модель линейной классификации.
Mdl1 = CVMdl.Trained{1}Mdl1 =
ClassificationLinear
ResponseName: 'Y'
ClassNames: [0 1]
ScoreTransform: 'logit'
Beta: [34023x11 double]
Bias: [1x11 double]
Lambda: [1x11 double]
Learner: 'logistic'
Properties, Methods
Mdl1 является ClassificationLinear объект модели. fitclinear построенные Mdl1 путем обучения на первых четырех складках. Потому что Lambda последовательность регуляризационных сильных сторон, вы можете думать о Mdl1 как 11 моделей, по одной на каждую силу регуляризации в Lambda.
Оцените перекрестную ошибку классификации.
ce = kfoldLoss(CVMdl);
Потому что существует 11 сильных сторон регуляризации, ce является вектором классификационных ошибок 1 на 11.
Более высокие значения Lambda привести к разреженности переменной предиктора, которая является хорошим качеством классификатора. Для каждой силы регуляризации обучите линейную модель классификации, используя весь набор данных и те же опции, что и при перекрестной проверке моделей. Определите количество ненулевых коэффициентов на модель.
Mdl = fitclinear(X,Ystats,'ObservationsIn','columns',... 'Learner','logistic','Solver','sparsa','Regularization','lasso',... 'Lambda',Lambda,'GradientTolerance',1e-8); numNZCoeff = sum(Mdl.Beta~=0);
На том же рисунке постройте график перекрестно проверенных, классификационных частот ошибок и частоты ненулевых коэффициентов для каждой силы регуляризации. Постройте график всех переменных по шкале журнала.
figure; [h,hL1,hL2] = plotyy(log10(Lambda),log10(ce),... log10(Lambda),log10(numNZCoeff)); hL1.Marker = 'o'; hL2.Marker = 'o'; ylabel(h(1),'log_{10} classification error') ylabel(h(2),'log_{10} nonzero-coefficient frequency') xlabel('log_{10} Lambda') title('Test-Sample Statistics') hold off
Выберите индекс силы регуляризации, который балансирует переменную разреженности предиктора и низкую ошибку классификации. В этом случае значение между кому должно быть достаточно.
idxFinal = 7;
Выберите модель из Mdl с выбранной прочностью на регуляризацию.
MdlFinal = selectModels(Mdl,idxFinal);
MdlFinal является ClassificationLinear модель, содержащая одну силу регуляризации. Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные для predict.
ClassificationLinear | fitclinear | kfoldLoss | kfoldPredict