Выберите подмножество обученных моделей ECOC, состоящих из линейных двоичных учащихся с различными сильными сторонами регуляризации.

Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных предиктора, и Y является категориальным вектором меток классов.

Создайте набор из 11 логарифмически разнесенных сильных сторон регуляризации $$10^{-8}$$ через $$10^{-1}$$.

Lambda = logspace(-8,-1,11);

Создайте шаблон модели линейной классификации, который задает оптимизацию целевой функции с помощью SpaRSA. Используйте штрафные санкции лассо с сильными сторонами, указанными в Lambda.

t = templateLinear('Solver','sparsa','Regularization','lasso',...
    'Lambda',Lambda);

Продержитесь 30% данных для проверки. Идентифицируйте индексы тестовой выборки.

rng(1); % For reproducibility
cvp = cvpartition(Y,'Holdout',0.30);
idxTest = test(cvp);

Обучите модель ECOC, состоящую из линейных классификационных моделей. Для более быстрого времени выполнения ориентируйте данные предиктора так, чтобы отдельные наблюдения соответствовали столбцам.

X = X';
PMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','CVPartition',cvp);
Mdl = PMdl.Trained{1};
numel(Mdl.BinaryLearners{1}.Lambda)

ans = 11

Mdl является CompactClassificationECOC объект модели. Потому что Lambda является 11-мерным вектором сильных сторон регуляризации, вы можете думать о Mdl как одиннадцать обученных моделей, каждая из которых соответствует силе регуляризации.

Оцените показатели неправильной классификации тестовой выборки для каждой регулярной модели.

ce = loss(Mdl,X(:,idxTest),Y(idxTest),'ObservationsIn','columns');

Постройте график коэффициентов неправильной классификации в отношении прочности на регуляризацию по шкале журнала.

figure
plot(log10(Lambda),log10(ce),'-o')
ylabel('log_{10} misclassification rates')
xlabel('log_{10} Lambda')
[~,minCEIdx] = min(ce);
minLambda = Lambda(minCEIdx);
hold on
plot(log10(minLambda),log10(ce(minCEIdx)),'ro');
hold off

Несколько значений Lambda приводит к аналогично малым значениям классификационных ошибок. Рассмотрите выбор больших значений Lambda (которые все еще дают хорошие скорости классификации), потому что они приводят к предикторной переменной разреженности.

Выберите четыре модели с сильными сторонами регуляризации, которые происходят вокруг точки, в которой ошибка классификации начинает увеличиваться.

idx = 7:10;
MdlFinal = selectModels(Mdl,idx)

MdlFinal = 
  CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [1x13 categorical]
    ScoreTransform: 'none'
    BinaryLearners: {78x1 cell}
      CodingMatrix: [13x78 double]


  Properties, Methods

LambdaFinal = MdlFinal.BinaryLearners{1}.Lambda

LambdaFinal = 1×4

    0.0002    0.0008    0.0040    0.0200

MdlFinal является CompactClassificationECOC объект модели. Можно думать об этом как о четырех моделях, обученных с использованием четырех сильных сторон регуляризации в LambdaFinal.