Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных предиктора, и Y является категориальным вектором меток класса.

Для простоты используйте метку «others» для всех наблюдений в Y которые не являются 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Перекрестная проверка многоклассовой модели линейной классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является ClassificationPartitionedLinearECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно изменить количество сгибов с помощью 'KFold' аргумент пары имя-значение.

Оцените k-кратные границы.

m = kfoldMargin(CVMdl);
size(m)

ans = 1×2

       31572           1

m является вектором 31572 на 1. m(j) - среднее значение отклоненных полей для наблюдения j.

Постройте график k-кратных полей с помощью оконных графиков.

figure;
boxplot(m);
h = gca;
h.YLim = [-5 5];
title('Distribution of Cross-Validated Margins')

Одним из способов выбора элементов является сравнение k-кратных полей из нескольких моделей. Исходя исключительно из этого критерия, классификатор с большими полями является лучшим классификатором.

Загрузите набор данных NLP. Выполните предварительную обработку данных, как в разделе Оценка k-кратных полей перекрестной проверки, и сориентируйте данные предиктора таким образом, чтобы наблюдения соответствовали столбцам.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Создайте шаблон модели линейной классификации, определяющий оптимизацию целевой функции с помощью SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестная проверка двух моделей ECOC, состоящих из двоичных моделей линейной классификации: одна использует все предикторы, а другая - половину предикторов. Укажите, что наблюдения соответствуют столбцам.

CVMdl = fitcecoc(fullX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');
PCVMdl = fitcecoc(partX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются ClassificationPartitionedLinearECOC модели.

Оцените k-кратные поля для каждого классификатора. Постройте график распределения k-кратных наборов полей с помощью оконных графиков.

fullMargins = kfoldMargin(CVMdl);
partMargins = kfoldMargin(PCVMdl);

figure;
boxplot([fullMargins partMargins],'Labels',...
    {'All Predictors','Half of the Predictors'});
h = gca;
h.YLim = [-1 1];
title('Distribution of Cross-Validated Margins')

Распределения k-кратных полей двух классификаторов одинаковы.

Чтобы определить хорошую силу лассо-штрафа для модели линейной классификации, которая использует учащегося логистической регрессии, сравните распределения k-кратных полей.

Загрузите набор данных NLP. Выполните предварительную обработку данных, как в разделе Выбор элемента с помощью k-кратных полей.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте набор из 11 логарифмически разнесенных уровней регуляции от $$\mathrm{}{\mathrm{}}^{\mathrm{10-8}}$$ до $$\mathrm{}{\mathrm{}}^{101}$$.

Lambda = logspace(-8,1,11);

Создайте шаблон модели линейной классификации, который определяет использование логистической регрессии с штрафом за лассо, используя каждую из сильных сторон регуляризации, оптимизируя целевую функцию с помощью SpaRSA и уменьшая допуск на градиент целевой функции до 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестная проверка модели ECOC, состоящей из двоичных линейных классификационных моделей, с использованием пятикратной перекрестной проверки и

rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5)

CVMdl = 
  ClassificationPartitionedLinearECOC
    CrossValidatedModel: 'LinearECOC'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: [comm    dsp    simulink    others]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является ClassificationPartitionedLinearECOC модель.

Оцените k-кратные пределы для каждой силы регуляризации. Оценки логистической регрессии приведены в [0,1]. Примените квадратичные двоичные потери.

m = kfoldMargin(CVMdl,'BinaryLoss','quadratic');
size(m)

ans = 1×2

       31572          11

m представляет собой матрицу 31572 на 11 перекрестно проверенных полей для каждого наблюдения. Столбцы соответствуют прочностям регуляризации.

Постройте график k-кратных полей для каждой силы регуляризации.

figure;
boxplot(m)
ylabel('Cross-validated margins')
xlabel('Lambda indices')

Несколько значений Lambda аналогичным образом обеспечивают высокую маржинальность центров распределения с низкими спредами. Более высокие значения Lambda привести к предикторной переменной разреженности, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая возникает непосредственно перед тем, как центр распределения маржи начнет уменьшаться, а спред начнет увеличиваться.

LambdaFinal = Lambda(5);

Обучение модели ECOC, состоящей из модели линейной классификации, с использованием всего набора данных и определение силы регуляризации LambdaFinal.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda(5),'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные для predict.