Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса.

Для простоты используйте метку 'другие' для всех наблюдений в Y, которые не являются 'simulink', 'dsp' или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Перекрестный подтвердите мультикласс, линейную модель классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является моделью ClassificationPartitionedLinearECOC. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно изменить количество сгибов с помощью аргумента пары "имя-значение" 'KFold'.

Оцените поля k-сгиба.

m = kfoldMargin(CVMdl);
size(m)

ans = 1×2

       31572           1

m 31572 1 вектор. m(j) является средним значением полей из сгиба для наблюдения j.

Постройте поля k-сгиба с помощью диаграмм.

figure;
boxplot(m);
h = gca;
h.YLim = [-5 5];
title('Distribution of Cross-Validated Margins')

Один способ выполнить выбор функции состоит в том, чтобы сравнить поля k-сгиба от многоуровневых моделей. Базирующийся только на этом критерии, классификатор с большими полями является лучшим классификатором.

Загрузите набор данных NLP. Предварительно обработайте данные как в Оценочных Полях Перекрестной проверки k-сгиба и ориентируйте данные о предикторе так, чтобы наблюдения соответствовали столбцам.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте эти два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Создайте линейный шаблон модели классификации, который задает оптимизацию использования целевой функции SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестный подтвердите две модели ECOC, состоявшие из двоичного файла, линейных моделей классификации: тот, который использует все предикторы и тот, который использует половину предикторов. Укажите, что наблюдения соответствуют столбцам.

CVMdl = fitcecoc(fullX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');
PCVMdl = fitcecoc(partX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются моделями ClassificationPartitionedLinearECOC.

Оцените поля k-сгиба для каждого классификатора. Постройте распределение наборов полей k-сгиба с помощью диаграмм.

fullMargins = kfoldMargin(CVMdl);
partMargins = kfoldMargin(PCVMdl);

figure;
boxplot([fullMargins partMargins],'Labels',...
    {'All Predictors','Half of the Predictors'});
h = gca;
h.YLim = [-1 1];
title('Distribution of Cross-Validated Margins')

Дистрибутивы полей k-сгиба этих двух классификаторов подобны.

Чтобы определить хорошую силу штрафа лассо для линейной модели классификации, которая использует ученика логистической регрессии, сравните дистрибутивы полей k-сгиба.

Загрузите набор данных NLP. Предварительно обработайте данные как в Выборе Функции Используя Поля k-сгиба.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте набор 11 логарифмически распределенных сильных мест регуляризации от $$10^{-8}$$ через $$10^1$$.

Lambda = logspace(-8,1,11);

Создайте линейный шаблон модели классификации, который задает логистическую регрессию использования со штрафом лассо, использование каждых из сильных мест регуляризации, оптимизация использования целевой функции SpaRSA и сокращения допуска на градиенте целевой функции к 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестный подтвердите модель ECOC, состоявшую из двоичного файла, линейные модели классификации с помощью 5-кратной перекрестной проверки и этого

rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5)

CVMdl = 
  classreg.learning.partition.ClassificationPartitionedLinearECOC
    CrossValidatedModel: 'Linear'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1×1 cvpartition]
             ClassNames: [comm    dsp    simulink    others]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является моделью ClassificationPartitionedLinearECOC.

Оцените поля k-сгиба для каждой силы регуляризации. Музыка к логистической регрессии находится в [0,1]. Примените квадратичную бинарную потерю.

m = kfoldMargin(CVMdl,'BinaryLoss','quadratic');
size(m)

ans = 1×2

       31572          11

m 31572 11 матрица перекрестных подтвержденных полей для каждого наблюдения. Столбцы соответствуют сильным местам регуляризации.

Постройте поля k-сгиба для каждой силы регуляризации.

figure;
boxplot(m)
ylabel('Cross-validated margins')
xlabel('Lambda indices')

Несколько значений Lambda приводят к столь же высоким граничным центрам дистрибуции с низкими спредами. Более высокие значения Lambda приводят к разреженности переменной прогноза, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая происходит непосредственно перед тем, как граничный центр дистрибуции начинает уменьшаться, и распространение начинает увеличиваться.

LambdaFinal = Lambda(5);

Обучите модель ECOC, состоявшую из линейной модели классификации использование целого набора данных, и задайте силу регуляризации LambdaFinal.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda(5),'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.