Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса.

Для простоты используйте метку 'другие' для всех наблюдений в Y, которые не являются 'simulink', 'dsp' или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Перекрестный подтвердите мультикласс, линейную модель классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является моделью ClassificationPartitionedLinearECOC. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно изменить количество сгибов с помощью аргумента пары "имя-значение" 'KFold'.

Оцените среднее значение ребер из сгиба.

e = kfoldEdge(CVMdl)

e = 0.7232

Также можно получить ребра на сгиб путем определения пары "имя-значение" 'Mode','individual' в kfoldEdge.

Один способ выполнить выбор функции состоит в том, чтобы сравнить ребра k-сгиба от многоуровневых моделей. Базирующийся только на этом критерии, классификатор с самым высоким ребром является лучшим классификатором.

Загрузите набор данных NLP. Предварительно обработайте данные как в Оценочном Ребре Перекрестной проверки k-сгиба и ориентируйте данные о предикторе так, чтобы наблюдения соответствовали столбцам.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте эти два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Создайте линейный шаблон модели классификации, который задает, чтобы оптимизировать использование целевой функции SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестный подтвердите две модели ECOC, состоявшие из двоичного файла, линейных моделей классификации: тот, который использует все предикторы и тот, который использует половину предикторов. Укажите, что наблюдения соответствуют столбцам.

CVMdl = fitcecoc(fullX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');
PCVMdl = fitcecoc(partX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются моделями ClassificationPartitionedLinearECOC.

Оцените ребро k-сгиба для каждого классификатора.

fullEdge = kfoldEdge(CVMdl)

fullEdge = 0.3090

partEdge = kfoldEdge(PCVMdl)

partEdge = 0.2617

На основе ребер k-сгиба классификатор, который использует все предикторы, является лучшей моделью.

Чтобы определить хорошую силу штрафа лассо для линейной модели классификации, которая использует ученика логистической регрессии, сравните ребра k-сгиба.

Загрузите набор данных NLP. Предварительно обработайте данные как в Выборе Функции Используя Ребра k-сгиба.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте набор 8 логарифмически распределенных сильных мест регуляризации от $$10^{-8}$$ через $$10^1$$.

Lambda = logspace(-8,1,8);

Создайте линейный шаблон модели классификации, который задает, чтобы использовать логистическую регрессию со штрафом лассо, использовать каждые из сильных мест регуляризации, оптимизировать использование целевой функции SpaRSA и уменьшать допуск на градиенте целевой функции к 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестный подтвердите модель ECOC, состоявшую из двоичного файла, линейные модели классификации с помощью 5-кратной перекрестной проверки и этого

rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5)

CVMdl = 
  classreg.learning.partition.ClassificationPartitionedLinearECOC
    CrossValidatedModel: 'Linear'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1×1 cvpartition]
             ClassNames: [comm    dsp    simulink    others]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является моделью ClassificationPartitionedLinearECOC.

Оцените ребра для каждого сгиба и силы регуляризации.

eFolds = kfoldEdge(CVMdl,'Mode','individual')

eFolds = 5×8

    0.5511    0.5520    0.5525    0.5514    0.4869    0.2933    0.1025    0.0857
    0.5257    0.5270    0.5270    0.5277    0.4801    0.2944    0.1049    0.0866
    0.5256    0.5265    0.5272    0.5276    0.4724    0.2884    0.1034    0.0866
    0.5386    0.5394    0.5405    0.5373    0.4824    0.2903    0.1009    0.0854
    0.5497    0.5551    0.5582    0.5575    0.4944    0.2939    0.1030    0.0849

eFolds 5 8 матрица ребер. Строки соответствуют сгибам, и столбцы соответствуют сильным местам регуляризации в Lambda. Можно использовать eFolds, чтобы идентифицировать сгибы плохо выполнения, то есть, необычно низкие ребра.

Оцените среднее ребро по всем сгибам для каждой силы регуляризации.

e = kfoldEdge(CVMdl)

e = 1×8

    0.5382    0.5400    0.5411    0.5403    0.4832    0.2921    0.1029    0.0858

Определите, как хорошо модели делают вывод путем графического вывода средних значений 5-кратного ребра для каждой силы регуляризации. Идентифицируйте силу регуляризации, которая максимизирует 5-кратное ребро по сетке.

figure;
plot(log10(Lambda),log10(e),'-o')
[~, maxEIdx] = max(e);
maxLambda = Lambda(maxEIdx);
hold on
plot(log10(maxLambda),log10(e(maxEIdx)),'ro');
ylabel('log_{10} 5-fold edge')
xlabel('log_{10} Lambda')
legend('Edge','Max edge')
hold off

Несколько значений Lambda приводят к столь же высоким ребрам. Большие значения силы регуляризации приводят к разреженности переменной прогноза, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая происходит непосредственно перед тем, как ребро начинает уменьшаться.

LambdaFinal = Lambda(4);

Обучите модель ECOC, состоявшую из линейной модели классификации использование целого набора данных, и задайте силу регуляризации LambdaFinal.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',LambdaFinal,'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.