Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса.

Перекрестный подтвердите модель ECOC линейных моделей классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является моделью ClassificationPartitionedLinearECOC. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку.

Оцените среднее значение коэффициентов ошибок классификации из сгиба.

ce = kfoldLoss(CVMdl)

ce = 0.0958

Также можно получить коэффициенты ошибок классификации на сгиб путем определения пары "имя-значение" 'Mode','individual' в kfoldLoss.

Загрузите набор данных NLP. Транспонируйте данные о предикторе.

load nlpdata
X = X';

Для простоты используйте метку 'другие' для всех наблюдений в Y, которые не являются 'simulink', 'dsp' или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте линейный шаблон модели классификации, который задает оптимизацию использования целевой функции SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестный подтвердите модель ECOC линейных моделей классификации с помощью 5-кратной перекрестной проверки. Оптимизируйте использование целевой функции SpaRSA. Укажите, что наблюдения предиктора соответствуют столбцам.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learners',t,'KFold',5,'ObservationsIn','columns');
CMdl1 = CVMdl.Trained{1}

CMdl1 = 
  classreg.learning.classif.CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6x1 cell}
      CodingMatrix: [4x6 double]


  Properties, Methods

CVMdl является моделью ClassificationPartitionedLinearECOC. Это содержит свойство Trained, которое является массивом ячеек 5 на 1, содержащим CompactClassificationECOC модели, что программное обеспечение обучило использование набора обучающих данных каждого сгиба.

Создайте функцию, которая терпит минимальные убытки для каждого наблюдения, и затем составляет в среднем минимальные потери через все наблюдения. Поскольку функция не использует матрицу идентификатора класса (C), веса наблюдения (W), и классификация стоила (Cost), использование, ~, чтобы иметь kfoldLoss игнорирует свои их положения.

lossfun = @(~,S,~,~)mean(min(-S,[],2));

Оцените среднее значение перекрестная подтвержденная потеря классификации с помощью минимальной потери на функцию наблюдения. Кроме того, получите потерю для каждого сгиба.

ce = kfoldLoss(CVMdl,'LossFun',lossfun)

ce = 0.0243

ceFold = kfoldLoss(CVMdl,'LossFun',lossfun,'Mode','individual')

ceFold = 5×1

    0.0244
    0.0255
    0.0248
    0.0240
    0.0226

Чтобы определить хорошую силу штрафа лассо для модели ECOC, состоявшей из линейных моделей классификации, которые используют учеников логистической регрессии, реализуйте 5-кратную перекрестную проверку.

Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса.

Для простоты используйте метку 'другие' для всех наблюдений в Y, которые не являются 'simulink', 'dsp' или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте набор 11 логарифмически распределенных сильных мест регуляризации от $$10^{-7}$$ через $$10^{-2}$$.

Lambda = logspace(-7,-2,11);

Создайте линейный шаблон модели классификации, который задает, чтобы использовать учеников логистической регрессии, использовать штрафы лассо с сильными местами в Lambda, использование train SpaRSA, и понизить допуск на градиент целевой функции к 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестный подтвердите модели. Чтобы увеличить скорость выполнения, транспонируйте данные о предикторе и укажите, что наблюдения находятся в столбцах.

X = X'; 
rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5);

CVMdl является моделью ClassificationPartitionedLinearECOC.

Разделите CVMdl и каждую модель в нем.

numECOCModels = numel(CVMdl.Trained)

numECOCModels = 5

ECOCMdl1 = CVMdl.Trained{1}

ECOCMdl1 = 
  classreg.learning.classif.CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6×1 cell}
      CodingMatrix: [4×6 double]


  Properties, Methods

numCLModels = numel(ECOCMdl1.BinaryLearners)

numCLModels = 6

CLMdl1 = ECOCMdl1.BinaryLearners{1}

CLMdl1 = 
  ClassificationLinear
      ResponseName: 'Y'
        ClassNames: [-1 1]
    ScoreTransform: 'logit'
              Beta: [34023×11 double]
              Bias: [-0.3125 -0.3596 -0.3596 -0.3596 -0.3596 -0.3596 -0.1593 -0.0737 -0.1759 -0.3452 -0.5174]
            Lambda: [1.0000e-07 3.1623e-07 1.0000e-06 3.1623e-06 1.0000e-05 3.1623e-05 1.0000e-04 3.1623e-04 1.0000e-03 0.0032 0.0100]
           Learner: 'logistic'


  Properties, Methods

Поскольку fitcecoc реализует 5-кратную перекрестную проверку, CVMdl содержит массив ячеек 5 на 1 моделей CompactClassificationECOC, которые программное обеспечение обучает на каждом сгибе. Свойство BinaryLearners каждой модели CompactClassificationECOC содержит модели ClassificationLinear. Количество моделей ClassificationLinear в каждой компактной модели ECOC зависит от количества отличных меток и кодирующий проект. Поскольку Lambda является последовательностью сильных мест регуляризации, можно думать о CLMdl1 как о 11 моделях, один для каждой силы регуляризации в Lambda.

Определите, как хорошо модели делают вывод путем графического вывода средних значений 5-кратной ошибки классификации для каждой силы регуляризации. Идентифицируйте силу регуляризации, которая минимизирует ошибку обобщения по сетке.

ce = kfoldLoss(CVMdl);
figure;
plot(log10(Lambda),log10(ce))
[~,minCEIdx] = min(ce);
minLambda = Lambda(minCEIdx);
hold on
plot(log10(minLambda),log10(ce(minCEIdx)),'ro');
ylabel('log_{10} 5-fold classification error')
xlabel('log_{10} Lambda')
legend('MSE','Min classification error')
hold off

Обучите модель ECOC, состоявшую из линейной модели классификации использование целого набора данных, и задайте минимальную силу регуляризации.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',minLambda,'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.