Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных предиктора, и Y является категориальным вектором меток классов.

Для простоты используйте метку 'others' для всех наблюдений в Y которые не 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Перекрестная проверка многоклассовой, линейной классификационной модели.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является ClassificationPartitionedLinearECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию. Вы можете изменить количество складок, используя 'KFold' аргумент пары "имя-значение".

Оцените запасы k-образного сечения.

m = kfoldMargin(CVMdl);
size(m)

ans = 1×2

       31572           1

m является вектором 31572 на 1. m(j) - среднее значение выходных полей для наблюдения j.

Постройте график полей k-образного сгиба с помощью прямоугольных графиков.

figure;
boxplot(m);
h = gca;
h.YLim = [-5 5];
title('Distribution of Cross-Validated Margins')

Один из способов выполнения выбора признаков - сравнение полей k-складки из нескольких моделей. Исходя исключительно из этого критерия, классификатор с большими полями является лучшим классификатором.

Загрузите набор данных NLP. Предварительно обработайте данные как в Estimate k-Fold Cross-Validation Margins, и ориентируйте данные предиктора так, чтобы наблюдения соответствовали столбцам.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте эти два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Создайте шаблон модели линейной классификации, который задает оптимизацию целевой функции с помощью SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестная проверка двух моделей ECOC, состоящих из двоичных, линейных классификационных моделей: одной, которая использует все предикторы, и одной, которая использует половину предикторов. Указать, что наблюдения соответствуют столбцам.

CVMdl = fitcecoc(fullX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');
PCVMdl = fitcecoc(partX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются ClassificationPartitionedLinearECOC модели.

Оцените поля k-складки для каждого классификатора. Постройте график распределения наборов полей k-fold с помощью прямоугольных графиков.

fullMargins = kfoldMargin(CVMdl);
partMargins = kfoldMargin(PCVMdl);

figure;
boxplot([fullMargins partMargins],'Labels',...
    {'All Predictors','Half of the Predictors'});
h = gca;
h.YLim = [-1 1];
title('Distribution of Cross-Validated Margins')

Распределения полей k-складки двух классификаторов аналогичны.

Чтобы определить хорошую силу лассо-штрафа для линейной модели классификации, которая использует учителя логистической регрессии, сравните распределения полей k-складки.

Загрузите набор данных NLP. Предварительно обработайте данные как в выборе признаков» с помощью k-образных полей.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте набор из 11 логарифмически разнесенных сильных сторон регуляризации $$10^{-8}$$ через $$10^1$$.

Lambda = logspace(-8,1,11);

Создайте шаблон модели линейной классификации, который задает использование логистической регрессии с штрафом лассо, использование каждой из сильных сторон регуляризации, оптимизацию целевой функции с помощью SpaRSA и уменьшение допуска на градиент целевой функции до 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестная проверка модели ECOC, составленной из двоичных, линейных классификационных моделей, с помощью 5-кратной перекрестной валидации и той, что

rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5)

CVMdl = 
  ClassificationPartitionedLinearECOC
    CrossValidatedModel: 'LinearECOC'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: [comm    dsp    simulink    others]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является ClassificationPartitionedLinearECOC модель.

Оцените запасы k-образного сечения для каждой прочности на регуляризацию. Для логистической регрессии счетов в [0,1]. Примените квадратичные двоичные потери.

m = kfoldMargin(CVMdl,'BinaryLoss','quadratic');
size(m)

ans = 1×2

       31572          11

m является матрицей 31572 на 11 перекрестных подтвержденных полей для каждого наблюдения. Столбцы соответствуют степеням регуляризации.

Постройте график полей k-образного сгиба для каждой силы регуляризации.

figure;
boxplot(m)
ylabel('Cross-validated margins')
xlabel('Lambda indices')

Несколько значений Lambda выход аналогично высокий запас распределения центров с низкими спредами. Более высокие значения Lambda привести к разреженности переменной предиктора, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая происходит непосредственно перед тем, как центр распределения маржи начнет уменьшаться, а спред начнет увеличиваться.

LambdaFinal = Lambda(5);

Обучите модель ECOC, состоящую из линейной классификационной модели, используя весь набор данных и задайте силу регуляризации LambdaFinal.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda(5),'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные для predict.