Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных предиктора, и Y является категориальным вектором меток класса. В данных имеется более двух классов.

Модели должны определять, содержится ли подсчет слов на веб-странице в документации Toolbox™ статистики и машинного обучения. Таким образом, определите метки, соответствующие страницам документации Toolbox™ статистики и машинного обучения.

Ystats = Y == 'stats';

Перекрестная проверка бинарной модели линейной классификации, которая может определить, находится ли подсчет слов на веб-странице документации из документации Toolbox™ статистики и машинного обучения.

rng(1); % For reproducibility 
CVMdl = fitclinear(X,Ystats,'CrossVal','on');

CVMdl является ClassificationPartitionedLinear модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно изменить количество сгибов с помощью 'KFold' аргумент пары имя-значение.

Оцените среднее значение не складываемых кромок.

e = kfoldEdge(CVMdl)

e = 8.1243

Кроме того, можно получить кромки по складке, указав пару имя-значение. 'Mode','individual' в kfoldEdge.

Одним из способов выбора элемента является сравнение k-образных кромок из нескольких моделей. Исходя исключительно из этого критерия, классификатор с наивысшим ребром является лучшим классификатором.

Загрузите набор данных NLP. Выполните предварительную обработку данных, как в разделе Оценка k-кратного края перекрестной проверки.

load nlpdata
Ystats = Y == 'stats';
X = X';

Создайте два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Перекрестная проверка двух бинарных, линейных моделей классификации: одна, которая использует все предикторы, и одна, которая использует половину предикторов. Оптимизируйте целевую функцию с помощью SpaRSA и укажите, что наблюдения соответствуют столбцам.

CVMdl = fitclinear(fullX,Ystats,'CrossVal','on','Solver','sparsa',...
    'ObservationsIn','columns');
PCVMdl = fitclinear(partX,Ystats,'CrossVal','on','Solver','sparsa',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются ClassificationPartitionedLinear модели.

Оцените k-кратное ребро для каждого классификатора.

fullEdge = kfoldEdge(CVMdl)

fullEdge = 16.5629

partEdge = kfoldEdge(PCVMdl)

partEdge = 13.9030

Основываясь на k-кратных ребрах, классификатор, который использует все предикторы, является лучшей моделью.

Чтобы определить хорошую силу лассо-штрафа для модели линейной классификации, которая использует учащегося логистической регрессии, сравните k-кратные края.

Загрузите набор данных NLP. Выполните предварительную обработку данных, как в разделе Оценка k-кратного края перекрестной проверки.

load nlpdata
Ystats = Y == 'stats';
X = X';

Создайте набор из 11 логарифмически разнесенных уровней регуляции от $$\mathrm{}{\mathrm{}}^{\mathrm{10-8}}$$ до $$\mathrm{}{\mathrm{}}^{101}$$.

Lambda = logspace(-8,1,11);

Перекрестная проверка двоичной модели линейной классификации с использованием пятикратной перекрестной проверки, которая использует каждую из сильных сторон регуляризации. Оптимизируйте целевую функцию с помощью SpaRSA. Понизить допуск на градиенте целевой функции до 1e-8.

rng(10); % For reproducibility
CVMdl = fitclinear(X,Ystats,'ObservationsIn','columns','KFold',5,...
    'Learner','logistic','Solver','sparsa','Regularization','lasso',...
    'Lambda',Lambda,'GradientTolerance',1e-8)

CVMdl = 
  ClassificationPartitionedLinear
    CrossValidatedModel: 'Linear'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: [0 1]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является ClassificationPartitionedLinear модель. Поскольку fitclinear реализует пятикратную перекрестную проверку, CVMdl содержит 5 ClassificationLinear модели, которые программное обеспечение обучает на каждой складке.

Оцените края для каждой складки и силы регуляризации.

eFolds = kfoldEdge(CVMdl,'Mode','individual')

eFolds = 5×11

    0.9958    0.9958    0.9958    0.9958    0.9958    0.9925    0.9768    0.9231    0.8468    0.8127    0.8127
    0.9991    0.9991    0.9991    0.9991    0.9991    0.9939    0.9779    0.9183    0.8263    0.8128    0.8128
    0.9992    0.9992    0.9992    0.9992    0.9992    0.9942    0.9780    0.9183    0.8254    0.8128    0.8128
    0.9974    0.9974    0.9974    0.9974    0.9974    0.9931    0.9773    0.9191    0.8477    0.8130    0.8130
    0.9977    0.9977    0.9977    0.9977    0.9977    0.9942    0.9782    0.9185    0.8380    0.8127    0.8127

eFolds представляет собой матрицу рёбер 5 на 11. Строки соответствуют складкам, а столбцы соответствуют прочностям регуляризации в Lambda. Вы можете использовать eFolds для выявления плохо работающих складок, то есть необычно низких кромок.

Оцените среднюю кромку по всем складкам для каждой силы регуляризации.

e = kfoldEdge(CVMdl)

e = 1×11

    0.9978    0.9978    0.9978    0.9978    0.9978    0.9936    0.9776    0.9195    0.8368    0.8128    0.8128

Определите, насколько хорошо модели обобщаются, построив график средних значений 5-кратного края для каждой силы регуляризации. Определите силу регуляризации, которая максимизирует пятикратную кромку по сетке.

figure;
plot(log10(Lambda),log10(e),'-o')
[~, maxEIdx] = max(e);
maxLambda = Lambda(maxEIdx);
hold on
plot(log10(maxLambda),log10(e(maxEIdx)),'ro');
ylabel('log_{10} 5-fold edge')
xlabel('log_{10} Lambda')
legend('Edge','Max edge')
hold off

Несколько значений Lambda получить такие же высокие края. Более высокие значения лямбда приводят к предикторной переменной разреженности, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая возникает непосредственно перед тем, как край начнет уменьшаться.

LambdaFinal = Lambda(5);

Обучение модели линейной классификации с использованием всего набора данных и определение силы регуляризации LambdaFinal.

MdlFinal = fitclinear(X,Ystats,'ObservationsIn','columns',...
    'Learner','logistic','Solver','sparsa','Regularization','lasso',...
    'Lambda',LambdaFinal);

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные для predict.