Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса. В данных существует больше чем два класса.

Модели должны идентифицировать, являются ли подсчеты слов в веб-странице из документации Statistics and Machine Learning Toolbox™. Так, идентифицируйте метки, которые соответствуют веб-страницам документации Statistics and Machine Learning Toolbox™.

Ystats = Y == 'stats';

Перекрестный подтвердите двоичный файл, линейная модель классификации, которая может идентифицировать, являются ли подсчеты слов в веб-странице документации из документации Statistics and Machine Learning Toolbox™.

rng(1); % For reproducibility 
CVMdl = fitclinear(X,Ystats,'CrossVal','on');

CVMdl является моделью ClassificationPartitionedLinear. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно изменить количество сгибов с помощью аргумента пары "имя-значение" 'KFold'.

Оцените среднее значение ребер из сгиба.

e = kfoldEdge(CVMdl)

e = 8.1243

Также можно получить ребра на сгиб путем определения пары "имя-значение" 'Mode','individual' в kfoldEdge.

Один способ выполнить выбор функции состоит в том, чтобы сравнить ребра k-сгиба от многоуровневых моделей. Базирующийся только на этом критерии, классификатор с самым высоким ребром является лучшим классификатором.

Загрузите набор данных NLP. Предварительно обработайте данные как в Оценочном Ребре Перекрестной проверки k-сгиба.

load nlpdata
Ystats = Y == 'stats';
X = X';

Создайте эти два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Перекрестный подтвердите два двоичных файла, линейные модели классификации: тот, который использует все предикторы и тот, который использует половину предикторов. Оптимизируйте использование целевой функции SpaRSA и укажите, что наблюдения соответствуют столбцам.

CVMdl = fitclinear(fullX,Ystats,'CrossVal','on','Solver','sparsa',...
    'ObservationsIn','columns');
PCVMdl = fitclinear(partX,Ystats,'CrossVal','on','Solver','sparsa',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются моделями ClassificationPartitionedLinear.

Оцените ребро k-сгиба для каждого классификатора.

fullEdge = kfoldEdge(CVMdl)

fullEdge = 16.5629

partEdge = kfoldEdge(PCVMdl)

partEdge = 13.9030

На основе ребер k-сгиба классификатор, который использует все предикторы, является лучшей моделью.

Чтобы определить хорошую силу штрафа лассо для линейной модели классификации, которая использует ученика логистической регрессии, сравните ребра k-сгиба.

Загрузите набор данных NLP. Предварительно обработайте данные как в Оценочном Ребре Перекрестной проверки k-сгиба.

load nlpdata
Ystats = Y == 'stats';
X = X';

Создайте набор 11 логарифмически распределенных сильных мест регуляризации от $$10^{-8}$$ через $$10^1$$.

Lambda = logspace(-8,1,11);

Перекрестный подтвердите двоичный файл, линейная модель классификации использование 5-кратной перекрестной проверки, и это использует каждые из сильных мест регуляризации. Оптимизируйте использование целевой функции SpaRSA. Понизьте допуск на градиент целевой функции к 1e-8.

rng(10); % For reproducibility
CVMdl = fitclinear(X,Ystats,'ObservationsIn','columns','KFold',5,...
    'Learner','logistic','Solver','sparsa','Regularization','lasso',...
    'Lambda',Lambda,'GradientTolerance',1e-8)

CVMdl = 
  classreg.learning.partition.ClassificationPartitionedLinear
    CrossValidatedModel: 'Linear'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: [0 1]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является моделью ClassificationPartitionedLinear. Поскольку fitclinear реализует 5-кратную перекрестную проверку, CVMdl содержит 5 моделей ClassificationLinear, которые программное обеспечение обучает на каждом сгибе.

Оцените ребра для каждого сгиба и силы регуляризации.

eFolds = kfoldEdge(CVMdl,'Mode','individual')

eFolds = 5×11

    0.9958    0.9958    0.9958    0.9958    0.9958    0.9924    0.9768    0.9242    0.8444    0.8127    0.8127
    0.9991    0.9991    0.9991    0.9991    0.9991    0.9939    0.9781    0.9200    0.8262    0.8128    0.8128
    0.9992    0.9992    0.9992    0.9992    0.9992    0.9942    0.9779    0.9090    0.8254    0.8128    0.8128
    0.9974    0.9974    0.9974    0.9974    0.9974    0.9931    0.9772    0.9188    0.8487    0.8130    0.8130
    0.9977    0.9977    0.9977    0.9977    0.9977    0.9942    0.9781    0.9179    0.8377    0.8127    0.8127

eFolds 5 11 матрица ребер. Строки соответствуют сгибам, и столбцы соответствуют сильным местам регуляризации в Lambda. Можно использовать eFolds, чтобы идентифицировать сгибы плохо выполнения, то есть, необычно низкие ребра.

Оцените среднее ребро по всем сгибам для каждой силы регуляризации.

e = kfoldEdge(CVMdl)

e = 1×11

    0.9978    0.9978    0.9978    0.9978    0.9978    0.9936    0.9776    0.9180    0.8365    0.8128    0.8128

Определите, как хорошо модели делают вывод путем графического вывода средних значений 5-кратного ребра для каждой силы регуляризации. Идентифицируйте силу регуляризации, которая максимизирует 5-кратное ребро по сетке.

figure;
plot(log10(Lambda),log10(e),'-o')
[~, maxEIdx] = max(e);
maxLambda = Lambda(maxEIdx);
hold on
plot(log10(maxLambda),log10(e(maxEIdx)),'ro');
ylabel('log_{10} 5-fold edge')
xlabel('log_{10} Lambda')
legend('Edge','Max edge')
hold off

Несколько значений Lambda приводят к столь же высоким ребрам. Более высокие значения lambda приводят к разреженности переменной прогноза, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая происходит непосредственно перед тем, как ребро начинает уменьшаться.

LambdaFinal = Lambda(5);

Обучите линейную модель классификации использование целого набора данных и задайте силу регуляризации LambdaFinal.

MdlFinal = fitclinear(X,Ystats,'ObservationsIn','columns',...
    'Learner','logistic','Solver','sparsa','Regularization','lasso',...
    'Lambda',LambdaFinal);

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.