Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных предиктора, и Y является категориальным вектором меток классов.

Для простоты используйте метку 'others' для всех наблюдений в Y которые не 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Перекрестная проверка многоклассовой, линейной классификационной модели.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является ClassificationPartitionedLinearECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию. Вы можете изменить количество складок, используя 'KFold' аргумент пары "имя-значение".

Оцените среднее значение наружных ребер.

e = kfoldEdge(CVMdl)

e = 0.7232

Кроме того, можно получить ребра в относительных единицах путем определения пары "имя-значение" 'Mode','individual' в kfoldEdge.

Один из способов выполнения выбора признаков - сравнение ребер k-складки из нескольких моделей. Исходя исключительно из этого критерия, классификатор с самым высоким ребром является лучшим классификатором.

Загрузите набор данных NLP. Предварительно обработайте данные как в Estimate k-Fold Cross-Validation Edge, и ориентируйте данные предиктора так, чтобы наблюдения соответствовали столбцам.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте эти два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Создайте шаблон модели линейной классификации, который задает оптимизацию целевой функции с помощью SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестная проверка двух моделей ECOC, состоящих из двоичных, линейных классификационных моделей: одной, которая использует все предикторы, и одной, которая использует половину предикторов. Указать, что наблюдения соответствуют столбцам.

CVMdl = fitcecoc(fullX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');
PCVMdl = fitcecoc(partX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются ClassificationPartitionedLinearECOC модели.

Оцените ребро k-складки для каждого классификатора.

fullEdge = kfoldEdge(CVMdl)

fullEdge = 0.3090

partEdge = kfoldEdge(PCVMdl)

partEdge = 0.2617

Основанный на ребрах k-складки, классификатор, который использует все предикторы, является лучшей моделью.

Чтобы определить хорошую силу лассо-штрафа для линейной модели классификации, которая использует учителя логистической регрессии, сравните ребра k-складки.

Загрузите набор данных NLP. Предварительно обработайте данные как в выборе признаков» Использование ребер.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте набор из 8 логарифмически разнесенных сильных сторон регуляризации $$10^{-8}$$ через $$10^1$$.

Lambda = logspace(-8,1,8);

Создайте шаблон модели линейной классификации, который задает использование логистической регрессии с штрафом лассо, используйте каждую из сильных сторон регуляризации, оптимизируйте целевую функцию с помощью SpaRSA и уменьшите допуск на градиент целевой функции до 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестная проверка модели ECOC, составленной из двоичных, линейных классификационных моделей, с помощью 5-кратной перекрестной валидации и той, что

rng(10) % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5)

CVMdl = 
  ClassificationPartitionedLinearECOC
    CrossValidatedModel: 'LinearECOC'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: [comm    dsp    simulink    others]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является ClassificationPartitionedLinearECOC модель.

Оцените ребра для каждой складки и прочность на регуляризацию.

eFolds = kfoldEdge(CVMdl,'Mode','individual')

eFolds = 5×8

    0.5515    0.5513    0.5516    0.5499    0.4939    0.2945    0.1033    0.0853
    0.5252    0.5254    0.5259    0.5263    0.4769    0.2947    0.1058    0.0866
    0.5269    0.5279    0.5297    0.5293    0.4771    0.2899    0.1031    0.0867
    0.5397    0.5407    0.5410    0.5372    0.4810    0.2906    0.1016    0.0856
    0.5506    0.5557    0.5584    0.5581    0.4942    0.2936    0.1020    0.0849

eFolds является матрицей ребер 5 на 8. Строки соответствуют складкам, а столбцы - сильным сторонам регуляризации в Lambda. Можно использовать eFolds идентифицировать плохо работающие складки, то есть необычно низкие ребра.

Оцените среднее ребро по всем складкам для каждой силы регуляризации.

e = kfoldEdge(CVMdl)

e = 1×8

    0.5388    0.5402    0.5413    0.5402    0.4846    0.2927    0.1031    0.0858

Определите, насколько хорошо модели обобщаются, путем построения средних значений 5-кратного ребра для каждой силы регуляризации. Идентифицируйте регуляризационную прочность, которая максимизирует 5-кратное ребро по сетке.

figure
plot(log10(Lambda),log10(e),'-o')
[~, maxEIdx] = max(e);
maxLambda = Lambda(maxEIdx);
hold on
plot(log10(maxLambda),log10(e(maxEIdx)),'ro')
ylabel('log_{10} 5-fold edge')
xlabel('log_{10} Lambda')
legend('Edge','Max edge')
hold off

Несколько значений Lambda выход аналогично высоких ребер. Большие значения силы регуляризации приводят к переменной разреженности предиктора, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая происходит непосредственно перед началом уменьшения ребра.

LambdaFinal = Lambda(4);

Обучите модель ECOC, состоящую из линейной классификационной модели, используя весь набор данных и задайте силу регуляризации LambdaFinal.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',LambdaFinal,'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные для predict.