Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных предиктора, и Y является категориальным вектором меток класса.

Для простоты используйте метку «others» для всех наблюдений в Y которые не являются 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Перекрестная проверка многоклассовой модели линейной классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является ClassificationPartitionedLinearECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно изменить количество сгибов с помощью 'KFold' аргумент пары имя-значение.

Оцените среднее значение не складываемых кромок.

e = kfoldEdge(CVMdl)

e = 0.7232

Кроме того, можно получить кромки по складке, указав пару имя-значение. 'Mode','individual' в kfoldEdge.

Одним из способов выбора элемента является сравнение k-образных кромок из нескольких моделей. Исходя исключительно из этого критерия, классификатор с наивысшим ребром является лучшим классификатором.

Загрузите набор данных NLP. Выполните предварительную обработку данных, как в разделе Оценка k-кратного края перекрестной проверки, и сориентируйте данные предиктора таким образом, чтобы наблюдения соответствовали столбцам.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте два набора данных:

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Создайте шаблон модели линейной классификации, определяющий оптимизацию целевой функции с помощью SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестная проверка двух моделей ECOC, состоящих из двоичных моделей линейной классификации: одна использует все предикторы, а другая - половину предикторов. Укажите, что наблюдения соответствуют столбцам.

CVMdl = fitcecoc(fullX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');
PCVMdl = fitcecoc(partX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');

CVMdl и PCVMdl являются ClassificationPartitionedLinearECOC модели.

Оцените k-кратное ребро для каждого классификатора.

fullEdge = kfoldEdge(CVMdl)

fullEdge = 0.3090

partEdge = kfoldEdge(PCVMdl)

partEdge = 0.2617

Основываясь на k-кратных ребрах, классификатор, который использует все предикторы, является лучшей моделью.

Чтобы определить хорошую силу лассо-штрафа для модели линейной классификации, которая использует учащегося логистической регрессии, сравните k-кратные края.

Загрузите набор данных NLP. Выполните предварительную обработку данных, как в разделе Выбор элемента с помощью k-образных кромок.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте набор из 8 логарифмически разнесенных уровней регуляции от $$\mathrm{}{\mathrm{}}^{\mathrm{10-8}}$$ до $$\mathrm{}{\mathrm{}}^{101}$$.

Lambda = logspace(-8,1,8);

Создайте шаблон модели линейной классификации, который определяет использование логистической регрессии с штрафом за лассо, использование каждой из сильных сторон регуляризации, оптимизацию целевой функции с помощью SpaRSA и уменьшение допуска для градиента целевой функции до 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестная проверка модели ECOC, состоящей из двоичных линейных классификационных моделей, с использованием пятикратной перекрестной проверки и

rng(10) % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5)

CVMdl = 
  ClassificationPartitionedLinearECOC
    CrossValidatedModel: 'LinearECOC'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: [comm    dsp    simulink    others]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является ClassificationPartitionedLinearECOC модель.

Оцените края для каждой складки и силы регуляризации.

eFolds = kfoldEdge(CVMdl,'Mode','individual')

eFolds = 5×8

    0.5515    0.5513    0.5516    0.5499    0.4939    0.2945    0.1033    0.0853
    0.5252    0.5254    0.5259    0.5263    0.4769    0.2947    0.1058    0.0866
    0.5269    0.5279    0.5297    0.5293    0.4771    0.2899    0.1031    0.0867
    0.5397    0.5407    0.5410    0.5372    0.4810    0.2906    0.1016    0.0856
    0.5506    0.5557    0.5584    0.5581    0.4942    0.2936    0.1020    0.0849

eFolds представляет собой матрицу рёбер 5 на 8. Строки соответствуют складкам, а столбцы соответствуют прочностям регуляризации в Lambda. Вы можете использовать eFolds для выявления плохо работающих складок, то есть необычно низких кромок.

Оцените среднюю кромку по всем складкам для каждой силы регуляризации.

e = kfoldEdge(CVMdl)

e = 1×8

    0.5388    0.5402    0.5413    0.5402    0.4846    0.2927    0.1031    0.0858

Определите, насколько хорошо модели обобщаются, построив график средних значений 5-кратного края для каждой силы регуляризации. Определите силу регуляризации, которая максимизирует пятикратную кромку по сетке.

figure
plot(log10(Lambda),log10(e),'-o')
[~, maxEIdx] = max(e);
maxLambda = Lambda(maxEIdx);
hold on
plot(log10(maxLambda),log10(e(maxEIdx)),'ro')
ylabel('log_{10} 5-fold edge')
xlabel('log_{10} Lambda')
legend('Edge','Max edge')
hold off

Несколько значений Lambda получить такие же высокие края. Более высокие значения силы регуляризации приводят к переменной разреженности предиктора, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая возникает непосредственно перед тем, как край начнет уменьшаться.

LambdaFinal = Lambda(4);

Обучение модели ECOC, состоящей из модели линейной классификации, с использованием всего набора данных и определение силы регуляризации LambdaFinal.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',LambdaFinal,'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные для predict.