kfoldMargin

Поля классификации для наблюдений, не используемых в обучении

Описание

пример

m = kfoldMargin(CVMdl) возвращает перекрестные подтвержденные поля классификации, полученные CVMdl, который является перекрестным подтвержденным, модель выходных кодов с коррекцией ошибок (ECOC), состоявшая из линейных моделей классификации. Таким образом, для каждого сгиба, kfoldMargin оценивает поля классификации для наблюдений, что это протягивает, когда это обучает использование всех других наблюдений.

m содержит поля классификации для каждой силы регуляризации в линейных моделях классификации, которые включают CVMdl.

пример

m = kfoldMargin(CVMdl,Name,Value) дополнительные опции использования заданы одним или несколькими Name,Value парные аргументы. Например, задайте схему декодирования или уровень многословия.

Входные параметры

развернуть все

Перекрестный подтвержденный, модель ECOC, состоявшая из линейных моделей классификации в виде ClassificationPartitionedLinearECOC объект модели. Можно создать ClassificationPartitionedLinearECOC использование модели fitcecoc и:

  1. Задавая любую из перекрестной проверки, аргументов пары "имя-значение", например, CrossVal

  2. Установка аргумента пары "имя-значение" Learners к 'linear' или линейный шаблон модели классификации, возвращенный templateLinear

Чтобы получить оценки, kfoldMargin применяется, те же данные раньше перекрестный подтверждали модель ECOC (X и Y).

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Бинарная функция потерь ученика в виде разделенной запятой пары, состоящей из 'BinaryLoss' и встроенное имя функции потерь или указатель на функцию.

  • Эта таблица содержит имена и описания встроенных функций, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j, и g (yj, sj) является бинарной формулой потерь.

    ЗначениеОписаниеОбласть счетаg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
    'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
    'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
    'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

    Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5 когда yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

  • Для пользовательской бинарной функции потерь, например, customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction должен иметь эту форму

    bLoss = customFunction(M,s)
    где:

    • M K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.

    • s 1 L вектором-строкой из классификационных оценок.

    • bLoss потеря классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.

    • K является количеством классов.

    • L является количеством бинарных учеников.

    Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

По умолчанию, если все бинарные ученики являются линейным использованием моделей классификации:

  • SVM, затем BinaryLoss 'hinge'

  • Логистическая регрессия, затем BinaryLoss 'quadratic'

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема Decoding, которая агрегировала бинарные потери в виде разделенной запятой пары, состоящей из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

Опции оценки в виде разделенной запятой пары, состоящей из 'Options' и массив структур, возвращенный statset.

Вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень многословия в виде разделенной запятой пары, состоящей из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose 0, затем программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

развернуть все

Перекрестные подтвержденные поля классификации, возвращенные как числовой вектор или матрица.

m n-by-L, где n является количеством наблюдений в X и L является количеством сильных мест регуляризации в Mdl (то есть, numel(Mdl.Lambda)).

m (iJ) перекрестное подтвержденное поле классификации наблюдения i с помощью модели ECOC, состоявшей из линейных моделей классификации, который имеет силу регуляризации Mdl. Lambda (j).

Примеры

развернуть все

Загрузите набор данных NLP.

load nlpdata

X разреженная матрица данных о предикторе и Y категориальный вектор из меток класса.

Для простоты используйте метку 'другие' для всех наблюдений в Y это не 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Перекрестный подтвердите мультикласс, линейную модель классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl ClassificationPartitionedLinearECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно изменить количество сгибов с помощью 'KFold' аргумент пары "имя-значение".

Оцените поля k-сгиба.

m = kfoldMargin(CVMdl);
size(m)
ans = 1×2

       31572           1

m 31572 1 вектор. m(j) среднее значение полей из сгиба для наблюдения j.

Постройте поля k-сгиба с помощью диаграмм.

figure;
boxplot(m);
h = gca;
h.YLim = [-5 5];
title('Distribution of Cross-Validated Margins')

Figure contains an axes. The axes with title Distribution of Cross-Validated Margins contains 7 objects of type line.

Один способ выполнить выбор признаков состоит в том, чтобы сравнить поля k-сгиба от многоуровневых моделей. Базирующийся только на этом критерии, классификатор с большими полями является лучшим классификатором.

Загрузите набор данных NLP. Предварительно обработайте данные как в Оценочных Полях Перекрестной проверки k-сгиба и ориентируйте данные о предикторе так, чтобы наблюдения соответствовали столбцам.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте эти два набора данных:

  • fullX содержит все предикторы.

  • partX содержит 1/2 предикторов, выбранных наугад.

rng(1); % For reproducibility
p = size(X,1); % Number of predictors
halfPredIdx = randsample(p,ceil(0.5*p));
fullX = X;
partX = X(halfPredIdx,:);

Создайте линейный шаблон модели классификации, который задает оптимизацию использования целевой функции SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестный подтвердите две модели ECOC, состоявшие из двоичного файла, линейных моделей классификации: тот, который использует все предикторы и тот, который использует половину предикторов. Укажите, что наблюдения соответствуют столбцам.

CVMdl = fitcecoc(fullX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');
PCVMdl = fitcecoc(partX,Y,'Learners',t,'CrossVal','on',...
    'ObservationsIn','columns');

CVMdl и PCVMdl ClassificationPartitionedLinearECOC модели.

Оцените поля k-сгиба для каждого классификатора. Постройте распределение наборов полей k-сгиба с помощью диаграмм.

fullMargins = kfoldMargin(CVMdl);
partMargins = kfoldMargin(PCVMdl);

figure;
boxplot([fullMargins partMargins],'Labels',...
    {'All Predictors','Half of the Predictors'});
h = gca;
h.YLim = [-1 1];
title('Distribution of Cross-Validated Margins')

Figure contains an axes. The axes with title Distribution of Cross-Validated Margins contains 14 objects of type line.

Распределения полей k-сгиба этих двух классификаторов подобны.

Чтобы определить хорошую силу штрафа лассо для линейной модели классификации, которая использует ученика логистической регрессии, сравните распределения полей k-сгиба.

Загрузите набор данных NLP. Предварительно обработайте данные как в Выборе признаков Используя Поля k-сгиба.

load nlpdata
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';
X = X';

Создайте набор 11 логарифмически распределенных сильных мест регуляризации от 10-8 через 101.

Lambda = logspace(-8,1,11);

Создайте линейный шаблон модели классификации, который задает логистическую регрессию использования со штрафом лассо, использование каждых из сильных мест регуляризации, оптимизация использования целевой функции SpaRSA и сокращения допуска на градиенте целевой функции к 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестный подтвердите модель ECOC, состоявшую из двоичного файла, линейные модели классификации с помощью 5-кратной перекрестной проверки и этого

rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5)
CVMdl = 
  ClassificationPartitionedLinearECOC
    CrossValidatedModel: 'LinearECOC'
           ResponseName: 'Y'
        NumObservations: 31572
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: [comm    dsp    simulink    others]
         ScoreTransform: 'none'


  Properties, Methods

CVMdl ClassificationPartitionedLinearECOC модель.

Оцените поля k-сгиба для каждой силы регуляризации. Музыка к логистической регрессии находится в [0,1]. Примените квадратичную бинарную потерю.

m = kfoldMargin(CVMdl,'BinaryLoss','quadratic');
size(m)
ans = 1×2

       31572          11

m 31572 11 матрица перекрестных подтвержденных полей для каждого наблюдения. Столбцы соответствуют сильным местам регуляризации.

Постройте поля k-сгиба для каждой силы регуляризации.

figure;
boxplot(m)
ylabel('Cross-validated margins')
xlabel('Lambda indices')

Figure contains an axes. The axes contains 77 objects of type line.

Несколько значений Lambda дайте к столь же высоким граничным центрам дистрибуции с низкими спредами. Более высокие значения Lambda приведите к разреженности переменного предиктора, которая является хорошим качеством классификатора.

Выберите силу регуляризации, которая происходит непосредственно перед тем, как граничный центр дистрибуции начинает уменьшаться, и распространение начинает увеличиваться.

LambdaFinal = Lambda(5);

Обучите модель ECOC, состоявшую из линейной модели классификации использование целого набора данных, и задайте силу регуляризации LambdaFinal.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda(5),'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.

Больше о

развернуть все

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classifiers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[3] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

Расширенные возможности

Введенный в R2016a
Для просмотра документации необходимо авторизоваться на сайте