kfoldMargin

Классификационные поля для перекрестно проверенной модели ECOC ядра

Описание

пример

margin = kfoldMargin(CVMdl) возвращает классификационные поля, полученные перекрестной проверенной моделью ECOC ядра (ClassificationPartitionedKernelECOC) CVMdl. Для каждой складки, kfoldMargin вычисляет границы классификации для наблюдений с разбиением на валидации с использованием модели, обученной на наблюдениях с сложением обучения.

margin = kfoldMargin(CVMdl,Name,Value) возвращает поля классификации с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Для примера задайте двоичную функцию потерь учащегося, схему декодирования или уровень подробностей.

Примеры

свернуть все

Загрузите набор данных радужки Фишера. X содержит измерения цветов и Y содержит имена видов цветов.

load fisheriris
X = meas;
Y = species;

Перекрестная проверка модели ECOC, состоящей из двоичных учащихся ядра.

CVMdl = fitcecoc(X,Y,'Learners','kernel','CrossVal','on')
CVMdl = 
  ClassificationPartitionedKernelECOC
    CrossValidatedModel: 'KernelECOC'
           ResponseName: 'Y'
        NumObservations: 150
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'setosa'  'versicolor'  'virginica'}
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является ClassificationPartitionedKernelECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию. Чтобы задать другое количество складок, используйте 'KFold' аргумент пары "имя-значение" вместо 'Crossval'.

Оцените классификационные поля для валидационных-складных наблюдений.

m = kfoldMargin(CVMdl);
size(m)
ans = 1×2

   150     1

m является вектором 150 на 1. m(j) - классификационный запас для наблюдений j.

Постройте график полей k-fold с помощью boxplot.

boxplot(m,'Labels','All Observations')
title('Distribution of Margins')

Figure contains an axes. The axes with title Distribution of Margins contains 7 objects of type line.

Выполните выбор признаков путем сравнения полей k-складки из нескольких моделей. Исходя исключительно из этого критерия, классификатор с наибольшими полями является лучшим классификатором.

Загрузите набор данных радужки Фишера. X содержит измерения цветов и Y содержит имена видов цветов.

load fisheriris
X = meas;
Y = species;

Случайным образом выберите половину переменных предиктора.

rng(1); % For reproducibility
p = size(X,2); % Number of predictors
idxPart = randsample(p,ceil(0.5*p));

Перекрестная проверка двух моделей ECOC, состоящих из моделей классификации ядра: одна, которая использует все предикторы, и одна, которая использует половину предикторов.

CVMdl = fitcecoc(X,Y,'Learners','kernel','CrossVal','on');
PCVMdl = fitcecoc(X(:,idxPart),Y,'Learners','kernel','CrossVal','on');

CVMdl и PCVMdl являются ClassificationPartitionedKernelECOC модели. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию. Чтобы задать другое количество складок, используйте 'KFold' аргумент пары "имя-значение" вместо 'Crossval'.

Оцените поля k-складки для каждого классификатора.

fullMargins = kfoldMargin(CVMdl);
partMargins = kfoldMargin(PCVMdl);

Постройте график распределения наборов полей с помощью прямоугольных графиков.

boxplot([fullMargins partMargins], ...
    'Labels',{'All Predictors','Half of the Predictors'});
title('Distribution of Margins')

Figure contains an axes. The axes with title Distribution of Margins contains 14 objects of type line.

The PCVMdl маржинальное распределение аналогично CVMdl распределение маржи.

Входные параметры

свернуть все

Перекрестная проверенная модель ECOC ядра, заданная как ClassificationPartitionedKernelECOC модель. Можно создать ClassificationPartitionedKernelECOC модель путем настройки модели ECOC с помощью fitcecoc и определение этих аргументов пары "имя-значение":

  • 'Learners'- Установите значение 'kernel', объект шаблона, возвращенный templateKernelили массив ячеек из таких объектов шаблона.

  • Один из аргументов 'CrossVal', 'CVPartition', 'Holdout', 'KFold', или 'Leaveout'.

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

Пример: kfoldMargin(CVMdl,'Verbose',1) задает отображение диагностических сообщений в Командном окне.

Двоичная функция потерь учащегося, заданная как разделенная разделенными запятой парами, состоящая из 'BinaryLoss' и встроенное имя функции потери или указатель на функцию.

  • Эта таблица содержит имена и описания встроенных функций, где yj является меткой класса для конкретного двоичного ученика (в наборе {-1,1,0}), sj является счетом для j наблюдений и g (yj, sj) является формулой двоичных потерь.

    ЗначениеОписаниеСчетg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
    'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
    'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
    'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

    Программа нормализует двоичные потери так, что потеря составляет 0,5 при yj = 0. Кроме того, программное обеспечение вычисляет средние двоичные потери для каждого класса.

  • Для пользовательской функции двоичных потерь, например, customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет следующую форму:

    bLoss = customFunction(M,s)
    где:

    • M - K матрица кодирования L, сохраненная в Mdl.CodingMatrix.

    • s - вектор-строка L 1 байта классификационных баллов.

    • bLoss - классификационные потери. Этот скаляр агрегирует двоичные потери для каждого учащегося в конкретном классе. Для примера можно использовать среднее значение двоичных потерь для агрегирования потерь по учащимся для каждого класса.

    • K - количество классов.

    • L - это количество двоичных учащихся.

По умолчанию, если все двоичные ученики являются моделями классификации ядра с использованием SVM, то BinaryLoss является 'hinge'. Если все двоичные ученики являются моделями классификации ядра с помощью логистической регрессии, то BinaryLoss является 'quadratic'.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема декодирования, которая агрегирует двоичные потери, заданные как разделенная разделенными запятой парами, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Двоичные потери.

Пример: 'Decoding','lossbased'

Опции оценки, заданные как разделенная разделенными запятой парами, состоящая из 'Options' и массив структур, возвращенный statset.

Чтобы вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень подробностей, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, которые программное обеспечение отображений в Командном окне.

Если Verbose является 0тогда программа не отображает диагностические сообщения. В противном случае программа отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

Классификационные поля, возвращенные как числовой вектор. margin является вектором n -by-1, где каждая строка является полем соответствующего наблюдения и n является количеством наблюдений (size(CVMdl.Y,1)).

Подробнее о

свернуть все

Классификационное поле

Для каждого наблюдения classification margin является различием между отрицательной потерей для истинного класса и максимальной отрицательной потерей среди ложных классов. Если поля находятся в одной шкале, то они служат классификационной доверительной мерой. Среди нескольких классификаторов лучше те, которые дают большую маржу.

Двоичные потери

binary loss является функцией класса и классификационной оценки, которая определяет, насколько хорошо двоичный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) матрицы разработки кодирования M (то есть кода, соответствующего k классов двоичных j обучающегося).

  • sj - этот счет двоичных j учащихся для наблюдения.

  • g является функцией двоичных потерь.

  • k^ - предсказанный класс для наблюдения.

В loss-based decoding [Escalera et al.] класс, производящий минимальную сумму двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argminkj=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera et al.] класс, производящий минимальное среднее значение двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argminkj=1L|mkj|g(mkj,sj)j=1L|mkj|.

Allwein et al. предположим, что утраченное декодирование повышает точность классификации путем сохранения значений потерь для всех классов в одной динамической области значений.

В этой таблице приведены поддерживаемые функции потерь, где yj является меткой класса для конкретного двоичного обучающегося (в наборе {-1,1,0}), sj является счетом для j наблюдений и g (yj, sj).

ЗначениеОписаниеСчетg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

Программа нормализует двоичные потери таким образом, что потеря составляет 0,5 при yj = 0, и агрегирует, используя среднее значение двоичных учащихся [Allwein et al.].

Не путайте двоичные потери с общими классификационными потерями (заданными 'LossFun' Аргумент пары "имя-значение" из loss и predict функции объекта), который измеряет, насколько хорошо классификатор ECOC работает в целом.

Ссылки

[1] Allwein, E., R. Schapire, and Y. Singer. «Сокращение многоклассового числа до двоичного: Унифицирующий подход к маржинальным classifiers». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.

[2] Эскалера, С., О. Пужоль, и П. Радева. «О процессе декодирования в троичных выходных кодах с исправлением ошибок». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 32, Выпуск 7, 2010, стр. 120-134.

[3] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Pattern Recogn (Повторный вызов шаблона). Том 30, Выпуск 3, 2009, стр. 285-297.

Введенный в R2018b