Exponenta Banner

kfoldEdge

Классификационные ребра для перекрестно проверенной модели ECOC

Свернуть все на странице

Синтаксис

edge = kfoldEdge(CVMdl)
edge = kfoldEdge(CVMdl,Name,Value)

Описание

пример

edge = kfoldEdge(CVMdl) возвращает ребро классификации, полученное перекрестной проверенной моделью ECOC (ClassificationPartitionedECOC) CVMdl. Для каждой складки, kfoldEdge вычисляет ребро классификации для наблюдений с гибкой валидации, используя модель ECOC, обученную наблюдениям с гибкой обучения. CVMdl.X содержит оба набора наблюдений.

пример

edge = kfoldEdge(CVMdl,Name,Value) возвращает ребро классификации с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Для примера задайте количество складок, схему декодирования или уровень подробностей.

Примеры

свернуть все

Открыть Live Script

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Обучите и перекрестная проверка модели ECOC с помощью машины опорных векторов (SVM) двоичных классификаторов. Стандартизируйте данные предиктора с помощью шаблона SVM и укажите порядок классов.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'CrossVal','on','Learners',t,'ClassNames',classOrder);

CVMdl является ClassificationPartitionedECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию. Вы можете задать другое количество складок, используя 'KFold' аргумент пары "имя-значение".

Оцените среднее значение ребер.

edge = kfoldEdge(CVMdl)
edge = 0.4825

Кроме того, можно получить ребра в относительных единицах путем определения пары "имя-значение" 'Mode','individual' в kfoldEdge.

Открыть Live Script

Классификационное ребро является относительной мерой качества классификатора. Чтобы определить, какие складки выполняются плохо, отобразите ребра для каждой складки.

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM. Используйте 8-кратную перекрестную валидацию, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок классов.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'KFold',8,'Learners',t,'ClassNames',classOrder);

Оцените ребро классификации для каждого сгиба.

edges = kfoldEdge(CVMdl,'Mode','individual')
edges = 8×1

    0.4791
    0.4872
    0.4260
    0.5300
    0.5064
    0.4576
    0.4860
    0.4687

У ребер одинаковые величины по складкам. Складки, которые выполняют плохо, имеют небольшие ребра относительно других складок.

Чтобы вернуть среднее ребро классификации через складки, которые работают хорошо, задайте 'Folds' аргумент пары "имя-значение".

Открыть Live Script

Классификатор ребра измеряет среднее значение полей классификатора. Один из способов выполнения выбора признаков - сравнение ребер перекрестной валидации из нескольких моделей. Исходя исключительно из этого критерия, классификатор с наибольшим ребром является лучшим классификатором.

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Задайте следующие два набора данных.

  • fullX содержит все предикторы.

  • partX содержит размерности лепестка.

fullX = X;
partX = X(:,3:4);

Для каждого набора предикторов обучите и перекрестно проверьте модель ECOC с помощью двоичных классификаторов SVM. Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок классов.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(fullX,Y,'CrossVal','on','Learners',t,...
    'ClassNames',classOrder);
PCVMdl = fitcecoc(partX,Y,'CrossVal','on','Learners',t,...
    'ClassNames',classOrder);

CVMdl и PCVMdl являются ClassificationPartitionedECOC модели. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию.

Оцените ребро для каждого классификатора.

fullEdge = kfoldEdge(CVMdl)
fullEdge = 0.4825

partEdge = kfoldEdge(PCVMdl)
partEdge = 0.4951

Две модели имеют сопоставимые ребра.

Входные параметры

свернуть все

Перекрестная проверенная модель ECOC, заданная как ClassificationPartitionedECOC модель. Можно создать ClassificationPartitionedECOC моделировать двумя способами:

  • Передайте обученную модель ECOC (ClassificationECOCКому crossval.

  • Обучите модель ECOC с помощью fitcecoc и задайте любой из следующих аргументов пары "имя-значение" перекрестной проверки: 'CrossVal', 'CVPartition', 'Holdout', 'KFold', или 'Leaveout'.

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

Пример: kfoldEdge(CVMdl,'BinaryLoss','hinge') задает 'hinge' как двоичная функция потерь учащегося.

Двоичная функция потерь учащегося, заданная как разделенная разделенными запятой парами, состоящая из 'BinaryLoss' и встроенное имя функции потери или указатель на функцию.

  • Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного двоичного ученика (в наборе {-1,1,0}), sj является счетом для j наблюдений, а g (yj, sj) является формулой двоичных потерь.

    ЗначениеОписаниеСчетg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
    'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
    'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
    'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

    Программа нормализует двоичные потери так, чтобы потеря была 0,5 при yj = 0. Кроме того, программное обеспечение вычисляет средние двоичные потери для каждого класса.

  • Для пользовательской функции двоичных потерь, например customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет следующую форму:

    bLoss = customFunction(M,s)
    где:

    • M - K матрица кодирования L, сохраненная в Mdl.CodingMatrix.

    • s - вектор-строка L 1 байта классификационных баллов.

    • bLoss - классификационные потери. Этот скаляр агрегирует двоичные потери для каждого учащегося в конкретном классе. Для примера можно использовать среднее значение двоичных потерь для агрегирования потерь по учащимся для каждого класса.

    • K - количество классов.

    • L - это количество двоичных учащихся.

    Для примера передачи пользовательской функции двоичных потерь смотрите Предсказание меток теста-образца модели ECOC с помощью Пользовательской функции двоичных потерь.

Значение по умолчанию BinaryLoss значение зависит от областей значений счетов, возвращаемых двоичными учениками. Эта таблица описывает некоторые BinaryLoss по умолчанию значения, основанные на данных допущениях.

ПредположениеЗначение по умолчанию
Все двоичные ученики являются SVM или линейными или ядерными классификационными моделями учащихся SVM.'hinge'
Все двоичные ученики - это ансамбли, обученные AdaboostM1 или GentleBoost.'exponential'
Все двоичные ученики - это ансамбли, обученные LogitBoost.'binodeviance'
Все двоичные ученики являются линейными или ядерными классификационными моделями обучающихся логистической регрессии. Или вы задаете, чтобы предсказать апостериорные вероятности класса путем установки 'FitPosterior',true в fitcecoc.'quadratic'

Чтобы проверить значение по умолчанию, используйте запись через точку для отображения BinaryLoss свойство обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема декодирования, которая агрегирует двоичные потери, заданные как разделенная разделенными запятой парами, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Двоичные потери.

Пример: 'Decoding','lossbased'

Индексы сгиба для предсказания, заданные как разделенная разделенными запятой парами, состоящая из 'Folds' и числовой вектор положительных целых чисел. Элементы Folds должен находиться в области значений от 1 на CVMdl.KFold.

Программа использует только складки, указанные в Folds для предсказания.

Пример: 'Folds',[1 4 10]

Типы данных: single | double

Уровень агрегации для выхода, заданный как разделенная разделенными запятой парами, состоящая из 'Mode' и 'average' или 'individual'.

В этой таблице описываются значения.

ЗначениеОписание
'average'Выход является скаляром средним по всем складкам.
'individual'Выход является вектором длины k содержащим одно значение на складку, где k количество складок.

Пример: 'Mode','individual'

Опции оценки, заданные как разделенная разделенными запятой парами, состоящая из 'Options' и массив структур, возвращенный statset.

Чтобы вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень подробностей, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, которые программное обеспечение отображений в Командном окне.

Если Verbose является 0тогда программа не отображает диагностические сообщения. В противном случае программа отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

Классификационное ребро, возвращенный как числовой скаляр или числовой вектор-столбец.

Если Mode является 'average', затем edge - средняя классификация, ребро по всем складкам. В противном случае edge является k числовым вектором-1, содержащим ребро классификации для каждой складки, где k количество складок.

Подробнее о

свернуть все

Классификационное ребро

Это classification edge - средневзвешенное значение классификационных полей.

Один из способов выбрать один из нескольких классификаторов, например, для выбора признаков, - выбрать классификатор, который дает наибольшее ребро.

Классификационное поле

Для каждого наблюдения classification margin является различием между отрицательной потерей для истинного класса и максимальной отрицательной потерей среди ложных классов. Если поля находятся в одной шкале, то они служат классификационной доверительной мерой. Среди нескольких классификаторов лучше те, которые дают большую маржу.

Двоичные потери

binary loss является функцией класса и классификационной оценки, которая определяет, насколько хорошо двоичный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) матрицы разработки кодирования M (то есть кода, соответствующего k классов двоичных j обучающегося).

  • sj - этот счет двоичных j учащихся для наблюдения.

  • g является функцией двоичных потерь.

  • k^ - предсказанный класс для наблюдения.

В loss-based decoding [Escalera et al.] класс, производящий минимальную сумму двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argmink∑j=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera et al.] класс, производящий минимальное среднее значение двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argmink∑j=1L|mkj|g(mkj,sj)∑j=1L|mkj|.

Allwein et al. предположим, что утраченное декодирование повышает точность классификации путем сохранения значений потерь для всех классов в одной динамической области значений.

В этой таблице приведены поддерживаемые функции потерь, где yj является меткой класса для конкретного двоичного обучающегося (в наборе {-1,1,0}), sj является счетом для j наблюдений и g (yj, sj).

ЗначениеОписаниеСчетg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

Программа нормализует двоичные потери таким образом, что потеря составляет 0,5 при yj = 0, и агрегирует, используя среднее значение двоичных учащихся [Allwein et al.].

Не путайте двоичные потери с общими классификационными потерями (заданными 'LossFun' Аргумент пары "имя-значение" из loss и predict функции объекта), который измеряет, насколько хорошо классификатор ECOC работает в целом.

Ссылки

[1] Allwein, E., R. Schapire, and Y. Singer. «Сокращение многоклассового числа до двоичного: Унифицирующий подход к маржинальным classifiers». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.

[2] Эскалера, С., О. Пужоль, и П. Радева. «О процессе декодирования в троичных выходных кодах с исправлением ошибок». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 32, Выпуск 7, 2010, стр. 120-134.

[3] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Pattern Recogn (Повторный вызов шаблона). Том 30, Выпуск 3, 2009, стр. 285-297.

Расширенные возможности

См. также

| | | | | |

Темы

Введенный в R2014b

Statistics and Machine Learning Toolbox документация

Поддержка