kfoldLoss

Потеря классификации для перекрестной подтвержденной модели ECOC

Синтаксис

loss = kfoldLoss(CVMdl)

loss = kfoldLoss(CVMdl,Name,Value)

Описание

loss = kfoldLoss(CVMdl) возвращает потерю классификации, полученную перекрестной подтвержденной моделью ECOC (ClassificationPartitionedECOC) CVMdl. Для каждого сгиба, kfoldLoss вычисляет потерю классификации для наблюдений сгиба валидации с помощью модели, обученной на наблюдениях учебного сгиба. CVMdl.X содержит оба набора наблюдений.

пример

loss = kfoldLoss(CVMdl,Name,Value) возвращает потерю классификации с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Например, задайте количество сгибов, декодируя схему или уровень многословия.

Примеры

свернуть все

Определите Потерю Перекрестной проверки k-сгиба

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Обучите и перекрестный подтвердите модель ECOC с помощью двоичных классификаторов машины опорных векторов (SVM). Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'CrossVal','on','Learners',t,'ClassNames',classOrder);

CVMdl ClassificationPartitionedECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно задать различное количество сгибов с помощью 'KFold' аргумент пары "имя-значение".

Оцените среднюю ошибку классификации.

L = kfoldLoss(CVMdl)

L = 0.0400

Средняя ошибка классификации для сгибов составляет 4%.

В качестве альтернативы можно получить потери на сгиб путем определения пары "имя-значение" 'Mode','individual' в kfoldLoss.

Отобразите отдельные потери для каждого сгиба перекрестной проверки

Скрипт Open Live Script

Потеря классификации является мерой качества классификатора. Чтобы определить, который сгибы выполняют плохо, отобразите потери для каждого сгиба.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM. Используйте 8-кратную перекрестную проверку, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'KFold',8,'Learners',t,'ClassNames',classOrder);

Оцените среднюю потерю классификации через все сгибы и потери для каждого сгиба.

loss = kfoldLoss(CVMdl)

loss = 0.0333

losses = kfoldLoss(CVMdl,'Mode','individual')

losses = 8×1

    0.0556
    0.0526
    0.1579
         0
         0
         0
         0
         0

Третий сгиб неправильно классифицирует намного более высокий процент наблюдений, чем какой-либо другой сгиб.

Возвратите среднюю потерю классификации для сгибов, которые выполняют хорошо путем определения 'Folds' аргумент пары "имя-значение".

newloss = kfoldLoss(CVMdl,'Folds',[1:2 4:8])

newloss = 0.0153

Общая потеря классификации уменьшается приблизительно половиной ее первоначального размера.

Полагайте, что настраивающие параметры бинарных классификаторов или проекта кодирования видят, улучшается ли производительность для всех сгибов.

Определите качество модели ECOC Используя пользовательскую потерю перекрестной проверки

Скрипт Open Live Script

В дополнение к знанию, классифицирует ли модель обычно наблюдения правильно, можно определить, как хорошо модель классифицирует наблюдение в свой предсказанный класс. Один способ определить этот тип качества модели состоит в том, чтобы передать пользовательскую функцию потерь kfoldLoss.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y)  % Class order

classOrder = 3x1 categorical array
     setosa 
     versicolor 
     virginica

rng(1) % For reproducibility

Обучите и перекрестный подтвердите модель ECOC с помощью двоичных классификаторов SVM. Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'CrossVal','on','Learners',t,'ClassNames',classOrder);

Создайте пользовательскую функцию, которая терпит минимальные убытки для каждого наблюдения, затем составляет в среднем минимальные потери для всех наблюдений. S соответствует NegLoss выход kfoldPredict.

lossfun = @(~,S,~,~)mean(min(-S,[],2));

Вычислите перекрестную подтвержденную пользовательскую потерю.

kfoldLoss(CVMdl,'LossFun',lossfun)

ans = 0.0101

Средней минимальной бинарной потерей для наблюдений сгиба валидации является 0.0101.

Входные параметры

свернуть все

`CVMdl` — Перекрестная подтвержденная модель ECOC
`ClassificationPartitionedECOC` модель

Перекрестная подтвержденная модель ECOC, заданная как ClassificationPartitionedECOC модель. Можно создать ClassificationPartitionedECOC модель двумя способами:

Передайте обученную модель ECOC (ClassificationECOC) к crossval.
Обучите модель ECOC с помощью fitcecoc и задайте любой из этих аргументов пары "имя-значение" перекрестной проверки: 'CrossVal', 'CVPartition', 'Holdout', 'KFold', или 'Leaveout'.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: kfoldLoss(CVMdl,'Folds',[1 3 5]) задает, чтобы использовать только первые, третьи, и пятые сгибы, чтобы вычислить потерю классификации.

`'BinaryLoss'` — Бинарная функция потерь ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

Бинарная функция потерь ученика, заданная как разделенная запятой пара, состоящая из 'BinaryLoss' и встроенное имя функции потерь или указатель на функцию.

Эта таблица описывает встроенные функции, где _yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), _sj является счетом к наблюдению j, и g (_yj, _sj) является бинарной формулой потерь.

Значение	Описание	Область счета	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp _(–2yjsj)] / [2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp _(–yjsj)/2
`'hamming'`	Хэмминг	[0,1] или (– ∞, ∞)	[1 – знак (_yjsj)]/2
`'hinge'`	Стержень	(–∞,∞)	макс. (0,1 – _yjsj)/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(–yjsj)] / [2log (2)]
`'quadratic'`	Квадратичный	[0,1]	[1 – _yj (2_sj – 1)] ^2/2

Программное обеспечение нормирует бинарные потери так, чтобы потеря была 0.5 когда _yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

Для пользовательской бинарной функции потерь, например, customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.
customFunction имеет эту форму:
```
bLoss = customFunction(M,s)
```
где:
- M K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.
- s 1 L вектором-строкой из баллов классификации.
- bLoss потеря классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.
- K является количеством классов.
- L является количеством бинарных учеников.
Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

BinaryLoss по умолчанию значение зависит от областей значений счета, возвращенных бинарными учениками. Эта таблица описывает некоторый BinaryLoss по умолчанию значения на основе данных предположений.

Предположение	Значение по умолчанию
Все бинарные ученики являются SVMs или или линейный или модели классификации ядер учеников SVM.	`'hinge'`
Все бинарные ученики являются ансамблями, обученными `AdaboostM1` или `GentleBoost`.	`'exponential'`
Все бинарные ученики являются ансамблями, обученными `LogitBoost`.	`'binodeviance'`
Все бинарные ученики линейны или модели классификации ядер учеников логистической регрессии. Или, вы задаете, чтобы предсказать апостериорные вероятности класса установкой `'FitPosterior',true` в `fitcecoc`.	`'quadratic'`

Чтобы проверять значение по умолчанию, используйте запись через точку, чтобы отобразить BinaryLoss свойство обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

`'Decoding'` — Схема Decoding
`'lossweighted'` (значение по умолчанию) | `'lossbased'`

Схема Decoding, которая агрегировала бинарные потери, заданные как разделенная запятой пара, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

`'Folds'` — Сверните индексы для прогноза
`1:CVMdl.KFold` (значение по умолчанию) | числовой вектор положительных целых чисел

Сверните индексы для прогноза, заданного как разделенная запятой пара, состоящая из 'Folds' и числовой вектор положительных целых чисел. Элементы Folds должен быть в диапазоне от 1 к CVMdl.KFold.

Программное обеспечение использует только сгибы, заданные в Folds для прогноза.

Пример: 'Folds',[1 4 10]

Типы данных: single | double

`'LossFun'` — Функция потерь
`'classiferror'` (значение по умолчанию) | указатель на функцию

Функция потерь, заданная как разделенная запятой пара, состоящая из 'LossFun' и 'classiferror' или указатель на функцию.

Задайте встроенную функцию 'classiferror'. В этом случае функция потерь является ошибкой классификации.
Или, задайте свою собственную функцию с помощью обозначения указателя на функцию.
Примите, что n является количеством наблюдений в обучающих данных (CVMdl.NumObservations) и K является количеством классов (numel(CVMdl.ClassNames)). Для вашей функции нужна подпись lossvalue = lossfun(C, S, W, Стоимость), где:
- Выходной аргумент lossvalue скаляр.
- Вы задаете имя функции (lossfun).
- C n-by-K логическая матрица со строками, указывающими на класс, которому принадлежит соответствующее наблюдение. Порядок следования столбцов соответствует порядку класса в CVMdl.ClassNames.
  Создайте C установкой C(p,q) = 1 если наблюдение p находится в классе q, для каждой строки. Установите каждый элемент строки p к 0.
- S n-by-K числовая матрица отрицаемых значений потерь для классов. Каждая строка соответствует наблюдению. Порядок следования столбцов соответствует порядку класса в CVMdl.ClassNames. Вход S напоминает выходной аргумент NegLoss из kfoldPredict.
- W n-by-1 числовой вектор весов наблюдения. Если вы передаете W, программное обеспечение нормирует свои элементы, чтобы суммировать к 1.
- Cost K-by-K числовая матрица затрат misclassification. Например, Cost = ones(K) – eye(K) задает стоимость 0 для правильной классификации и 1 для misclassification.
Задайте свою функцию с помощью 'LossFun',@lossfun.

Типы данных: char | string | function_handle

`'Mode'` — Уровень агрегации для выхода
`'average'` (значение по умолчанию) | `'individual'`

Уровень агрегации для выхода, заданного как разделенная запятой пара, состоящая из 'Mode' и 'average' или 'individual'.

Эта таблица описывает значения.

Значение	Описание
`'average'`	Выход является скалярным средним значением по всем сгибам.
`'individual'`	Выход является вектором длины k, содержащий одно значение на сгиб, где k является количеством сгибов.

Пример: 'Mode','individual'

`'Options'` — Опции оценки
`[]` (значение по умолчанию) | массив структур, возвращенный `statset`

Опции оценки, заданные как разделенная запятой пара, состоящая из 'Options' и массив структур, возвращенный statset.

Вызвать параллельные вычисления:

Вам нужна лицензия Parallel Computing Toolbox™.
Задайте 'Options',statset('UseParallel',true).

`'Verbose'` — Уровень многословия
0 (значение по умолчанию) | `1`

Уровень многословия, заданный как разделенная запятой пара, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose 0, затем программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

`loss` — Потеря классификации
числовой скаляр | числовой вектор-столбец

Потеря классификации, возвращенная в виде числа или числового вектор-столбца.

Если Mode 'average', затем loss средняя потеря классификации по всем сгибам. В противном случае, loss k-by-1 числовой вектор-столбец, содержащий потерю классификации для каждого сгиба, где k является количеством сгибов.

Больше о

свернуть все

Ошибка классификации

classification error является бинарной ошибочной мерой по классификации, которая имеет форму

$L = \frac{\sum_{j = 1}^{n} w_{j} e_{j}}{\sum_{j = 1}^{n} w_{j}},$

где:

_wj является весом для наблюдения j. Программное обеспечение повторно нормирует веса, чтобы суммировать к 1.
_ej = 1, если предсказанный класс наблюдения j отличается от своего истинного класса, и 0 в противном случае.

Другими словами, ошибка классификации является пропорцией наблюдений, неправильно классифицированных классификатором.

Бинарная потеря

binary loss является функцией класса и счета классификации, который определяет, как хорошо бинарный ученик классифицирует наблюдение в класс.

Предположим следующее:

_mkj является элементом (k, j) проекта кодирования матричный M (то есть, код, соответствующий классу k бинарного ученика j).
_sj является счетом бинарного ученика j для наблюдения.
g является бинарной функцией потерь.
$\hat{k}$ предсказанный класс для наблюдения.

В loss-based decoding [Escalera и др.], класс, производящий минимальную сумму бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

$\hat{k} = \underset{k}{argmin} \sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j}) .$

В loss-weighted decoding [Escalera и др.], класс, производящий минимальное среднее значение бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

$\hat{k} = \underset{k}{argmin} \frac{\sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j})}{\sum_{j = 1}^{L} | m_{k j} |} .$

Allwein и др. предполагают, что взвешенное потерей декодирование улучшает точность классификации путем хранения значений потерь для всех классов в том же динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где _yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), _sj является счетом к наблюдению j и g (_yj, _sj).

Значение	Описание	Область счета	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp _(–2yjsj)] / [2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp _(–yjsj)/2
`'hamming'`	Хэмминг	[0,1] или (– ∞, ∞)	[1 – знак (_yjsj)]/2
`'hinge'`	Стержень	(–∞,∞)	макс. (0,1 – _yjsj)/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(–yjsj)] / [2log (2)]
`'quadratic'`	Квадратичный	[0,1]	[1 – _yj (2_sj – 1)] ^2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5, когда _yj = 0, и агрегировал использование среднего значения бинарных учеников [Allwein и др.].

Не путайте бинарную потерю с полной потерей классификации (заданный 'LossFun' аргумент пары "имя-значение" loss и predict возразите функциям), который измеряется, как хорошо классификатор ECOC выполняет в целом.

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classiﬁers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[3] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

Расширенные возможности

Автоматическая параллельная поддержка
Ускорьте код автоматически рабочим расчетом в параллели с помощью Parallel Computing Toolbox™.

Чтобы запуститься параллельно, установите 'UseParallel' опция к true.

Установите 'UseParallel' поле структуры опций к true использование statset и задайте 'Options' аргумент пары "имя-значение" в вызове этой функции.

Например: 'Options',statset('UseParallel',true)

Для получения дополнительной информации смотрите 'Options' аргумент пары "имя-значение".

Для более общей информации о параллельных вычислениях смотрите функции MATLAB Запуска с Автоматической Параллельной Поддержкой (Parallel Computing Toolbox).

Документация

kfoldLoss

Синтаксис

Описание

Примеры

Определите Потерю Перекрестной проверки k-сгиба

Отобразите отдельные потери для каждого сгиба перекрестной проверки

Определите качество модели ECOC Используя пользовательскую потерю перекрестной проверки

Входные параметры

`CVMdl` — Перекрестная подтвержденная модель ECOC
`ClassificationPartitionedECOC` модель

Аргументы в виде пар имя-значение

`'BinaryLoss'` — Бинарная функция потерь ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

`'Decoding'` — Схема Decoding
`'lossweighted'` (значение по умолчанию) | `'lossbased'`

`'Folds'` — Сверните индексы для прогноза
`1:CVMdl.KFold` (значение по умолчанию) | числовой вектор положительных целых чисел

`'LossFun'` — Функция потерь
`'classiferror'` (значение по умолчанию) | указатель на функцию

`'Mode'` — Уровень агрегации для выхода
`'average'` (значение по умолчанию) | `'individual'`

`'Options'` — Опции оценки
`[]` (значение по умолчанию) | массив структур, возвращенный `statset`

`'Verbose'` — Уровень многословия
0 (значение по умолчанию) | `1`

Выходные аргументы

`loss` — Потеря классификации
числовой скаляр | числовой вектор-столбец

Больше о

Ошибка классификации

Бинарная потеря

Ссылки

Расширенные возможности

Автоматическая параллельная поддержка
Ускорьте код автоматически рабочим расчетом в параллели с помощью Parallel Computing Toolbox™.

Смотрите также

Темы

Введенный в R2014b

Документация Statistics and Machine Learning Toolbox

Поддержка

Документация

kfoldLoss

Синтаксис

Описание

Примеры

Определите Потерю Перекрестной проверки k-сгиба

Отобразите отдельные потери для каждого сгиба перекрестной проверки

Определите качество модели ECOC Используя пользовательскую потерю перекрестной проверки

Входные параметры

CVMdl — Перекрестная подтвержденная модель ECOC ClassificationPartitionedECOC модель

Аргументы в виде пар имя-значение

'BinaryLoss' — Бинарная функция потерь ученика 'hamming' | 'linear' | 'logit' | 'exponential' | 'binodeviance' | 'hinge' | 'quadratic' | указатель на функцию

'Decoding' — Схема Decoding 'lossweighted' (значение по умолчанию) | 'lossbased'

'Folds' — Сверните индексы для прогноза 1:CVMdl.KFold (значение по умолчанию) | числовой вектор положительных целых чисел

'LossFun' — Функция потерь 'classiferror' (значение по умолчанию) | указатель на функцию

'Mode' — Уровень агрегации для выхода 'average' (значение по умолчанию) | 'individual'

'Options' — Опции оценки [] (значение по умолчанию) | массив структур, возвращенный statset

'Verbose' — Уровень многословия0 (значение по умолчанию) | 1

Выходные аргументы

loss — Потеря классификации числовой скаляр | числовой вектор-столбец

Больше о

Ошибка классификации

Бинарная потеря

Ссылки

Расширенные возможности

Автоматическая параллельная поддержка Ускорьте код автоматически рабочим расчетом в параллели с помощью Parallel Computing Toolbox™.

Смотрите также

Темы

Введенный в R2014b

Документация Statistics and Machine Learning Toolbox

Поддержка

`CVMdl` — Перекрестная подтвержденная модель ECOC
`ClassificationPartitionedECOC` модель

`'BinaryLoss'` — Бинарная функция потерь ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

`'Decoding'` — Схема Decoding
`'lossweighted'` (значение по умолчанию) | `'lossbased'`

`'Folds'` — Сверните индексы для прогноза
`1:CVMdl.KFold` (значение по умолчанию) | числовой вектор положительных целых чисел

`'LossFun'` — Функция потерь
`'classiferror'` (значение по умолчанию) | указатель на функцию

`'Mode'` — Уровень агрегации для выхода
`'average'` (значение по умолчанию) | `'individual'`

`'Options'` — Опции оценки
`[]` (значение по умолчанию) | массив структур, возвращенный `statset`

`'Verbose'` — Уровень многословия
0 (значение по умолчанию) | `1`

`loss` — Потеря классификации
числовой скаляр | числовой вектор-столбец

Автоматическая параллельная поддержка
Ускорьте код автоматически рабочим расчетом в параллели с помощью Parallel Computing Toolbox™.