kfoldLoss

Потеря классификации для перекрестно проверенной модели ECOC

Синтаксис

loss = kfoldLoss (CVMdl)

loss = kfoldLoss (CVMdl, имя, значение)

Описание

loss = kfoldLoss(CVMdl) возвращает потери классификации, полученные с помощью перекрестно проверенной модели ECOC (ClassificationPartitionedECOC) CVMdl. Для каждого раза, kfoldLoss вычисляет потерю классификации для проверочных наблюдений с использованием модели, обученной тренировочным наблюдениям. CVMdl.X содержит оба набора наблюдений.

пример

loss = kfoldLoss(CVMdl,Name,Value) возвращает потерю классификации с дополнительными опциями, заданными одним или несколькими аргументами пары имя-значение. Например, укажите количество складок, схему декодирования или уровень детализации.

Примеры

свернуть все

Определение k-кратной потери при перекрестной проверке

Открыть сценарий в реальном времени

Загрузите набор данных радужки Фишера. Укажите данные предиктора X, данные ответа Yи порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Подготовка и перекрестная проверка модели ECOC с использованием двоичных классификаторов вспомогательных векторных машин (SVM). Стандартизируйте предикторы с помощью шаблона SVM и укажите порядок классов.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'CrossVal','on','Learners',t,'ClassNames',classOrder);

CVMdl является ClassificationPartitionedECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно указать другое количество сгибов с помощью 'KFold' аргумент пары имя-значение.

Оцените среднюю ошибку классификации.

L = kfoldLoss(CVMdl)

L = 0.0400

Средняя ошибка классификации для складок составляет 4%.

Кроме того, можно получить кратные потери, указав пару имя-значение. 'Mode','individual' в kfoldLoss.

Отображение отдельных потерь для каждой гибки перекрестной проверки

Открыть сценарий в реальном времени

Потеря классификации является мерой качества классификатора. Чтобы определить, какие складки работают плохо, просмотрите потери для каждой складки.

Загрузите набор данных радужки Фишера. Укажите данные предиктора X, данные ответа Yи порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Обучение модели ECOC с использованием двоичных классификаторов SVM. Используйте 8-кратную перекрестную проверку, стандартизируйте предикторы с помощью шаблона SVM и укажите порядок классов.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'KFold',8,'Learners',t,'ClassNames',classOrder);

Оцените среднюю классификационную потерю по всем складкам и потери для каждой складки.

loss = kfoldLoss(CVMdl)

loss = 0.0333

losses = kfoldLoss(CVMdl,'Mode','individual')

losses = 8×1

    0.0556
    0.0526
    0.1579
         0
         0
         0
         0
         0

Третий раз неправильно классифицирует гораздо больший процент наблюдений, чем любой другой раз.

Возвращает среднюю потерю классификации для складок, которые работают хорошо, указав 'Folds' аргумент пары имя-значение.

newloss = kfoldLoss(CVMdl,'Folds',[1:2 4:8])

newloss = 0.0153

Общая потеря классификации уменьшается приблизительно вдвое по сравнению с первоначальным размером.

Рассмотрите возможность настройки параметров двоичных классификаторов или схемы кодирования, чтобы убедиться в повышении производительности для всех складок.

Определение качества модели ECOC с помощью пользовательских потерь при перекрестной проверке

Открыть сценарий в реальном времени

Помимо того, что модель обычно правильно классифицирует наблюдения, можно определить, насколько хорошо модель классифицирует наблюдения в свой прогнозируемый класс. Одним из способов определения этого типа качества модели является передача пользовательской функции потерь kfoldLoss.

Загрузите набор данных радужки Фишера. Укажите данные предиктора X, данные ответа Yи порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y)  % Class order

classOrder = 3x1 categorical
     setosa 
     versicolor 
     virginica

rng(1) % For reproducibility

Подготовка и перекрестная проверка модели ECOC с использованием двоичных классификаторов SVM. Стандартизируйте предикторы с помощью шаблона SVM и укажите порядок классов.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'CrossVal','on','Learners',t,'ClassNames',classOrder);

Создайте пользовательскую функцию, которая принимает минимальные потери для каждого наблюдения, а затем усредняет минимальные потери для всех наблюдений. S соответствует NegLoss вывод kfoldPredict.

lossfun = @(~,S,~,~)mean(min(-S,[],2));

Вычислите настраиваемую потерю, прошедшую перекрестную проверку.

kfoldLoss(CVMdl,'LossFun',lossfun)

ans = 0.0101

Средняя минимальная двоичная потеря для проверочных наблюдений составляет 0.0101.

Входные аргументы

свернуть все

`CVMdl` - Перекрестная проверка модели ECOC
`ClassificationPartitionedECOC` модель

Модель ECOC с перекрестной проверкой, указанная как ClassificationPartitionedECOC модель. Можно создать ClassificationPartitionedECOC модель двумя способами:

Пройти обученную модель ECOC (ClassificationECOCКому crossval.
Обучение модели ECOC с помощью fitcecoc и укажите любой из этих аргументов пары имя-значение перекрестной проверки: 'CrossVal', 'CVPartition', 'Holdout', 'KFold', или 'Leaveout'.

Аргументы пары «имя-значение»

Укажите дополнительные пары, разделенные запятыми Name,Value аргументы. Name является именем аргумента и Value - соответствующее значение. Name должен отображаться внутри кавычек. Можно указать несколько аргументов пары имен и значений в любом порядке как Name1,Value1,...,NameN,ValueN.

Пример: kfoldLoss(CVMdl,'Folds',[1 3 5]) указывает использовать только первый, третий и пятый сгибы для вычисления потери классификации.

`'BinaryLoss'` - Двоичная функция потери ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | дескриптор функции

Двоичная функция потери ученика, заданная как разделенная запятыми пара, состоящая из 'BinaryLoss' и встроенное имя или дескриптор функции потери.

В этой таблице описываются встроенные функции, где _yj - метка класса для конкретного двоичного ученика (в наборе {-1,1,0}), _sj - оценка для наблюдения j, а g (_yj, sj) - формула двоичных потерь.

Стоимость	Описание	Домен оценки	g (_yj, sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp (-_2yjsj) ]/[ 2log (2)]
`'exponential'`	Показательный	(–∞,∞)	exp (-_yjsj )/2
`'hamming'`	Хэмминг	[0,1] или (- ∞,∞)	[1 - знак (_yjsj) ]/2
`'hinge'`	Стержень	(–∞,∞)	max (0,1 - _yjsj )/2
`'linear'`	Линейный	(–∞,∞)	(1 - _yjsj )/2
`'logit'`	Логистический	(–∞,∞)	log [1 + exp (_-_yjsj) ]/[ 2log (2)]
`'quadratic'`	Квадратный	[0,1]	[1-yj (_2sj-1)] 2/2

Программное обеспечение нормализует двоичные потери так, чтобы потери были 0,5, когда _yj = 0. Кроме того, программное обеспечение вычисляет средние двоичные потери для каждого класса.

Например, для пользовательской двоичной функции потери customFunction, укажите его функциональный дескриптор 'BinaryLoss',@customFunction.
customFunction имеет следующую форму:
```
bLoss = customFunction(M,s)
```
где:
- M - матрица кодирования K-by-L, сохраненная в Mdl.CodingMatrix.
- s - вектор 1-by-L строк классификационных баллов.
- bLoss - потеря классификации. Этот скаляр агрегирует двоичные потери для каждого учащегося в конкретном классе. Например, можно использовать среднюю двоичную потерю для суммирования потерь по учащимся для каждого класса.
- K - количество классов.
- L - количество двоичных учеников.
Пример передачи пользовательской двоичной функции потери см. в разделе Прогнозирование меток тестовой выборки модели ECOC с использованием пользовательской двоичной функции потери.

Дефолт BinaryLoss значение зависит от диапазонов баллов, возвращаемых двоичными учениками. В этой таблице описаны некоторые значения по умолчанию BinaryLoss значения, основанные на данных допущениях.

Предположение	Значение по умолчанию
Все двоичные ученики являются SVM или линейными или классификационными моделями SVM.	`'hinge'`
Все бинарные учащиеся являются ансамблями, обученными `AdaboostM1` или `GentleBoost`.	`'exponential'`
Все бинарные учащиеся являются ансамблями, обученными `LogitBoost`.	`'binodeviance'`
Все двоичные ученики являются линейными или классификационными моделями ядра учащихся логистической регрессии. Или вы указываете, чтобы предсказать апостериорные вероятности класса путем установки `'FitPosterior',true` в `fitcecoc`.	`'quadratic'`

Чтобы проверить значение по умолчанию, используйте точечную нотацию для отображения BinaryLoss свойство обучаемой модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

`'Decoding'` - Схема декодирования
`'lossweighted'` (по умолчанию) | `'lossbased'`

Схема декодирования, которая агрегирует двоичные потери, заданная как разделенная запятыми пара, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Дополнительные сведения см. в разделе Потери двоичного кода.

Пример: 'Decoding','lossbased'

`'Folds'` - Кратные индексы для прогнозирования
`1:CVMdl.KFold` (по умолчанию) | числовой вектор положительных целых чисел

Индексы складки для прогнозирования, указанные как пара, разделенная запятыми, состоящая из 'Folds' и числовой вектор положительных целых чисел. Элементы Folds должно находиться в диапазоне от 1 кому CVMdl.KFold.

Программное обеспечение использует только складки, указанные в Folds для прогнозирования.

Пример: 'Folds',[1 4 10]

Типы данных: single | double

`'LossFun'` - Функция потерь
`'classiferror'` (по умолчанию) | дескриптор функции

Функция потерь, заданная как разделенная запятыми пара, состоящая из 'LossFun' и 'classiferror' или дескриптор функции.

Укажите встроенную функцию 'classiferror'. В этом случае функцией потерь является ошибка классификации.
Или укажите собственную функцию с помощью нотации дескриптора функции.
Предположим, что n - это количество наблюдений в данных обучения (CVMdl.NumObservations) и K - количество классов (numel(CVMdl.ClassNames)). Вашей функции нужна подпись lossvalue = lossfun(C,S,W,Cost), где:
- Выходной аргумент lossvalue является скаляром.
- Указывается имя функции (lossfun).
- C - логическая матрица n-by-K со строками, указывающими класс, которому принадлежит соответствующее наблюдение. Порядок столбцов соответствует порядку классов в CVMdl.ClassNames.
  Конструкция C путем установки C(p,q) = 1 если наблюдение p находится в классе q, для каждой строки. Задать каждый элемент строки p кому 0.
- S - числовая матрица n-by-K отрицаемых значений потерь для классов. Каждая строка соответствует наблюдению. Порядок столбцов соответствует порядку классов в CVMdl.ClassNames. Вход S напоминает выходной аргумент NegLoss из kfoldPredict.
- W является n-на-1 числовым вектором весов наблюдения. Если вы проходите W, программное обеспечение нормализует свои элементы для суммирования 1.
- Cost является цифровой матрицей K-by-K затрат на неправильную классификацию. Например, Cost = ones(K) – eye(K) указывает стоимость 0 для правильной классификации и 1 для неправильной классификации.
Укажите свою функцию с помощью 'LossFun',@lossfun.

Типы данных: char | string | function_handle

`'Mode'` - Уровень агрегации для вывода
`'average'` (по умолчанию) | `'individual'`

Уровень агрегации для вывода, указанный как пара, разделенная запятыми, состоящая из 'Mode' и 'average' или 'individual'.

В этой таблице описываются значения.

Стоимость	Описание
`'average'`	Вывод является скалярным средним по всем складкам.
`'individual'`	Выходной сигнал представляет собой вектор длины k, содержащий одно значение на единицу, где k - количество сгибов.

Пример: 'Mode','individual'

`'Options'` - Варианты оценки
`[]` (по умолчанию) | массив структуры, возвращенный `statset`

Опции оценки, указанные как пара, разделенная запятыми, состоящая из 'Options' и массив структуры, возвращенный statset.

Для вызова параллельных вычислений:

Вам нужна лицензия Parallel Computing Toolbox™.
Определить 'Options',statset('UseParallel',true).

`'Verbose'` - Уровень детализации
`0` (по умолчанию) | `1`

Уровень детализации, указанный как разделенная запятыми пара, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, отображаемых программой в окне команд.

Если Verbose является 0, то программное обеспечение не отображает диагностические сообщения. В противном случае программа отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

`loss` - классификационные потери;
числовой скаляр | числовой вектор столбца

Потеря классификации, возвращаемая в виде числового скалярного или числового вектора столбца.

Если Mode является 'average', то loss - средняя потеря классификации по всем складкам. В противном случае loss - вектор числового столбца k-by-1, содержащий классификационные потери для каждой складки, где k - количество складок.

Подробнее

свернуть все

Ошибка классификации

Ошибка классификации - это двоичная мера ошибки классификации, имеющая вид

$\frac{_{}^{}_{}_{}}{_{}^{}_{L=∑j=1nwjej∑j=1nwj}},$

где:

_wj - вес для наблюдения j. Программа перенормирует весовые коэффициенты до 1.
_ej = 1, если прогнозируемый класс наблюдения j отличается от своего истинного класса, и 0 в противном случае.

Другими словами, ошибка классификации - это доля наблюдений, неправильно классифицированных классификатором.

Двоичные потери

Двоичная потеря - это функция класса и оценки классификации, которая определяет, насколько хорошо двоичный ученик классифицирует наблюдение в классе.

Предположим, что:

_mkj - элемент (k, j) матрицы M дизайна кодирования (то есть код, соответствующий классу k двоичного учащегося j).
_sj - оценка двоичного ученика j для наблюдения.
g - функция двоичных потерь.
$\overset{}{k}$ ^ - прогнозируемый класс для наблюдения.

При декодировании на основе потерь [Escalera et al.] класс, производящий минимальную сумму двоичных потерь над двоичными учениками, определяет прогнозируемый класс наблюдения, то есть

$\overset{}{} \underset{}{}_{}^{}_{} k^=argmink∑j=1L'mkj'g (_{} mkj,_{} sj$ ).

При декодировании со взвешенными потерями [Escalera et al.] класс, производящий минимальное среднее двоичных потерь по двоичным ученикам, определяет прогнозируемый класс наблюдения, то есть

$\overset{}{} \underset{}{} \frac{_{}^{}_{} k^=argmink∑j=1L'mkj'g (_{} mkj,_{}}{{sj}_{)}^{}_{}}$ ∑j=1L'mkj|.

Allwein et al. предполагают, что взвешенное по потерям декодирование улучшает точность классификации, сохраняя значения потерь для всех классов в одном динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где _yj - метка класса для конкретного двоичного ученика (в наборе {-1,1,0}), _sj - оценка для наблюдения j, и g (_yj, sj).

Стоимость	Описание	Домен оценки	g (_yj, sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp (-_2yjsj) ]/[ 2log (2)]
`'exponential'`	Показательный	(–∞,∞)	exp (-_yjsj )/2
`'hamming'`	Хэмминг	[0,1] или (- ∞,∞)	[1 - знак (_yjsj) ]/2
`'hinge'`	Стержень	(–∞,∞)	max (0,1 - _yjsj )/2
`'linear'`	Линейный	(–∞,∞)	(1 - _yjsj )/2
`'logit'`	Логистический	(–∞,∞)	log [1 + exp (_-_yjsj) ]/[ 2log (2)]
`'quadratic'`	Квадратный	[0,1]	[1-yj (_2sj-1)] 2/2

Программное обеспечение нормализует двоичные потери так, что потери составляют 0,5, когда _yj = 0, и агрегирует, используя среднее значение двоичных учеников [Allwein et al.].

Не путайте бинарную потерю с общей классификационной потерей (указанной 'LossFun' аргумент пары имя-значение loss и predict объектные функции), который измеряет, насколько хорошо классификатор ECOC работает в целом.

Ссылки

[1] Allwein, E., R. Schapire и Y. Singer. «Сокращение мультиклассов до двоичных: унифицирующий подход к classiﬁers маржи». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.

[2] Эскалера, С., О. Пужоль и П. Радева. «Процесс декодирования в выходных кодах с тройной коррекцией ошибок». Транзакции IEEE по анализу шаблонов и машинному интеллекту. Том 32, выпуск 7, 2010, стр. 120-134.

[3] Эскалера, С., О. Пужоль и П. Радева. «Разделяемость троичных кодов для разреженных конструкций выходных кодов с исправлением ошибок». Повторная запись шаблона. Том 30, выпуск 3, 2009, стр. 285-297.

Расширенные возможности

Автоматическая параллельная поддержка
Ускорение кода за счет автоматического параллельного выполнения вычислений с помощью Parallel Computing Toolbox™.

Для параллельного выполнения укажите 'Options' аргумент name-value в вызове этой функции и установка 'UseParallel' поле структуры опций для true использование statset.

Например: 'Options',statset('UseParallel',true)

Дополнительные сведения о параллельных вычислениях см. в разделе Запуск функций MATLAB с автоматической параллельной поддержкой (панель инструментов параллельных вычислений).

См. также

Темы

Представлен в R2014b

Документация

kfoldLoss

Синтаксис

Описание

Примеры

Определение k-кратной потери при перекрестной проверке

Отображение отдельных потерь для каждой гибки перекрестной проверки

Определение качества модели ECOC с помощью пользовательских потерь при перекрестной проверке

Входные аргументы

`CVMdl` - Перекрестная проверка модели ECOC
`ClassificationPartitionedECOC` модель

Аргументы пары «имя-значение»

`'BinaryLoss'` - Двоичная функция потери ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | дескриптор функции

`'Decoding'` - Схема декодирования
`'lossweighted'` (по умолчанию) | `'lossbased'`

`'Folds'` - Кратные индексы для прогнозирования
`1:CVMdl.KFold` (по умолчанию) | числовой вектор положительных целых чисел

`'LossFun'` - Функция потерь
`'classiferror'` (по умолчанию) | дескриптор функции

`'Mode'` - Уровень агрегации для вывода
`'average'` (по умолчанию) | `'individual'`

`'Options'` - Варианты оценки
`[]` (по умолчанию) | массив структуры, возвращенный `statset`

`'Verbose'` - Уровень детализации
`0` (по умолчанию) | `1`

Выходные аргументы

`loss` - классификационные потери;
числовой скаляр | числовой вектор столбца

Подробнее

Ошибка классификации

Двоичные потери

Ссылки

Расширенные возможности

Автоматическая параллельная поддержка
Ускорение кода за счет автоматического параллельного выполнения вычислений с помощью Parallel Computing Toolbox™.

См. также

Темы

Документация по инструментам для статистического и машинного обучения

Поддержка

Документация

kfoldLoss

Синтаксис

Описание

Примеры

Определение k-кратной потери при перекрестной проверке

Отображение отдельных потерь для каждой гибки перекрестной проверки

Определение качества модели ECOC с помощью пользовательских потерь при перекрестной проверке

Входные аргументы

CVMdl - Перекрестная проверка модели ECOC ClassificationPartitionedECOC модель

Аргументы пары «имя-значение»

'BinaryLoss' - Двоичная функция потери ученика 'hamming' | 'linear' | 'logit' | 'exponential' | 'binodeviance' | 'hinge' | 'quadratic' | дескриптор функции

'Decoding' - Схема декодирования 'lossweighted' (по умолчанию) | 'lossbased'

'Folds' - Кратные индексы для прогнозирования 1:CVMdl.KFold (по умолчанию) | числовой вектор положительных целых чисел

'LossFun' - Функция потерь 'classiferror' (по умолчанию) | дескриптор функции

'Mode' - Уровень агрегации для вывода 'average' (по умолчанию) | 'individual'

'Options' - Варианты оценки [] (по умолчанию) | массив структуры, возвращенный statset

'Verbose' - Уровень детализации 0 (по умолчанию) | 1

Выходные аргументы

loss - классификационные потери; числовой скаляр | числовой вектор столбца

Подробнее

Ошибка классификации

Двоичные потери

Ссылки

Расширенные возможности

Автоматическая параллельная поддержка Ускорение кода за счет автоматического параллельного выполнения вычислений с помощью Parallel Computing Toolbox™.

См. также

Темы

Документация по инструментам для статистического и машинного обучения

Поддержка

`CVMdl` - Перекрестная проверка модели ECOC
`ClassificationPartitionedECOC` модель

`'BinaryLoss'` - Двоичная функция потери ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | дескриптор функции

`'Decoding'` - Схема декодирования
`'lossweighted'` (по умолчанию) | `'lossbased'`

`'Folds'` - Кратные индексы для прогнозирования
`1:CVMdl.KFold` (по умолчанию) | числовой вектор положительных целых чисел

`'LossFun'` - Функция потерь
`'classiferror'` (по умолчанию) | дескриптор функции

`'Mode'` - Уровень агрегации для вывода
`'average'` (по умолчанию) | `'individual'`

`'Options'` - Варианты оценки
`[]` (по умолчанию) | массив структуры, возвращенный `statset`

`'Verbose'` - Уровень детализации
`0` (по умолчанию) | `1`

`loss` - классификационные потери;
числовой скаляр | числовой вектор столбца

Автоматическая параллельная поддержка
Ускорение кода за счет автоматического параллельного выполнения вычислений с помощью Parallel Computing Toolbox™.