Классификационные потери для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC)
L = loss(Mdl,tbl,ResponseVarName)L), скаляр, представляющий как хорошо обученная многоклассовая модель выходных кодов с коррекцией ошибок (ECOC) Mdl классифицирует данные предиктора в tbl по сравнению с истинными метками классов в tbl.ResponseVarName. По умолчанию, loss использует ошибку классификации для вычисления L.
L = loss(___,Name,Value)
Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.
load fisheriris X = meas; Y = categorical(species); classOrder = unique(Y); % Class order rng(1); % For reproducibility
Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 15% -ную выборку, стандартизируйте предикторы с помощью шаблона SVM и укажите порядок классов.
t = templateSVM('Standardize',true); PMdl = fitcecoc(X,Y,'Holdout',0.15,'Learners',t,'ClassNames',classOrder); Mdl = PMdl.Trained{1}; % Extract trained, compact classifier
PMdl является ClassificationPartitionedECOC модель. Он имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC Модель, что программное обеспечение обучалось с использованием набора обучающих данных.
Оцените ошибку классификации тестовой выборки, которая является потерями классификации по умолчанию.
testInds = test(PMdl.Partition); % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
L = loss(Mdl,XTest,YTest)L = 0
Модель ECOC правильно классифицирует все ирисы в тестовой выборке.
Определите качество модели ECOC с помощью пользовательской функции потерь, которая учитывает минимальные двоичные потери для каждого наблюдения.
Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.
load fisheriris X = meas; Y = categorical(species); classOrder = unique(Y); % Class order rng(1) % For reproducibility
Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 15% -ную выборку, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок классов.
t = templateSVM('Standardize',true); PMdl = fitcecoc(X,Y,'Holdout',0.15,'Learners',t,'ClassNames',classOrder); Mdl = PMdl.Trained{1}; % Extract trained, compact classifier
PMdl является ClassificationPartitionedECOC модель. Он имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC Модель, что программное обеспечение обучалось с использованием набора обучающих данных.
Создайте функцию, которая принимает минимальные потери для каждого наблюдения, затем усредняет минимальные потери для всех наблюдений. S соответствует NegLoss выход predict.
lossfun = @(~,S,~,~)mean(min(-S,[],2));
Вычислите пользовательские потери тестовой выборки.
testInds = test(PMdl.Partition); % Extract the test indices XTest = X(testInds,:); YTest = Y(testInds,:); loss(Mdl,XTest,YTest,'LossFun',lossfun)
ans = 0.0033
Средние минимальные двоичные потери для наблюдений тестовой выборки 0.0033.
Mdl - Полная или компактная многоклассовая модель ECOCClassificationECOC объект модели | CompactClassificationECOC объект моделиПолная или компактная многоклассовая модель ECOC, заданная как ClassificationECOC или CompactClassificationECOC объект модели.
Чтобы создать полную или компактную модель ECOC, смотрите ClassificationECOC или CompactClassificationECOC.
tbl - Выборочные данныеВыборочные данные, заданный как таблица. Каждая строка tbl соответствует одному наблюдению, и каждый столбец соответствует одной переменной предиктора. Опционально tbl может содержать дополнительные столбцы для переменной отклика и весов наблюдений. tbl должны содержать все предикторы, используемые для обучения Mdl. Многополюсные переменные и массивы ячеек, отличные от массивов ячеек векторов символов, не разрешены.
Если вы обучаете Mdl использование выборочных данных, содержащихся в table, затем входные данные для loss также должно быть в таблице.
При обучении Mdl, предположим, что вы 'Standardize',true для объекта шаблона, заданного в 'Learners' Аргумент пары "имя-значение" из fitcecoc. В этом случае для соответствующего двоичного обучающегося jпрограммное обеспечение стандартизирует столбцы новых данных предиктора с помощью соответствующих средств в Mdl.BinaryLearner{j}.Mu и стандартные отклонения в Mdl.BinaryLearner{j}.Sigma.
Типы данных: table
ResponseVarName - Имя переменной откликаtblИмя переменной отклика, заданное как имя переменной в tbl. Если tbl содержит переменную отклика, используемую для обучения Mdl, тогда вам не нужно указывать ResponseVarName.
Если вы задаете ResponseVarName, тогда вы должны сделать это как вектор символов или строковый скаляр. Для примера, если переменная отклика сохранена как tbl.y, затем задайте ResponseVarName как 'y'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.y, как предикторы.
Переменная отклика должна быть категориальными символьными или строковыми массивами, логическим или числовым вектором или массивом ячеек из векторов символов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.
Типы данных: char | string
X - Данные предиктораДанные предиктора, заданные как числовая матрица.
Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной. Переменные в столбцах X должны совпадать с переменными, которые обучили классификатор Mdl.
Количество строк в X должно равняться количеству строк в Y.
При обучении Mdl, предположим, что вы 'Standardize',true для объекта шаблона, заданного в 'Learners' Аргумент пары "имя-значение" из fitcecoc. В этом случае для соответствующего двоичного обучающегося jпрограммное обеспечение стандартизирует столбцы новых данных предиктора с помощью соответствующих средств в Mdl.BinaryLearner{j}.Mu и стандартные отклонения в Mdl.BinaryLearner{j}.Sigma.
Типы данных: double | single
Y - Метки классовМетки класса, заданные как категориальные символьные или строковые массивы, логический или числовой вектор или массив ячеек из векторов символов. Y должны иметь тот совпадающий тип данных, что и Mdl.ClassNames. (Программа обрабатывает массивы строк как массивы ячеек векторов символов.)
Количество строк в Y должно равняться количеству строк в tbl или X.
Типы данных: categorical | char | string | logical | single | double | cell
Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.
loss(Mdl,X,Y,'BinaryLoss','hinge','LossFun',@lossfun) задает 'hinge' как двоичную функцию потерь у обучающегося и пользовательский указатель на функцию @lossfun как функция общих потерь.'BinaryLoss' - Бинарная функция потерь для учащихся'hamming' | 'linear' | 'logit' | 'exponential' | 'binodeviance' | 'hinge' | 'quadratic' | указатель на функциюДвоичная функция потерь учащегося, заданная как разделенная разделенными запятой парами, состоящая из 'BinaryLoss' и встроенное имя функции потери или указатель на функцию.
Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного двоичного ученика (в наборе {-1,1,0}), sj является счетом для j наблюдений, а g (yj, sj) является формулой двоичных потерь.
| Значение | Описание | Счет | g (yj, sj) |
|---|---|---|---|
'binodeviance' | Биномиальное отклонение | (–∞,∞) | log [1 + exp (-2 yjsj) ]/[ 2log (2)] |
'exponential' | Экспоненциал | (–∞,∞) | exp (- yjsj )/2 |
'hamming' | Хэмминг | [0,1] или (- ∞, ∞) | [1 - знак (yjsj) ]/2 |
'hinge' | Стержень | (–∞,∞) | макс (0,1 - yjsj )/2 |
'linear' | Линейный | (–∞,∞) | (1 – yjsj)/2 |
'logit' | Логистический | (–∞,∞) | журнал [1 + exp (- yjsj) ]/[ 2log (2)] |
'quadratic' | Квадратный | [0,1] | [1 – yj (2 sj – 1)]2/2 |
Программа нормализует двоичные потери так, чтобы потеря была 0,5 при yj = 0. Кроме того, программное обеспечение вычисляет средние двоичные потери для каждого класса.
Для пользовательской функции двоичных потерь, например customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.
customFunction имеет следующую форму:
bLoss = customFunction(M,s)
M - K матрица кодирования L, сохраненная в Mdl.CodingMatrix.
s - вектор-строка L 1 байта классификационных баллов.
bLoss - классификационные потери. Этот скаляр агрегирует двоичные потери для каждого учащегося в конкретном классе. Для примера можно использовать среднее значение двоичных потерь для агрегирования потерь по учащимся для каждого класса.
K - количество классов.
L - это количество двоичных учащихся.
Для примера передачи пользовательской функции двоичных потерь смотрите Предсказание меток теста-образца модели ECOC с помощью Пользовательской функции двоичных потерь.
Значение по умолчанию BinaryLoss значение зависит от областей значений счетов, возвращаемых двоичными учениками. Эта таблица описывает некоторые BinaryLoss по умолчанию значения, основанные на данных допущениях.
| Предположение | Значение по умолчанию |
|---|---|
| Все двоичные ученики являются SVM или линейными или ядерными классификационными моделями учащихся SVM. | 'hinge' |
Все двоичные ученики - это ансамбли, обученные AdaboostM1 или GentleBoost. | 'exponential' |
Все двоичные ученики - это ансамбли, обученные LogitBoost. | 'binodeviance' |
Все двоичные ученики являются линейными или ядерными классификационными моделями обучающихся логистической регрессии. Или вы задаете, чтобы предсказать апостериорные вероятности класса путем установки 'FitPosterior',true в fitcecoc. | 'quadratic' |
Чтобы проверить значение по умолчанию, используйте запись через точку для отображения BinaryLoss свойство обученной модели в командной строке.
Пример: 'BinaryLoss','binodeviance'
Типы данных: char | string | function_handle
'Decoding' - Схема декодирования'lossweighted' (по умолчанию) | 'lossbased'Схема декодирования, которая агрегирует двоичные потери, заданные как разделенная разделенными запятой парами, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Двоичные потери.
Пример: 'Decoding','lossbased'
'LossFun' - Функция потерь'classiferror' (по умолчанию) | указатель на функциюФункция потерь, заданная как разделенная разделенными запятой парами, состоящая из 'LossFun' и 'classiferror' или указатель на функцию.
Задайте встроенную функцию 'classiferror'. В этом случае функция потерь является ошибкой классификации, которая является долей неправильно классифицированных наблюдений.
Или задайте свою собственную функцию, используя обозначение указателя на функцию.
Предположим, что n = size(X,1) - размер и K выборки количество классов. Ваша функция должна иметь подпись lossvalue = lossfun(C,S,W,Cost), где:
Выходной аргумент lossvalue является скаляром.
Вы задаете имя функции (lossfun).
C является n-by- K логическая матрица с строками, указывающими класс, к которому принадлежит соответствующее наблюдение. Порядок столбцов соответствует порядку классов в Mdl.ClassNames.
Конструкция C путем установки C(p,q) = 1 если наблюдение p находится в q классов, для каждой строки. Установите все другие элементы строки p на 0.
S является n-by- K числовая матрица отрицательных значений потерь для классов. Каждая строка соответствует наблюдению. Порядок столбцов соответствует порядку классов в Mdl.ClassNames. Область входа S напоминает выходной аргумент NegLoss из predict.
W является n-by-1 числовой вектор весов наблюдений. Если вы сдаете Wпрограммное обеспечение нормирует свои элементы в сумме к 1.
Cost является K-by- K числовая матрица затрат на неправильную классификацию. Для примера, Cost = ones(K) – eye(K) задает стоимость 0 для правильной классификации и 1 для неправильной классификации.
Задайте свою функцию используя 'LossFun',@lossfun.
Типы данных: char | string | function_handle
'ObservationsIn' - размерность наблюдения данных предиктора'rows' (по умолчанию) | 'columns'Размерность наблюдения данных предиктора, заданная как разделенная разделенными запятой парами, состоящая из 'ObservationsIn' и 'columns' или 'rows'. Mdl.BinaryLearners должен содержать ClassificationLinear модели.
Примечание
Если вы ориентируете матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавали 'ObservationsIn','columns', вы можете испытать значительное сокращение времени выполнения. Вы не можете задать 'ObservationsIn','columns' для данных предиктора в таблице.
'Options' - опции оценки[] (по умолчанию) | массив структур, возвращенный statsetОпции оценки, заданные как разделенная разделенными запятой парами, состоящая из 'Options' и массив структур, возвращенный statset.
Чтобы вызвать параллельные вычисления:
Вам нужна лицензия Parallel Computing Toolbox™.
Задайте 'Options',statset('UseParallel',true).
'Verbose' - Уровень подробностей0 (по умолчанию) | 1Уровень подробностей, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, которые программное обеспечение отображений в Командном окне.
Если Verbose является 0тогда программа не отображает диагностические сообщения. В противном случае программа отображает диагностические сообщения.
Пример: 'Verbose',1
Типы данных: single | double
'Weights' - Веса наблюденийones(size(X,1),1) (по умолчанию) | числовой вектор | имя переменной в tblВеса наблюдений, заданные как разделенная разделенными запятой парами, состоящая из 'Weights' и числовой вектор или имя переменной в tbl. Если вы поставляете веса, то loss вычисляет взвешенные потери.
Если вы задаете Weights в виде числового вектора, затем размера Weights должно быть равно количеству строк в X или tbl.
Если вы задаете Weights как имя переменной в tbl, вы должны сделать это как вектор символов или строковый скаляр. Для примера, если веса сохранены как tbl.w, затем задайте Weights как 'w'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.w, как предикторы.
Если вы не задаете свою собственную функцию потерь (используя LossFun), затем программное обеспечение нормализуется Weights суммировать до значения предшествующей вероятности в соответствующем классе.
Типы данных: single | double | char | string
L - Классификационные потериКлассификационные потери, возвращенные в виде числа или вектора-строки. L - это показатель качества обобщения или реституции. Его интерпретация зависит от функции потерь и схемы взвешивания, но в целом лучшие классификаторы дают меньшие значения классификационных потерь.
Если Mdl.BinaryLearners содержит ClassificationLinear модели, затем L является вектором 1 ℓ байта, где ℓ - количество степеней регуляризации в линейных классификационных моделях (numel(Mdl.BinaryLearners{1}.Lambda)). Значение L(j) - потеря модели, обученная с использованием силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).
В противном случае L является скалярным значением.
classification error является двоичной мерой ошибки классификации, которая имеет вид
где:
wj - вес для j наблюдений. Программа перенормирует веса до суммы 1.
ej = 1, если предсказанный класс j наблюдения отличается от его истинного класса, и 0 в противном случае.
Другими словами, классификационная ошибка является долей наблюдений, неправильно классифицированных классификатором.
binary loss является функцией класса и классификационной оценки, которая определяет, насколько хорошо двоичный ученик классифицирует наблюдение в класс.
Предположим следующее:
mkj является элементом (k, j) матрицы разработки кодирования M (то есть кода, соответствующего k классов двоичных j обучающегося).
sj - этот счет двоичных j учащихся для наблюдения.
g является функцией двоичных потерь.
- предсказанный класс для наблюдения.
В loss-based decoding [Escalera et al.] класс, производящий минимальную сумму двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть
В loss-weighted decoding [Escalera et al.] класс, производящий минимальное среднее значение двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть
Allwein et al. предположим, что утраченное декодирование повышает точность классификации путем сохранения значений потерь для всех классов в одной динамической области значений.
В этой таблице приведены поддерживаемые функции потерь, где yj является меткой класса для конкретного двоичного обучающегося (в наборе {-1,1,0}), sj является счетом для j наблюдений и g (yj, sj).
| Значение | Описание | Счет | g (yj, sj) |
|---|---|---|---|
'binodeviance' | Биномиальное отклонение | (–∞,∞) | log [1 + exp (-2 yjsj) ]/[ 2log (2)] |
'exponential' | Экспоненциал | (–∞,∞) | exp (- yjsj )/2 |
'hamming' | Хэмминг | [0,1] или (- ∞, ∞) | [1 - знак (yjsj) ]/2 |
'hinge' | Стержень | (–∞,∞) | макс (0,1 - yjsj )/2 |
'linear' | Линейный | (–∞,∞) | (1 – yjsj)/2 |
'logit' | Логистический | (–∞,∞) | журнал [1 + exp (- yjsj) ]/[ 2log (2)] |
'quadratic' | Квадратный | [0,1] | [1 – yj (2 sj – 1)]2/2 |
Программа нормализует двоичные потери таким образом, что потеря составляет 0,5 при yj = 0, и агрегирует, используя среднее значение двоичных учащихся [Allwein et al.].
Не путайте двоичные потери с общими классификационными потерями (заданными 'LossFun' Аргумент пары "имя-значение" из loss и predict функции объекта), который измеряет, насколько хорошо классификатор ECOC работает в целом.
[1] Allwein, E., R. Schapire, and Y. Singer. «Сокращение многоклассового числа до двоичного: Унифицирующий подход к маржинальным classifiers». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.
[2] Эскалера, С., О. Пужоль, и П. Радева. «О процессе декодирования в троичных выходных кодах с исправлением ошибок». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 32, Выпуск 7, 2010, стр. 120-134.
[3] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Pattern Recogn (Повторный вызов шаблона). Том 30, Выпуск 3, 2009, стр. 285-297.
Указания и ограничения по применению:
loss не поддерживает высокие table данные при Mdl содержит ядерное или линейное двоичное обучение.
Для получения дополнительной информации см. Раздел «Длинные массивы»
Чтобы выполнять параллельно, задайте 'Options' аргумент имя-значение в вызове этой функции и установите 'UseParallel' поле структуры опций для true использование statset.
Для примера: 'Options',statset('UseParallel',true)
Для получения дополнительной информации о параллельных вычислениях смотрите Запуск функций MATLAB с автоматической поддержкой параллельных вычислений (Parallel Computing Toolbox).
ClassificationECOC | CompactClassificationECOC | fitcecoc | predict | resubLoss
У вас есть измененная версия этого примера. Вы хотите открыть этот пример с вашими правками?
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.