Exponenta Banner

margin

Поля классификации для модели выходных кодов с коррекцией ошибок (ECOC) мультикласса

свернуть все на странице

Синтаксис

m = margin(Mdl,tbl,ResponseVarName)
m = margin(Mdl,tbl,Y)
m = margin(Mdl,X,Y)
m = margin(___,Name,Value)

Описание

m = margin(Mdl,tbl,ResponseVarName) возвращает поля классификации (m) для обученной модели Mdl выходных кодов с коррекцией ошибок (ECOC) мультикласса использование данных о предикторе в таблице tbl и класс помечает в tbl.ResponseVarName.

m = margin(Mdl,tbl,Y) возвращает поля классификации для классификатора Mdl использование данных о предикторе в таблице tbl и класс помечает в векторном Y.

пример

m = margin(Mdl,X,Y) возвращает поля классификации для классификатора Mdl использование данных о предикторе в матричном X и класс маркирует Y.

m = margin(___,Name,Value) задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к любой из комбинаций входных аргументов в предыдущих синтаксисах. Например, можно задать схему декодирования, бинарную функцию потерь ученика и уровень многословия.

Примеры

свернуть все

Скрипт Open Live Script

Вычислите демонстрационные тестом поля классификации модели ECOC с бинарными учениками SVM.

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1)  % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 30%-ю выборку затяжки, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};    % Extract trained, compact classifier

PMdl ClassificationPartitionedECOC модель. Это имеет свойство Trained, массив ячеек 1 на 1, содержащий CompactClassificationECOC модель, что программное обеспечение обучило использование набора обучающих данных.

Вычислите демонстрационные тестом поля классификации. Отобразите распределение полей с помощью коробчатой диаграммы.

testInds = test(PMdl.Partition);   % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
m = margin(Mdl,XTest,YTest);

boxplot(m)
title('Test-Sample Margins')

Figure contains an axes. The axes with title Test-Sample Margins contains 7 objects of type line.

Поле классификации наблюдения является отрицаемой потерей положительного класса минус отрицаемая потеря максимального отрицательного класса. Выберите классификаторы, которые дают к относительно большим полям.

Скрипт Open Live Script

Выполните выбор признаков путем сравнения демонстрационных тестом полей от многоуровневых моделей. Базирующийся только на этом сравнении, модель с самыми большими полями является лучшей моделью.

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Разделите набор данных в наборы обучающих данных и наборы тестов. Задайте 30%-ю выборку затяжки для тестирования.

Partition = cvpartition(Y,'Holdout',0.30);
testInds = test(Partition); % Indices for the test set
XTest = X(testInds,:);
YTest = Y(testInds,:);

Partition задает раздел набора данных.

Задайте эти два набора данных:

  • fullX содержит все четыре предиктора.

  • partX содержит измерения чашелистика только.

fullX = X;
partX = X(:,1:2);

Обучите модель ECOC с помощью двоичных классификаторов SVM для каждого набора предиктора. Задайте определение раздела, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
fullPMdl = fitcecoc(fullX,Y,'CVPartition',Partition,'Learners',t,...
    'ClassNames',classOrder);
partPMdl = fitcecoc(partX,Y,'CVPartition',Partition,'Learners',t,...
    'ClassNames',classOrder);
fullMdl = fullPMdl.Trained{1};
partMdl = partPMdl.Trained{1};

fullPMdl и partPMdl ClassificationPartitionedECOC модели. Каждая модель имеет свойство Trained, массив ячеек 1 на 1, содержащий CompactClassificationECOC модель, что программное обеспечение обучило использование соответствующего набора обучающих данных.

Вычислите демонстрационные тестом поля для каждого классификатора. Для каждой модели отобразите распределение полей с помощью коробчатой диаграммы.

fullMargins = margin(fullMdl,XTest,YTest);
partMargins = margin(partMdl,XTest(:,1:2),YTest);

boxplot([fullMargins partMargins],'Labels',{'All Predictors','Two Predictors'})
title('Boxplots of Test-Sample Margins')

Figure contains an axes. The axes with title Boxplots of Test-Sample Margins contains 14 objects of type line.

Граничное распределение fullMdl расположен выше и имеет меньше изменчивости, чем граничное распределение partMdl.

Входные параметры

свернуть все

Полный или компактный мультикласс модель ECOC в виде ClassificationECOC или CompactClassificationECOC объект модели.

Чтобы создать полную или компактную модель ECOC, смотрите ClassificationECOC или CompactClassificationECOC.

Выборочные данные в виде таблицы. Каждая строка tbl соответствует одному наблюдению, и каждый столбец соответствует одному переменному предиктору. Опционально, tbl может содержать дополнительные столбцы для весов наблюдения и переменной отклика. tbl должен содержать все предикторы, используемые, чтобы обучить Mdl. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не позволены.

Если вы обучаете Mdl использование выборочных данных содержится в table, затем входные данные для margin должен также быть в таблице.

Когда учебный Mdl, примите, что вы устанавливаете 'Standardize',true для объекта шаблона, заданного в 'Learners' аргумент пары "имя-значение" fitcecoc. В этом случае, для соответствующего бинарного ученика j, программное обеспечение стандартизирует столбцы новых данных о предикторе с помощью соответствующих средних значений в Mdl.BinaryLearner{j}.Mu и стандартные отклонения в Mdl.BinaryLearner{j}.Sigma.

Типы данных: table

Имя переменной отклика в виде имени переменной в tbl. Если tbl содержит переменную отклика, используемую, чтобы обучить Mdl, затем вы не должны задавать ResponseVarName.

Если вы задаете ResponseVarName, затем необходимо сделать так как вектор символов или строковый скаляр. Например, если переменная отклика хранится как tbl.y, затем задайте ResponseVarName как 'y'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.y, как предикторы.

Переменная отклика должна быть категориальным, символом, или массивом строк, логическим или числовым вектором или массивом ячеек из символьных векторов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Типы данных: char | string

Данные о предикторе в виде числовой матрицы.

Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной. Переменные в столбцах X должен совпасть с переменными, которые обучили классификатор Mdl.

Количество строк в X должен равняться количеству строк в Y.

Когда учебный Mdl, примите, что вы устанавливаете 'Standardize',true для объекта шаблона, заданного в 'Learners' аргумент пары "имя-значение" fitcecoc. В этом случае, для соответствующего бинарного ученика j, программное обеспечение стандартизирует столбцы новых данных о предикторе с помощью соответствующих средних значений в Mdl.BinaryLearner{j}.Mu и стандартные отклонения в Mdl.BinaryLearner{j}.Sigma.

Типы данных: double | single

Класс помечает в виде категориального, символа, или массива строк, логического или числового вектора или массива ячеек из символьных векторов. Y должен иметь совпадающий тип данных как Mdl.ClassNames. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.)

Количество строк в Y должен равняться количеству строк в tbl или X.

Типы данных: categorical | char | string | logical | single | double | cell

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: margin(Mdl,tbl,'y','BinaryLoss','exponential') задает экспоненциальную бинарную функцию потерь ученика.

Бинарная функция потерь ученика в виде разделенной запятой пары, состоящей из 'BinaryLoss' и встроенное имя функции потерь или указатель на функцию.

  • Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j, и g (yj, sj) является бинарной формулой потерь.

    ЗначениеОписаниеОбласть счетаg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
    'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
    'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
    'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

    Программное обеспечение нормирует бинарные потери так, чтобы потеря была 0.5 когда yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

  • Для пользовательской бинарной функции потерь, например, customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет эту форму:

    bLoss = customFunction(M,s)
    где:

    • M K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.

    • s 1 L вектором-строкой из классификационных оценок.

    • bLoss потеря классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.

    • K является количеством классов.

    • L является количеством бинарных учеников.

    Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

BinaryLoss по умолчанию значение зависит от областей значений счета, возвращенных бинарными учениками. Эта таблица описывает некоторый BinaryLoss по умолчанию значения на основе данных предположений.

ПредположениеЗначение по умолчанию
Все бинарные ученики являются SVMs или или линейный или модели классификации ядер учеников SVM.'hinge'
Все бинарные ученики являются ансамблями, обученными AdaboostM1 или GentleBoost.'exponential'
Все бинарные ученики являются ансамблями, обученными LogitBoost.'binodeviance'
Все бинарные ученики линейны или модели классификации ядер учеников логистической регрессии. Или, вы задаете, чтобы предсказать апостериорные вероятности класса установкой 'FitPosterior',true \in fitcecoc.'quadratic'

Чтобы проверять значение по умолчанию, используйте запись через точку, чтобы отобразить BinaryLoss свойство обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема Decoding, которая агрегировала бинарные потери в виде разделенной запятой пары, состоящей из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

Размерность наблюдения данных о предикторе в виде разделенной запятой пары, состоящей из 'ObservationsIn' и 'columns' или 'rows'. Mdl.BinaryLearners должен содержать ClassificationLinear модели.

Примечание

Если вы ориентируете свою матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задали 'ObservationsIn','columns', можно испытать значительное сокращение во время выполнения. Вы не можете задать 'ObservationsIn','columns' для данных о предикторе в таблице.

Опции оценки в виде разделенной запятой пары, состоящей из 'Options' и массив структур, возвращенный statset.

Вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень многословия в виде разделенной запятой пары, состоящей из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose 0, затем программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

Поля классификации, возвращенные как числовой вектор-столбец или числовая матрица.

Если Mdl.BinaryLearners содержит ClassificationLinear модели, затем m n-by-L вектор, где n является количеством наблюдений в X и L является количеством сильных мест регуляризации в линейных моделях классификации (numel(Mdl.BinaryLearners{1}.Lambda)). Значение m(i,j) поле наблюдения i для модели, обученной с помощью силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

В противном случае, m вектор-столбец длины n.

Больше о

свернуть все

Бинарная потеря

binary loss является функцией класса и классификационной оценки, которая определяет, как хорошо бинарный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) проекта кодирования матричный M (то есть, код, соответствующий классу k бинарного ученика j).

  • sj является счетом бинарного ученика j для наблюдения.

  • g является бинарной функцией потерь.

  • k^ предсказанный класс для наблюдения.

В loss-based decoding [Escalera и al.], класс, производящий минимальную сумму бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argmink∑j=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera и al.], класс, производящий минимальное среднее значение бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argmink∑j=1L|mkj|g(mkj,sj)∑j=1L|mkj|.

Allwein и др. предполагают, что взвешенное потерей декодирование улучшает точность классификации путем хранения значений потерь для всех классов в том же динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j и g (yj, sj).

ЗначениеОписаниеОбласть счетаg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5, когда yj = 0, и агрегировал использование среднего значения бинарных учеников [Allwein и al.].

Не путайте бинарную потерю с полной потерей классификации (заданный 'LossFun' аргумент пары "имя-значение" loss и predict возразите функциям), который измеряется, как хорошо классификатор ECOC выполняет в целом.

Поле классификации

classification margin, для каждого наблюдения, различия между отрицательной потерей для истинного класса и максимальной отрицательной потерей среди ложных классов. Если поля находятся по той же шкале, то они служат мерой по доверию классификации. Среди нескольких классификаторов те, которые дают к большим полям, лучше.

Советы

  • Чтобы сравнить поля или ребра нескольких классификаторов ECOC, используйте объекты шаблона, чтобы указать, что общий счет преобразовывает функцию среди классификаторов во время обучения.

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classifiers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[3] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

Расширенные возможности

Смотрите также

| | | | | |

Темы

Введенный в R2014b

Документация Statistics and Machine Learning Toolbox

Поддержка