ребро

Ребро классификации для модели выходных кодов с коррекцией ошибок (ECOC) мультикласса

Синтаксис

e = edge(Mdl,tbl,ResponseVarName)
e = edge(Mdl,tbl,Y)
e = edge(Mdl,X,Y)
e = edge(___,Name,Value)

Описание

e = edge(Mdl,tbl,ResponseVarName) возвращает ребро классификации (e) для обученного классификатора выходных кодов с коррекцией ошибок (ECOC) мультикласса Mdl с помощью данных о предикторе в таблице tbl и меток класса в tbl.ResponseVarName.

e = edge(Mdl,tbl,Y) возвращает ребро классификации для классификатора Mdl с помощью данных о предикторе в таблице tbl и меток класса в векторном Y.

пример

e = edge(Mdl,X,Y) возвращает ребро классификации (e) для классификатора Mdl с помощью данных о предикторе в матричном X и меток класса в векторном Y.

пример

e = edge(___,Name,Value) задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к любой из комбинаций входных аргументов в предыдущих синтаксисах. Например, можно задать схему декодирования, бинарную функцию потерь ученика и уровень многословия.

Примеры

свернуть все

Вычислите демонстрационное тестом ребро классификации модели ECOC с бинарными классификаторами SVM.

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 30%-ю выборку затяжки для тестирования, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является моделью ClassificationPartitionedECOC. Это имеет свойство Trained, массив ячеек 1 на 1, содержащий модель CompactClassificationECOC, что программное обеспечение обучило использование данных тренировки.

Вычислите демонстрационное тестом ребро.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
e = edge(Mdl,XTest,YTest)
e = 0.4573

Среднее значение демонстрационных тестом полей - приблизительно 0,46.

Вычислите среднее значение взвешенных полей тестовой выборки модели ECOC.

Предположим, что наблюдения в наборе данных измеряются последовательно, и что последние 75 наблюдений имеют лучшее качество из-за технологического обновления. Включите это продвижение путем предоставления лучшим качественным наблюдениям большего количества веса, чем другие наблюдения.

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Задайте вектор веса, который присваивает вдвое больше веса лучшим качественным наблюдениям.

n = size(X,1);
weights = [ones(n-75,1);2*ones(75,1)];

Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 30%-ю выборку затяжки и схему взвешивания. Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Weights',weights,...
    'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является обученной моделью ClassificationPartitionedECOC. Это имеет свойство Trained, массив ячеек 1 на 1, содержащий классификатор CompactClassificationECOC, что программное обеспечение обучило использование данных тренировки.

Вычислите взвешенное ребро тестовой выборки с помощью схемы взвешивания.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
wTest = weights(testInds,:);
e = edge(Mdl,XTest,YTest,'Weights',wTest)
e = 0.4798

Среднее взвешенное поле тестовой выборки - приблизительно 0,48.

Выполните выбор функции путем сравнения демонстрационных тестом ребер от многоуровневых моделей. Базирующийся только на этом сравнении, классификатор с самым большим ребром является лучшим классификатором.

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Разделите набор данных в наборы обучающих данных и наборы тестов. Задайте 30%-ю выборку затяжки для тестирования.

Partition = cvpartition(Y,'Holdout',0.30);
testInds = test(Partition); % Indices for the test set
XTest = X(testInds,:);
YTest = Y(testInds,:);

Partition задает раздел набора данных.

Задайте эти два набора данных:

  • fullX содержит все предикторы.

  • partX содержит лепестковые размерности только.

fullX = X;
partX = X(:,3:4);

Обучите модель ECOC с помощью двоичных классификаторов SVM для каждого набора предиктора. Задайте определение раздела, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
fullPMdl = fitcecoc(fullX,Y,'CVPartition',Partition,'Learners',t,...
    'ClassNames',classOrder);
partPMdl = fitcecoc(partX,Y,'CVPartition',Partition,'Learners',t,...
    'ClassNames',classOrder);
fullMdl = fullPMdl.Trained{1};
partMdl = partPMdl.Trained{1};

fullPMdl и partPMdl являются моделями ClassificationPartitionedECOC. Каждая модель имеет свойство Trained, массив ячеек 1 на 1, содержащий модель CompactClassificationECOC, что программное обеспечение обучило использование соответствующего набора обучающих данных.

Вычислите демонстрационное тестом ребро для каждого классификатора.

fullEdge = edge(fullMdl,XTest,YTest)
fullEdge = 0.4573
partEdge = edge(partMdl,XTest(:,3:4),YTest)
partEdge = 0.4839

partMdl приводит к значению ребра, сопоставимому со значением для более сложной модели fullMdl.

Входные параметры

свернуть все

Полный или компактный мультикласс модель ECOC, заданная как ClassificationECOC или объект модели CompactClassificationECOC.

Чтобы создать полную или компактную модель ECOC, смотрите ClassificationECOC или CompactClassificationECOC.

Выборочные данные, заданные как таблица. Каждая строка tbl соответствует одному наблюдению, и каждый столбец соответствует одной переменной прогноза. Опционально, tbl может содержать дополнительные столбцы для весов наблюдения и переменной отклика. tbl должен содержать все предикторы, используемые, чтобы обучить Mdl. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не позволены.

Если вы обучаете Mdl с помощью выборочных данных, содержавшихся в table, то входные данные для edge должны также быть в таблице.

Примечание

Если Mdl.BinaryLearners содержит линейный или модели классификации ядер (ClassificationLinear или объекты модели ClassificationKernel), то вы не можете задать выборочные данные в table. Вместо этого передайте матрицу (X), и класс маркирует (Y).

Когда учебный Mdl, примите, что вы устанавливаете 'Standardize',true для объекта шаблона, заданного в аргументе пары "имя-значение" 'Learners' fitcecoc. В этом случае, для соответствующего бинарного ученика j, программное обеспечение стандартизирует столбцы новых данных о предикторе с помощью соответствующих средних значений в Mdl.BinaryLearner{j}.Mu и стандартных отклонений в Mdl.BinaryLearner{j}.Sigma.

Типы данных: table

Имя переменной отклика, заданное как имя переменной в tbl. Если tbl содержит переменную отклика, используемую, чтобы обучить Mdl, то вы не должны задавать ResponseVarName.

Если вы задаете ResponseVarName, то необходимо сделать так как вектор символов или представить скаляр в виде строки. Например, если переменная отклика хранится как tbl.y, то задайте ResponseVarName как 'y'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.y, как предикторы.

Переменная отклика должна быть категориальным, символом, или массивом строк, логическим или числовым вектором или массивом ячеек из символьных векторов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Типы данных: char | string

Данные о предикторе, заданные как числовая матрица.

Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной. Переменные в столбцах X должны совпасть с переменными, которые обучили классификатор Mdl.

Количество строк в X должно равняться количеству строк в Y.

Когда учебный Mdl, примите, что вы устанавливаете 'Standardize',true для объекта шаблона, заданного в аргументе пары "имя-значение" 'Learners' fitcecoc. В этом случае, для соответствующего бинарного ученика j, программное обеспечение стандартизирует столбцы новых данных о предикторе с помощью соответствующих средних значений в Mdl.BinaryLearner{j}.Mu и стандартных отклонений в Mdl.BinaryLearner{j}.Sigma.

Типы данных: double | single

Метки класса, заданные как категориальное, символ, или массив строк, логический или числовой вектор или массив ячеек из символьных векторов. Y должен иметь совпадающий тип данных как Mdl.ClassNames. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.)

Количество строк в Y должно равняться количеству строк в tbl или X.

Типы данных: categorical | char | string | logical | single | double | cell

Аргументы в виде пар имя-значение

Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: edge(Mdl,X,Y,'BinaryLoss','exponential','Decoding','lossbased') задает экспоненциальную бинарную функцию потерь ученика и основанную на потере схему декодирования агрегации бинарных потерь.

Бинарная функция потерь ученика, заданная как пара, разделенная запятой, состоящая из 'BinaryLoss' и встроенного имени функции потерь или указателя на функцию.

  • Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j, и g (yj, sj) является бинарной формулой потерь.

    ЗначениеОписаниеОбласть счетаg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
    'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
    'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
    'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

    Программное обеспечение нормирует бинарные потери так, чтобы потеря была 0.5 когда yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

  • Для пользовательской бинарной функции потерь, например, customFunction, задают его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет эту форму:

    bLoss = customFunction(M,s)
    где:

    • M является K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.

    • s является 1 L вектором - строкой из очков классификации.

    • bLoss является потерей классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.

    • K является количеством классов.

    • L является количеством бинарных учеников.

    Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

Значение BinaryLoss по умолчанию зависит от областей значений счета, возвращенных бинарными учениками. Эта таблица описывает некоторые значения BinaryLoss по умолчанию на основе данных предположений.

ПредположениеЗначение по умолчанию
Все бинарные ученики являются SVMs или или линейный или модели классификации ядер учеников SVM.'hinge'
Все бинарные ученики являются ансамблями, обученными AdaboostM1 или GentleBoost.'exponential'
Все бинарные ученики являются ансамблями, обученными LogitBoost.'binodeviance'
Все бинарные ученики линейны или модели классификации ядер учеников логистической регрессии. Или, вы задаете, чтобы предсказать апостериорные вероятности класса установкой 'FitPosterior',true в fitcecoc.'quadratic'

Чтобы проверять значение по умолчанию, используйте запись через точку, чтобы отобразить свойство BinaryLoss обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема Decoding, которая агрегировала бинарные потери, заданные как пара, разделенная запятой, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

Размерность наблюдения данных о предикторе, заданная как пара, разделенная запятой, состоящая из 'ObservationsIn' и 'columns' или 'rows'. Mdl.BinaryLearners должен содержать модели ClassificationLinear.

Примечание

Если вы ориентируете свою матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задали 'ObservationsIn','columns', можно испытать значительное сокращение во время выполнения.

Опции оценки, заданные как пара, разделенная запятой, состоящая из 'Options' и массива структур, возвращенного statset.

Вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень многословия, заданный как пара, разделенная запятой, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose является 0, то программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Веса наблюдения, заданные как пара, разделенная запятой, состоящая из 'Weights' и числового вектора или имени переменной в tbl. Если вы предоставляете веса, edge вычисляет взвешенное ребро классификации.

Если вы задаете Weights как числовой вектор, то размер Weights должен быть равен количеству наблюдений в X или tbl. Программное обеспечение нормирует Weights, чтобы суммировать до значения априорной вероятности в соответствующем классе.

Если вы задаете Weights как имя переменной в tbl, необходимо сделать так как вектор символов или представить скаляр в виде строки. Например, если веса хранятся как tbl.w, то задают Weights как 'w'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.w, как предикторы.

Типы данных: single | double | char | string

Выходные аргументы

свернуть все

Ребро классификации, возвращенное в виде числа или вектора. e представляет взвешенное среднее полей классификации.

Если Mdl.BinaryLearners содержит модели ClassificationLinear, то e является 1 L вектором, где L является количеством сильных мест регуляризации в линейных моделях классификации (numel(Mdl.BinaryLearners{1}.Lambda)). Значение e(j) является ребром для модели, обученной с помощью силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

В противном случае e является скалярным значением.

Больше о

свернуть все

Ребро классификации

classification edge является взвешенным средним classification margins.

Один способ выбрать среди нескольких классификаторов, например, выполнить выбор функции, состоит в том, чтобы выбрать классификатор, который приводит к самому большому ребру.

Поле классификации

classification margin, для каждого наблюдения, различия между отрицательной потерей для истинного класса и максимальной отрицательной потерей среди ложных классов. Если поля находятся в той же шкале, то они служат мерой по уверенности классификации. Среди нескольких классификаторов те, которые приводят к большим полям, лучше.

Бинарная потеря

binary loss является функцией класса и счета классификации, который определяет, как хорошо бинарный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) проекта кодирования матричный M (то есть, код, соответствующий классу k бинарного ученика j).

  • sj является счетом бинарного ученика j для наблюдения.

  • g является бинарной функцией потерь.

  • k^ предсказанный класс для наблюдения.

В loss-based decoding [Escalera и др.], класс, производящий минимальную сумму бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argminkj=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera и др.], класс, производящий минимальное среднее значение бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argminkj=1L|mkj|g(mkj,sj)j=1L|mkj|.

Allwein и др. предполагают, что взвешенное потерей декодирование улучшает точность классификации путем хранения значений потерь для всех классов в том же динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j и g (yj, sj).

ЗначениеОписаниеОбласть счетаg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5, когда yj = 0, и агрегировал использование среднего значения бинарных учеников [Allwein и др.].

Не путайте бинарную потерю с полной потерей классификации (заданный аргументом пары "имя-значение" 'LossFun' функций объекта loss и predict), который измеряется, как хорошо классификатор ECOC выполняет в целом.

Советы

  • Чтобы сравнить поля или ребра нескольких классификаторов ECOC, используйте объекты шаблона, чтобы указать, что общий счет преобразовывает функцию среди классификаторов во время обучения.

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classifiers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[3] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

Расширенные возможности

Введенный в R2014b