edge

Классификационное ребро для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC)

Описание

e = edge(Mdl,tbl,ResponseVarName) возвращает ребро классификации (e) для обученного многоклассового классификатора выходных кодов с коррекцией ошибок (ECOC) Mdl использование данных предиктора в таблице tbl и метки классов в tbl.ResponseVarName.

e = edge(Mdl,tbl,Y) возвращает классификационное ребро для классификатора Mdl использование данных предиктора в таблице tbl и метки классов в векторных Y.

пример

e = edge(Mdl,X,Y) возвращает ребро классификации (e) для классификатора Mdl использование данных предиктора в матричных X и метки классов в векторных Y.

пример

e = edge(___,Name,Value) задает опции, использующие один или несколько аргументы пары "имя-значение" в дополнение к любой комбинации входных аргументов в предыдущих синтаксисах. Для примера можно задать схему декодирования, двоичную функцию потерь учащегося и уровень подробностей.

Примеры

свернуть все

Вычислите ребро классификации тестовой выборки модели ECOC с двоичными классификаторами SVM.

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM. Укажите 30% -ную выборку для проверки, стандартизируйте предикторы с помощью шаблона SVM и укажите порядок классов.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является ClassificationPartitionedECOC модель. Он имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC моделирует, что программное обеспечение обучалось с использованием обучающих данных.

Вычислите ребро тестовой выборки.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
e = edge(Mdl,XTest,YTest)
e = 0.4574

Среднее значение полей тестовой выборки составляет приблизительно 0,46.

Вычислите среднее значение взвешенных полей тестовой выборки модели ECOC.

Предположим, что наблюдения в наборе данных измеряются последовательно, и что последние 75 наблюдений имеют лучшее качество из-за обновления технологии. Включите это продвижение путем придания лучшим качественным наблюдениям большего веса, чем другим наблюдениям.

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Задайте вектор веса, который присваивает вдвое больше веса лучшим качественным наблюдениям.

n = size(X,1);
weights = [ones(n-75,1);2*ones(75,1)];

Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 30% -ную выборку и схему взвешивания. Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок классов.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Weights',weights,...
    'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является обученным ClassificationPartitionedECOC модель. Он имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC классификатор, который программное обеспечение обучило с использованием обучающих данных.

Вычислите взвешенное ребро тестовой выборки с помощью схемы взвешивания.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
wTest = weights(testInds,:);
e = edge(Mdl,XTest,YTest,'Weights',wTest)
e = 0.4798

Средневзвешенный запас тестовой выборки составляет приблизительно 0,48.

Выполните выбор признаков путем сравнения ребер тестовой выборки из нескольких моделей. Основываясь исключительно на этом сравнении, классификатор с наибольшим ребром является лучшим классификатором.

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Разделите набор данных на наборы для обучения и тестирования. Укажите 30% -ная выборка удержания для проверки.

Partition = cvpartition(Y,'Holdout',0.30);
testInds = test(Partition); % Indices for the test set
XTest = X(testInds,:);
YTest = Y(testInds,:);

Partition определяет раздел набора данных.

Задайте эти два набора данных:

  • fullX содержит все предикторы.

  • partX содержит только размерности лепестков.

fullX = X;
partX = X(:,3:4);

Обучите модель ECOC с помощью двоичных классификаторов SVM для каждого набора предикторов. Задайте определение раздела, стандартизируйте предикторы с помощью шаблона SVM и укажите порядок классов.

t = templateSVM('Standardize',true);
fullPMdl = fitcecoc(fullX,Y,'CVPartition',Partition,'Learners',t,...
    'ClassNames',classOrder);
partPMdl = fitcecoc(partX,Y,'CVPartition',Partition,'Learners',t,...
    'ClassNames',classOrder);
fullMdl = fullPMdl.Trained{1};
partMdl = partPMdl.Trained{1};

fullPMdl и partPMdl являются ClassificationPartitionedECOC модели. Каждая модель имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC моделирует, что программное обеспечение обучалось с использованием соответствующего набора обучающих данных.

Вычислите ребро тестовой выборки для каждого классификатора.

fullEdge = edge(fullMdl,XTest,YTest)
fullEdge = 0.4574
partEdge = edge(partMdl,XTest(:,3:4),YTest)
partEdge = 0.4839

partMdl приводит к значению ребра, сопоставимому со значением для более сложной модели fullMdl.

Входные параметры

свернуть все

Полная или компактная многоклассовая модель ECOC, заданная как ClassificationECOC или CompactClassificationECOC объект модели.

Чтобы создать полную или компактную модель ECOC, смотрите ClassificationECOC или CompactClassificationECOC.

Выборочные данные, заданный как таблица. Каждая строка tbl соответствует одному наблюдению, и каждый столбец соответствует одной переменной предиктора. Опционально tbl может содержать дополнительные столбцы для переменной отклика и весов наблюдений. tbl должны содержать все предикторы, используемые для обучения Mdl. Многополюсные переменные и массивы ячеек, отличные от массивов ячеек векторов символов, не разрешены.

Если вы обучаете Mdl использование выборочных данных, содержащихся в table, затем входные данные для edge также должно быть в таблице.

При обучении Mdl, предположим, что вы 'Standardize',true для объекта шаблона, заданного в 'Learners' Аргумент пары "имя-значение" из fitcecoc. В этом случае для соответствующего двоичного обучающегося jпрограммное обеспечение стандартизирует столбцы новых данных предиктора с помощью соответствующих средств в Mdl.BinaryLearner{j}.Mu и стандартные отклонения в Mdl.BinaryLearner{j}.Sigma.

Типы данных: table

Имя переменной отклика, заданное как имя переменной в tbl. Если tbl содержит переменную отклика, используемую для обучения Mdl, тогда вам не нужно указывать ResponseVarName.

Если вы задаете ResponseVarName, тогда вы должны сделать это как вектор символов или строковый скаляр. Для примера, если переменная отклика сохранена как tbl.y, затем задайте ResponseVarName как 'y'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.y, как предикторы.

Переменная отклика должна быть категориальными символьными или строковыми массивами, логическим или числовым вектором или массивом ячеек из векторов символов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Типы данных: char | string

Данные предиктора, заданные как числовая матрица.

Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной. Переменные в столбцах X должны совпадать с переменными, которые обучили классификатор Mdl.

Количество строк в X должно равняться количеству строк в Y.

При обучении Mdl, предположим, что вы 'Standardize',true для объекта шаблона, заданного в 'Learners' Аргумент пары "имя-значение" из fitcecoc. В этом случае для соответствующего двоичного обучающегося jпрограммное обеспечение стандартизирует столбцы новых данных предиктора с помощью соответствующих средств в Mdl.BinaryLearner{j}.Mu и стандартные отклонения в Mdl.BinaryLearner{j}.Sigma.

Типы данных: double | single

Метки класса, заданные как категориальные символьные или строковые массивы, логический или числовой вектор или массив ячеек из векторов символов. Y должны иметь тот совпадающий тип данных, что и Mdl.ClassNames. (Программа обрабатывает массивы строк как массивы ячеек векторов символов.)

Количество строк в Y должно равняться количеству строк в tbl или X.

Типы данных: categorical | char | string | logical | single | double | cell

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

Пример: edge(Mdl,X,Y,'BinaryLoss','exponential','Decoding','lossbased') задает экспоненциальную двоичную функцию потерь учащегося и основанную на потерях схему декодирования для агрегирования двоичных потерь.

Двоичная функция потерь учащегося, заданная как разделенная разделенными запятой парами, состоящая из 'BinaryLoss' и встроенное имя функции потери или указатель на функцию.

  • Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного двоичного ученика (в наборе {-1,1,0}), sj является счетом для j наблюдений, а g (yj, sj) является формулой двоичных потерь.

    ЗначениеОписаниеСчетg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
    'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
    'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
    'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

    Программа нормализует двоичные потери так, чтобы потеря была 0,5 при yj = 0. Кроме того, программное обеспечение вычисляет средние двоичные потери для каждого класса.

  • Для пользовательской функции двоичных потерь, например customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет следующую форму:

    bLoss = customFunction(M,s)
    где:

    • M - K матрица кодирования L, сохраненная в Mdl.CodingMatrix.

    • s - вектор-строка L 1 байта классификационных баллов.

    • bLoss - классификационные потери. Этот скаляр агрегирует двоичные потери для каждого учащегося в конкретном классе. Для примера можно использовать среднее значение двоичных потерь для агрегирования потерь по учащимся для каждого класса.

    • K - количество классов.

    • L - это количество двоичных учащихся.

    Для примера передачи пользовательской функции двоичных потерь смотрите Предсказание меток теста-образца модели ECOC с помощью Пользовательской функции двоичных потерь.

Значение по умолчанию BinaryLoss значение зависит от областей значений счетов, возвращаемых двоичными учениками. Эта таблица описывает некоторые BinaryLoss по умолчанию значения, основанные на данных допущениях.

ПредположениеЗначение по умолчанию
Все двоичные ученики являются SVM или линейными или ядерными классификационными моделями учащихся SVM.'hinge'
Все двоичные ученики - это ансамбли, обученные AdaboostM1 или GentleBoost.'exponential'
Все двоичные ученики - это ансамбли, обученные LogitBoost.'binodeviance'
Все двоичные ученики являются линейными или ядерными классификационными моделями обучающихся логистической регрессии. Или вы задаете, чтобы предсказать апостериорные вероятности класса путем установки 'FitPosterior',true в fitcecoc.'quadratic'

Чтобы проверить значение по умолчанию, используйте запись через точку для отображения BinaryLoss свойство обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема декодирования, которая агрегирует двоичные потери, заданные как разделенная разделенными запятой парами, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Двоичные потери.

Пример: 'Decoding','lossbased'

Размерность наблюдения данных предиктора, заданная как разделенная разделенными запятой парами, состоящая из 'ObservationsIn' и 'columns' или 'rows'. Mdl.BinaryLearners должен содержать ClassificationLinear модели.

Примечание

Если вы ориентируете матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавали 'ObservationsIn','columns', вы можете испытать значительное сокращение времени выполнения. Вы не можете задать 'ObservationsIn','columns' для данных предиктора в таблице.

Опции оценки, заданные как разделенная разделенными запятой парами, состоящая из 'Options' и массив структур, возвращенный statset.

Чтобы вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень подробностей, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, которые программное обеспечение отображений в Командном окне.

Если Verbose является 0тогда программа не отображает диагностические сообщения. В противном случае программа отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Веса наблюдений, заданные как разделенная разделенными запятой парами, состоящая из 'Weights' и числовой вектор или имя переменной в tbl. Если вы поставляете веса, edge вычисляет взвешенное ребро классификации.

Если вы задаете Weights в виде числового вектора, затем размера Weights должно быть равно количеству наблюдений в X или tbl. Программное обеспечение нормализует Weights суммировать до значения предшествующей вероятности в соответствующем классе.

Если вы задаете Weights как имя переменной в tbl, вы должны сделать это как вектор символов или строковый скаляр. Для примера, если веса сохранены как tbl.w, затем задайте Weights как 'w'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.w, как предикторы.

Типы данных: single | double | char | string

Выходные аргументы

свернуть все

Классификационное ребро, возвращенный как числовой скаляр или вектор. e представляет средневзвешенное значение классификационных полей.

Если Mdl.BinaryLearners содержит ClassificationLinear модели, затем e является вектором 1 L байта, где L - количество степеней регуляризации в линейных классификационных моделях (numel(Mdl.BinaryLearners{1}.Lambda)). Значение e(j) - ребро для модели, обученный с использованием силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

В противном случае e является скалярным значением.

Подробнее о

свернуть все

Классификационное ребро

Это classification edge - средневзвешенное значение классификационных полей.

Один из способов выбрать один из нескольких классификаторов, например, для выбора признаков, - выбрать классификатор, который дает наибольшее ребро.

Классификационное поле

Для каждого наблюдения classification margin является различием между отрицательной потерей для истинного класса и максимальной отрицательной потерей среди ложных классов. Если поля находятся в одной шкале, то они служат классификационной доверительной мерой. Среди нескольких классификаторов лучше те, которые дают большую маржу.

Двоичные потери

binary loss является функцией класса и классификационной оценки, которая определяет, насколько хорошо двоичный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) матрицы разработки кодирования M (то есть кода, соответствующего k классов двоичных j обучающегося).

  • sj - этот счет двоичных j учащихся для наблюдения.

  • g является функцией двоичных потерь.

  • k^ - предсказанный класс для наблюдения.

В loss-based decoding [Escalera et al.] класс, производящий минимальную сумму двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argminkj=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera et al.] класс, производящий минимальное среднее значение двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argminkj=1L|mkj|g(mkj,sj)j=1L|mkj|.

Allwein et al. предположим, что утраченное декодирование повышает точность классификации путем сохранения значений потерь для всех классов в одной динамической области значений.

В этой таблице приведены поддерживаемые функции потерь, где yj является меткой класса для конкретного двоичного обучающегося (в наборе {-1,1,0}), sj является счетом для j наблюдений и g (yj, sj).

ЗначениеОписаниеСчетg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

Программа нормализует двоичные потери таким образом, что потеря составляет 0,5 при yj = 0, и агрегирует, используя среднее значение двоичных учащихся [Allwein et al.].

Не путайте двоичные потери с общими классификационными потерями (заданными 'LossFun' Аргумент пары "имя-значение" из loss и predict функции объекта), который измеряет, насколько хорошо классификатор ECOC работает в целом.

Совет

  • Чтобы сравнить поля или ребра нескольких классификаторов ECOC, используйте объекты шаблона, чтобы задать общую функцию преобразования счета среди классификаторов во время обучения.

Ссылки

[1] Allwein, E., R. Schapire, and Y. Singer. «Сокращение многоклассового числа до двоичного: Унифицирующий подход к маржинальным classifiers». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.

[2] Эскалера, С., О. Пужоль, и П. Радева. «О процессе декодирования в троичных выходных кодах с исправлением ошибок». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 32, Выпуск 7, 2010, стр. 120-134.

[3] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Pattern Recogn (Повторный вызов шаблона). Том 30, Выпуск 3, 2009, стр. 285-297.

Расширенные возможности

Введенный в R2014b