Exponenta Banner

designecoc

Кодирование матрицы для сокращения выходного кода с коррекцией ошибок к двоичному файлу

свернуть все на странице

Синтаксис

M = designecoc(K,name)
M = designecoc(K,name,Name,Value)

Описание

пример

M = designecoc(K,name) возвращает кодирующий матричный M это уменьшает проект выходного кода с коррекцией ошибок (ECOC), заданный name и K классы к бинарной проблеме. M имеет K строки и столбцы L, с каждой строкой, соответствующей классу и каждому столбцу, соответствующему бинарному ученику. name и K определите значение L.

Можно просмотреть или настроить M, и затем задайте его как матрицу кодирования для обучения классификатор мультикласса ECOC с помощью fitcecoc.

пример

M = designecoc(K,name,Name,Value) возвращает матрицу кодирования с дополнительными опциями, заданными одним или несколькими Name,Value парные аргументы.

Например, можно задать количество испытаний при генерации плотной или разреженной, случайной матрицы кодирования.

Примеры

свернуть все

Скрипт Open Live Script

Рассмотрите arrhythmia набор данных. В исследовании существует 16 классов, 13 из которых представлены в данных. Первый класс указывает, что предмет не имел аритмии, и последний класс указывает, что состояние аритмии предмета не было зарегистрировано. Предположим, что другие классы являются порядковыми уровнями, указывающими на серьезность аритмии. Обучите классификатор ECOC с помощью пользовательского проекта кодирования, заданного описанием классов.

Загрузите arrhythmia набор данных.

load arrhythmia
K = 13; % Number of distinct classes

Создайте матрицу кодирования, которая описывает природу классов.

OrdMat = designecoc(11,'ordinal');
nOM = size(OrdMat);
class1VSOrd = [1; -ones(11,1); 0];
class1VSClass16 = [1; zeros(11,1); -1];
OrdVSClass16 = [0; ones(11,1); -1];
Coding = [class1VSOrd class1VSClass16 OrdVSClass16,...
    [zeros(1,nOM(2)); OrdMat; zeros(1,nOM(2))]]
Coding = 13×13

     1     1     0     0     0     0     0     0     0     0     0     0     0
    -1     0     1    -1    -1    -1    -1    -1    -1    -1    -1    -1    -1
    -1     0     1     1    -1    -1    -1    -1    -1    -1    -1    -1    -1
    -1     0     1     1     1    -1    -1    -1    -1    -1    -1    -1    -1
    -1     0     1     1     1     1    -1    -1    -1    -1    -1    -1    -1
    -1     0     1     1     1     1     1    -1    -1    -1    -1    -1    -1
    -1     0     1     1     1     1     1     1    -1    -1    -1    -1    -1
    -1     0     1     1     1     1     1     1     1    -1    -1    -1    -1
    -1     0     1     1     1     1     1     1     1     1    -1    -1    -1
    -1     0     1     1     1     1     1     1     1     1     1    -1    -1
      ⋮

Обучайтесь классификатор ECOC с помощью пользовательского кодирования проектируют Coding и укажите, что бинарные ученики являются деревьями решений.

Mdl = fitcecoc(X,Y,'Coding',Coding,'Learner','Tree');

Оцените ошибку классификации в выборке.

genErr = resubLoss(Mdl)
genErr = 0.1460
Скрипт Open Live Script

Если вы запрашиваете случайную матрицу кодирования путем определения sparserandom или denserandom, затем, по умолчанию, designecoc генерирует 10 000 случайных матриц. Затем это выбирает матрицу с самыми большими, минимальными, попарными расстояниями строки на основе меры Хэмминга. Можно задать, чтобы сгенерировать больше матриц, чтобы увеличить шанс получения лучшего, или можно сгенерировать несколько матриц кодирования, и затем видеть, который выполняет лучше всего.

Загрузите arrhythmia набор данных. Зарезервируйте наблюдения, классифицированные в класс 16 (т.е. те, которые не имеют классификации аритмий) как новые данные.

load arrhythmia
oosIdx = Y == 16;
isIdx = ~oosIdx;
Y = categorical(Y(isIdx));
tabulate(Y)
  Value    Count   Percent
      1      245     56.98%
      2       44     10.23%
      3       15      3.49%
      4       15      3.49%
      5       13      3.02%
      6       25      5.81%
      7        3      0.70%
      8        2      0.47%
      9        9      2.09%
     10       50     11.63%
     14        4      0.93%
     15        5      1.16%

K = numel(unique(Y));

Сгенерируйте четыре случайных матрицы проекта кодирования, таким образом, что первые два являются плотными, и вторые два разреженны. Задайте, чтобы найти лучшее из 20 000 варьируемых величин.

rng(1); % For reproducibility 

Coding = cell(4,1); % Preallocate for coding matrices
CodingTypes = {'denserandom','denserandom','sparserandom','sparserandom'};
for j = 1:4;
    Coding{j} = designecoc(K,CodingTypes{j},'NumTrials',2e4);
end

Coding 4 1 массив ячеек, где каждая ячейка является матрицей проекта кодирования. Матрицы имеют K строки, но количество столбцов (т.е. бинарные ученики) могут варьироваться.

Обучайтесь и крест подтверждают классификаторы ECOC с помощью 15-кратной перекрестной проверки. Укажите, что каждый классификатор ECOC обучен с помощью дерева классификации, и случайная матрица кодирования сохранила в Coding.

Mdl = cell(4,1); % Preallocate for the ECOC classifiers
for j = 1:4;
    Mdl{j} = fitcecoc(X(isIdx,:),Y,'Learners','tree',...
        'Coding',Coding{j},'KFold',15);
end
Warning: One or more of the unique class values in GROUP is not present in one or more folds. For classification problems, either remove this class from the data or use N instead of GROUP to obtain nonstratified partitions. For regression problems with continuous response, use N.

Warning: One or more of the unique class values in GROUP is not present in one or more folds. For classification problems, either remove this class from the data or use N instead of GROUP to obtain nonstratified partitions. For regression problems with continuous response, use N.

Warning: One or more of the unique class values in GROUP is not present in one or more folds. For classification problems, either remove this class from the data or use N instead of GROUP to obtain nonstratified partitions. For regression problems with continuous response, use N.

Warning: One or more of the unique class values in GROUP is not present in one or more folds. For classification problems, either remove this class from the data or use N instead of GROUP to obtain nonstratified partitions. For regression problems with continuous response, use N.

Mdl 4 1 массив ячеек ClassificationPartitionedECOC модели. Несколько классов имеют низкую относительную частоту в данных, и таким образом, существует шанс, что во время перекрестной проверки некоторые сгибы в выборке не обучат наблюдения использования от тех классов.

Оцените 15-кратную ошибку классификации для каждого классификатора.

genErr = nan(4,1);
for j = 1:4;
    genErr(j) = kfoldLoss(Mdl{j});
end

genErr
genErr = 4×1

    0.2302
    0.2209
    0.2279
    0.2233

Хотя ошибка обобщения все еще высока, лучшая модель выполнения, базирующаяся только на ошибке классификации из выборки, является моделью, которая использовала проект кодирования Coding{3}.

Можно попытаться улучшить ошибку обобщения путем настройки некоторых параметров бинарных учеников. Например, можно задать, чтобы использовать twoing правило или отклонение для критерия разделения, а не индекс разнообразия Джини по умолчанию. Вы можете также задать, чтобы использовать суррогатные разделения, поскольку существуют отсутствующие значения в данных.

Входные параметры

свернуть все

Количество классов в виде положительного целого числа.

K задает количество строк кодирующего матричного M.

Типы данных: single | double

Кодирование проекта называет в виде значения в следующей таблице. Таблица суммирует схемы кодирования.

ЗначениеКоличество бинарных учениковОписание
'allpairs' и 'onevsone'K (K – 1)/2Для каждого бинарного ученика один класс положителен, другой отрицателен, и программное обеспечение игнорирует остальных. Этот проект исчерпывает все комбинации присвоений пары класса.
'binarycomplete'2(K−1)−1Этот проект делит классы во все бинарные комбинации и не игнорирует классов. Для каждого бинарного ученика всеми присвоениями класса является -1 и 1 по крайней мере с одним положительным и отрицательным классом в присвоении.
'denserandom'Случайный, но приблизительно 10 log2KДля каждого бинарного ученика программное обеспечение случайным образом присваивает классы в положительные или отрицательные классы с по крайней мере одним из каждого типа. Для получения дополнительной информации см. Случайные Матрицы Проекта Кодирования.
'onevsall'KДля каждого бинарного ученика один класс положителен, и остальные отрицательны. Этот проект исчерпывает все комбинации положительных присвоений класса.
'ordinal'K 1Для первого бинарного ученика первый класс отрицателен, и остальные положительные. Для второго бинарного ученика первые два класса отрицательны, остальные положительные, и так далее.
'sparserandom'Случайный, но приблизительно 15 log2KДля каждого бинарного ученика программное обеспечение случайным образом присваивает классы как положительные или отрицательные с вероятностью 0.25 для каждого, и игнорирует классы с вероятностью 0.5. Для получения дополнительной информации см. Случайные Матрицы Проекта Кодирования.
'ternarycomplete'(3K−2(K+1)+1)/2Этот проект делит классы во все троичные комбинации. Всеми присвоениями класса является 0, -1, и 1 с по крайней мере одним положительным и один отрицательный класс в присвоении.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'NumTrials',1000 задает, чтобы сгенерировать 1000 случайные матрицы.

Количество случайных матриц кодирования, чтобы сгенерировать в виде разделенной запятой пары, состоящей из 'NumTrials' и положительное целое число.

Программное обеспечение:

  • Генерирует NumTrials матрицы, и выбирают тот с максимальным, попарным расстоянием строки.

  • Игнорирует NumTrials для всех значений name кроме 'denserandom' и 'sparserandom'.

Пример: 'NumTrials',1000

Типы данных: single | double

Выходные аргументы

свернуть все

Кодирование матрицы, которая уменьшает схему ECOC до двоичного файла, возвратилось как числовая матрица. M имеет K строки и столбцы L, где L является количеством бинарных учеников. Каждая строка соответствует классу, и каждый столбец соответствует бинарному ученику.

Элементы M -1, 0, или 1, и значение соответствует дихотомическому присвоению класса. Эта таблица описывает значение M(i,j), то есть, класс тот ученик j присвоения к наблюдениям в классе i.

ЗначениеДихотомическое присвоение класса
–1Ученик j наблюдения присвоений в классе i к отрицательному классу.
0Перед обучением, ученик j удаляет наблюдения в классе i от набора данных.
1Ученик j наблюдения присвоений в классе i к положительному классу.

Бинарные ученики для проектов denserandom, binarycomplete, и onevsall не присваивайте 0 к наблюдениям в любом классе.

Советы

  • Количество бинарных учеников растет с количеством классов. Для проблемы со многими классами, binarycomplete и ternarycomplete кодирующие проекты не эффективны. Однако:

    • Если K ≤ 4, то используйте ternarycomplete кодирование проекта, а не sparserandom.

    • Если K ≤ 5, то используйте binarycomplete кодирование проекта, а не denserandom.

    Можно отобразить матрицу проекта кодирования обученного классификатора ECOC путем ввода Mdl.CodingMatrix в командное окно.

  • Необходимо сформировать матрицу кодирования, использующую глубокие знания приложения и учитывающую вычислительные ограничения. Если вы имеете достаточную вычислительную власть и время, то попробуйте несколько матриц кодирования и выберите ту с лучшей производительностью (например, проверяйте матрицы беспорядка на каждую модель с помощью confusionchart).

  • Перекрестная проверка "Пропускает один" (Leaveout) неэффективно для наборов данных со многими наблюдениями. Вместо этого используйте k - перекрестная проверка сгиба (KFold).

Алгоритмы

свернуть все

Пользовательские матрицы проекта кодирования

Пользовательские матрицы кодирования должны иметь определенную форму. Программное обеспечение подтверждает пользовательские матрицы кодирования путем обеспечения:

  • Каждый элемент-1, 0, или 1.

  • Каждый столбец содержит как наименьшее количество одного-1 и один 1.

  • Для всех отличных вектор-столбцов u и v, u ≠ v и u ≠-v.

  • Все векторы строк уникальны.

  • Матрица может разделить любые два класса. Таким образом, можно переместиться от любой строки до любой другой строки после этих правил:

    • Можно переместиться вертикально от 1 до-1 или-1 к 1.

    • Можно переместиться горизонтально от ненулевого элемента до другого ненулевого элемента.

    • Можно использовать столбец матрицы для вертикального перемещения только однажды.

    Если не возможно переместить из строки i, чтобы расположить в ряд j, использующий эти правила, то классы i и j не могут быть разделены проектом. Например, в проекте кодирования

    [10−10010−1]

    классы 1 и 2 не могут быть разделены от классов 3 и 4 (то есть, вы не можете переместиться горизонтально от-1 в строке 2 к столбцу 2, поскольку существует 0 в том положении). Поэтому программное обеспечение отклоняет этот проект кодирования.

Случайные матрицы проекта кодирования

Для данного количества классов K программное обеспечение генерирует случайные матрицы проекта кодирования можно следующим образом.

  1. Программное обеспечение генерирует одну из этих матриц:

    1. Плотный случайный — программное обеспечение присваивает 1 или –1 с равной вероятностью к каждому элементу K-by-Ld кодирующий матрицу проекта, где Ld≈⌈10log2K⌉.

    2. Разреженный случайный — программное обеспечение присваивает 1 каждому элементу K-by-Ls кодирующий матрицу проекта с вероятностью 0.25, –1 с вероятностью 0.25, и 0 с вероятностью 0.5, где Ls≈⌈15log2K⌉.

  2. Если столбец не содержит по крайней мере один 1 и по крайней мере один –1, то программное обеспечение удаляет тот столбец.

  3. Для отличных столбцов u и v, если u = v или u = –v, то программное обеспечение удаляет v из матрицы проекта кодирования.

Программное обеспечение случайным образом генерирует 10 000 матриц по умолчанию и сохраняет матрицу с самым большим, минимальным, попарным расстоянием строки на основе меры Хэмминга ([4]) данный

Δ(k1,k2)=0.5∑l=1L|mk1l||mk2l||mk1l−mk2l|,

где mkjl является элементом кодирования матрицы проекта j.

Ссылки

[1] Fürnkranz, Иоганнес. “Круговая Классификация”. Дж. Мах. Учиться. Res., Издание 2, 2002, стр 721–747.

[2] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Перевинтик шаблона. Латыш., Издание 30, Выпуск 3, 2009, стр 285–297.

Смотрите также

|

Введенный в R2014b

Документация Statistics and Machine Learning Toolbox
Поддержка