kfoldPredict

Классифицируйте наблюдения на перекрестную подтвержденную модель ECOC

свернуть все на странице

Синтаксис

label = kfoldPredict(CVMdl)
label = kfoldPredict(CVMdl,Name,Value)
[label,NegLoss,PBScore] = kfoldPredict(___)
[label,NegLoss,PBScore,Posterior] = kfoldPredict(___)

Описание

пример

label = kfoldPredict(CVMdl) возвращает метки класса, предсказанные перекрестной подтвержденной моделью ECOC (ClassificationPartitionedECOC) CVMdl. Для каждого сгиба, kfoldPredict предсказывает метки класса для наблюдений, что это протягивает во время обучения. CVMdl.X содержит оба набора наблюдений.

Программное обеспечение предсказывает классификацию наблюдения путем присвоения наблюдения классу, дающему к самой большой отрицаемой средней бинарной потере (или, эквивалентно, самой маленькой средней бинарной потере).

пример

label = kfoldPredict(CVMdl,Name,Value) возвращает предсказанные метки класса с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Например, задайте метод оценки апостериорной вероятности, декодируя схему или уровень многословия.

пример

[label,NegLoss,PBScore] = kfoldPredict(___) дополнительно возвращает отрицаемые значения средней бинарной потери в классе (NegLoss) для наблюдений сгиба валидации и баллов положительного класса (PBScore) для наблюдений сгиба валидации, классифицированных каждым бинарным учеником, с помощью любой из комбинаций входных аргументов в предыдущих синтаксисах.

Если матрица кодирования варьируется через сгибы (то есть, схемой кодирования является sparserandom или denserandom), затем PBScore isempty).

пример

[label,NegLoss,PBScore,Posterior] = kfoldPredict(___) дополнительно возвращает следующие оценки вероятности класса для наблюдений сгиба валидации (Posterior).

Чтобы получить следующие вероятности класса, необходимо установить 'FitPosterior',1 когда обучение перекрестное подтвержденное использование модели ECOC fitcecoc. В противном случае, kfoldPredict выдает ошибку.

Примеры

свернуть все

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Обучите и перекрестный подтвердите модель ECOC с помощью двоичных классификаторов машины опорных векторов (SVM). Стандартизируйте данные о предикторе с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'CrossVal','on','Learners',t,'ClassNames',classOrder);

CVMdl ClassificationPartitionedECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно задать различное количество сгибов с помощью 'KFold' аргумент пары "имя-значение".

Предскажите метки сгиба валидации. Распечатайте случайное подмножество истины и предсказанных меток.

labels = kfoldPredict(CVMdl);
idx = randsample(numel(labels),10);
table(Y(idx),labels(idx),...
    'VariableNames',{'TrueLabels','PredictedLabels'})
ans=10×2 table
    TrueLabels    PredictedLabels
    __________    _______________

    setosa          setosa       
    versicolor      versicolor   
    setosa          setosa       
    virginica       virginica    
    versicolor      versicolor   
    setosa          setosa       
    virginica       virginica    
    virginica       virginica    
    setosa          setosa       
    setosa          setosa

CVMdl правильно помечает наблюдения сгиба валидации индексами idx.

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
K = numel(classOrder);  % Number of classes
rng(1); % For reproducibility

Обучите и перекрестный подтвердите модель ECOC с помощью двоичных классификаторов SVM. Стандартизируйте данные о предикторе с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',1);
CVMdl = fitcecoc(X,Y,'CrossVal','on','Learners',t,'ClassNames',classOrder);

CVMdl ClassificationPartitionedECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно задать различное количество сгибов с помощью 'KFold' аргумент пары "имя-значение".

Баллы SVM являются подписанными расстояниями от наблюдения до контура решения. Поэтому область (-∞,∞). Создайте пользовательскую бинарную функцию потерь что:

  • Сопоставляет матрицу (M) проекта кодирования и классификационные оценки (оценки) положительного класса для каждого ученика к бинарной потере для каждого наблюдения

  • Использует линейную потерю

  • Агрегировал бинарную утрату ученика с помощью медианы

Можно создать отдельную функцию для бинарной функции потерь, и затем сохранить ее на пути MATLAB®. В качестве альтернативы можно задать анонимную бинарную функцию потерь. В этом случае создайте указатель на функцию (customBL) к анонимной бинарной функции потерь.

customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;

Предскажите метки перекрестной проверки и оцените среднюю бинарную потерю в классе. Распечатайте средние отрицательные бинарные потери в классе для случайного набора 10 наблюдений сгиба валидации.

[label,NegLoss] = kfoldPredict(CVMdl,'BinaryLoss',customBL);

idx = randsample(numel(label),10);
classOrder
classOrder = 3x1 categorical
     setosa 
     versicolor 
     virginica 


table(Y(idx),label(idx),NegLoss(idx,:),'VariableNames',...
    {'TrueLabel','PredictedLabel','NegLoss'})
ans=10×3 table
    TrueLabel     PredictedLabel                 NegLoss             
    __________    ______________    _________________________________

    setosa          versicolor      0.37148       2.1294      -4.0009
    versicolor      versicolor      -1.2167      0.36689     -0.65018
    setosa          versicolor      0.23923        2.079      -3.8182
    virginica       virginica       -1.9151     -0.19954      0.61467
    versicolor      versicolor      -1.3746      0.45537     -0.58077
    setosa          versicolor      0.20061       2.2774       -3.978
    virginica       versicolor      -1.4921     0.090197    -0.098125
    virginica       virginica       -1.7668     -0.13465      0.40146
    setosa          versicolor      0.20005       1.9113      -3.6113
    setosa          versicolor      0.16105       1.9684      -3.6295

Порядок столбцов соответствует элементам classOrder. Программное обеспечение предсказывает метку на основе максимальной отрицаемой потери. Результаты показывают, что медиана линейных потерь не может выполнить, а также другие потери.

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера. Используйте лепестковые размерности в качестве данных о предикторе X. Задайте данные об ответе Y и порядок классов в Y.

load fisheriris
X = meas(:,3:4);
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Создайте шаблон SVM. Стандартизируйте предикторы и задайте Гауссово ядро.

t = templateSVM('Standardize',1,'KernelFunction','gaussian');

t шаблон SVM. Большинство его свойств пусто. Когда обучение классификатор ECOC, программное обеспечение устанавливает применимые свойства на их значения по умолчанию.

Обучите и перекрестный подтвердите классификатор ECOC с помощью шаблона SVM. Преобразуйте классификационные оценки, чтобы классифицировать апостериорные вероятности (возвращенный kfoldPredict) использование 'FitPosterior' аргумент пары "имя-значение". Задайте порядок класса.

CVMdl = fitcecoc(X,Y,'Learners',t,'CrossVal','on','FitPosterior',true,...
    'ClassNames',classOrder);

CVMdl ClassificationPartitionedECOC модель. По умолчанию программное обеспечение использует 10-кратную перекрестную проверку.

Предскажите апостериорные вероятности класса сгиба валидации. Используйте 10 случайных начальных значений для алгоритма Kullback-Leibler.

[label,~,~,Posterior] = kfoldPredict(CVMdl,'NumKLInitializations',10);

Программное обеспечение присваивает наблюдение классу, который дает к самой маленькой средней бинарной потере. Поскольку все бинарные ученики вычисляют апостериорные вероятности, бинарной функцией потерь является quadratic.

Отобразите случайный набор результатов.

idx = randsample(size(X,1),10);
CVMdl.ClassNames
ans = 3x1 categorical
     setosa 
     versicolor 
     virginica 


table(Y(idx),label(idx),Posterior(idx,:),...
    'VariableNames',{'TrueLabel','PredLabel','Posterior'})
ans=10×3 table
    TrueLabel     PredLabel                   Posterior               
    __________    __________    ______________________________________

    versicolor    versicolor       0.00864       0.98243     0.0089298
    versicolor    virginica     2.2197e-14       0.12447       0.87553
    setosa        setosa             0.999    0.00022836    0.00076885
    versicolor    versicolor    2.2194e-14       0.98915      0.010848
    virginica     virginica       0.012318      0.012925       0.97476
    virginica     virginica      0.0015573     0.0015639       0.99688
    virginica     virginica      0.0042896     0.0043557       0.99135
    setosa        setosa             0.999    0.00028329    0.00071382
    virginica     virginica      0.0094654     0.0098159       0.98072
    setosa        setosa             0.999    0.00013559    0.00086195

Столбцы Posterior соответствуйте порядку класса CVMdl.ClassNames.

Этот пример использует:

Скрипт Open Live Script

Обучите мультикласс модель ECOC и оцените апостериорные вероятности с помощью параллельных вычислений.

Загрузите arrhythmia набор данных. Исследуйте данные об ответе Y.

load arrhythmia
Y = categorical(Y);
tabulate(Y)
  Value    Count   Percent
      1      245     54.20%
      2       44      9.73%
      3       15      3.32%
      4       15      3.32%
      5       13      2.88%
      6       25      5.53%
      7        3      0.66%
      8        2      0.44%
      9        9      1.99%
     10       50     11.06%
     14        4      0.88%
     15        5      1.11%
     16       22      4.87%

n = numel(Y);
K = numel(unique(Y));

Несколько классов не представлены в данных, и многие из других классов имеют низкие относительные частоты.

Задайте шаблон приобретения знаний ансамблем, который использует метод GentleBoost и 50 слабых учеников дерева классификации.

t = templateEnsemble('GentleBoost',50,'Tree');

t объект шаблона. Большинство опций пусто ([]). Программное обеспечение использует значения по умолчанию для всех пустых опций во время обучения.

Поскольку переменная отклика содержит много классов, задайте разреженный случайный проект кодирования.

rng(1); % For reproducibility
Coding = designecoc(K,'sparserandom');

Обучите и перекрестный подтвердите модель ECOC с помощью параллельных вычислений. Подходящие апостериорные вероятности (возвращенный kfoldPredict).

pool = parpool;                      % Invokes workers
Starting parallel pool (parpool) using the 'local' profile ...
connected to 6 workers.

options = statset('UseParallel',1);
CVMdl = fitcecoc(X,Y,'Learner',t,'Options',options,'Coding',Coding,...
    'FitPosterior',1,'CrossVal','on');
Warning: One or more folds do not contain points from all the groups.

CVMdl ClassificationPartitionedECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Можно задать различное количество сгибов с помощью 'KFold' аргумент пары "имя-значение".

Пул вызывает шесть рабочих, несмотря на то, что количество рабочих может варьироваться среди систем. Поскольку некоторые классы имеют низкую относительную частоту, один или несколько сгибов, скорее всего, не содержат наблюдения от всех классов.

Оцените апостериорные вероятности и отобразите апостериорную вероятность того, чтобы быть классифицированным как то, чтобы не давать аритмии (класса 1) данные для случайного набора наблюдений сгиба валидации.

[~,~,~,posterior] = kfoldPredict(CVMdl,'Options',options);
idx = randsample(n,10);
table(idx,Y(idx),posterior(idx,1),...
    'VariableNames',{'OOFSampleIndex','TrueLabel','PosteriorNoArrhythmia'})
ans=10×3 table
    OOFSampleIndex    TrueLabel    PosteriorNoArrhythmia
    ______________    _________    _____________________

         171             1                0.33654       
         221             1                0.85135       
          72             16                0.9174       
           3             10              0.025649       
         202             1                 0.8438       
         243             1                 0.9435       
          18             1                0.81198       
          49             6               0.090154       
         234             1                0.61625       
         315             1                0.97187

Входные параметры

свернуть все

Перекрестная подтвержденная модель ECOC в виде ClassificationPartitionedECOC модель. Можно создать ClassificationPartitionedECOC модель двумя способами:

  • Передайте обученную модель ECOC (ClassificationECOC) к crossval.

  • Обучите использование модели ECOC fitcecoc и задайте любой из этих аргументов пары "имя-значение" перекрестной проверки: 'CrossVal', 'CVPartition', 'Holdout', 'KFold', или 'Leaveout'.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: kfoldPredict(CVMdl,'PosteriorMethod','qp') задает, чтобы оценить апостериорные вероятности мультикласса путем решения задачи наименьших квадратов с помощью квадратичного программирования.

Бинарная функция потерь ученика в виде разделенной запятой пары, состоящей из 'BinaryLoss' и встроенное имя функции потерь или указатель на функцию.

  • Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j, и g (yj, sj) является бинарной формулой потерь.

    ЗначениеОписаниеОбласть счетаg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
    'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
    'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
    'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

    Программное обеспечение нормирует бинарные потери так, чтобы потеря была 0.5 когда yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

  • Для пользовательской бинарной функции потерь, например, customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет эту форму:

    bLoss = customFunction(M,s)
    где:

    • M K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.

    • s 1 L вектором-строкой из классификационных оценок.

    • bLoss потеря классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.

    • K является количеством классов.

    • L является количеством бинарных учеников.

    Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

BinaryLoss по умолчанию значение зависит от областей значений счета, возвращенных бинарными учениками. Эта таблица описывает некоторый BinaryLoss по умолчанию значения на основе данных предположений.

ПредположениеЗначение по умолчанию
Все бинарные ученики являются SVMs или или линейный или модели классификации ядер учеников SVM.'hinge'
Все бинарные ученики являются ансамблями, обученными AdaboostM1 или GentleBoost.'exponential'
Все бинарные ученики являются ансамблями, обученными LogitBoost.'binodeviance'
Все бинарные ученики линейны или модели классификации ядер учеников логистической регрессии. Или, вы задаете, чтобы предсказать апостериорные вероятности класса установкой 'FitPosterior',true \in fitcecoc.'quadratic'

Чтобы проверять значение по умолчанию, используйте запись через точку, чтобы отобразить BinaryLoss свойство обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема Decoding, которая агрегировала бинарные потери в виде разделенной запятой пары, состоящей из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

Количество случайных начальных значений для подбора кривой апостериорным вероятностям минимизацией расхождения Kullback-Leibler в виде разделенной запятой пары, состоящей из 'NumKLInitializations' и неотрицательный целочисленный скаляр.

Если вы не запрашиваете четвертый выходной аргумент (Posterior) и набор 'PosteriorMethod','kl' (значение по умолчанию), затем программное обеспечение игнорирует значение NumKLInitializations.

Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.

Пример: 'NumKLInitializations',5

Типы данных: single | double

Опции оценки в виде разделенной запятой пары, состоящей из 'Options' и массив структур, возвращенный statset.

Вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Метод оценки апостериорной вероятности в виде разделенной запятой пары, состоящей из 'PosteriorMethod' и 'kl' или 'qp'.

  • Если PosteriorMethod 'kl', затем программное обеспечение оценивает апостериорные вероятности мультикласса путем минимизации расхождения Kullback-Leibler между предсказанными и ожидаемыми апостериорными вероятностями, возвращенными бинарными учениками. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.

  • Если PosteriorMethod 'qp', затем программное обеспечение оценивает апостериорные вероятности мультикласса путем решения задачи наименьших квадратов с помощью квадратичного программирования. Вам нужна лицензия Optimization Toolbox™, чтобы использовать эту опцию. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Квадратичное программирование.

  • Если вы не запрашиваете четвертый выходной аргумент (Posterior), затем программное обеспечение игнорирует значение PosteriorMethod.

Пример: 'PosteriorMethod','qp'

Уровень многословия в виде разделенной запятой пары, состоящей из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose 0, затем программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

Предсказанные метки класса, возвращенные как категориальное или символьный массив, логический или числовой вектор или массив ячеек из символьных векторов.

label имеет совпадающий тип данных и количество строк как CVMdl.Y.

Программное обеспечение предсказывает классификацию наблюдения путем присвоения наблюдения классу, дающему к самой большой отрицаемой средней бинарной потере (или, эквивалентно, самой маленькой средней бинарной потере).

Отрицаемые средние бинарные потери, возвращенные как числовая матрица. NegLoss n-by-K матрица, где n является количеством наблюдений (size(CVMdl.X,1)) и K является количеством уникальных классов (size(CVMdl.ClassNames,1)).

Музыка положительного класса к каждому бинарному ученику, возвращенному как числовая матрица. PBScore n-by-L матрица, где n является количеством наблюдений (size(CVMdl.X,1)) и L является количеством бинарных учеников (size(CVMdl.CodingMatrix,2)).

Если матрица кодирования варьируется через сгибы (то есть, схемой кодирования является sparserandom или denserandom), затем PBScore isempty).

Следующие вероятности класса, возвращенные как числовая матрица. Posterior n-by-K матрица, где n является количеством наблюдений (size(CVMdl.X,1)) и K является количеством уникальных классов (size(CVMdl.ClassNames,1)).

Необходимо установить 'FitPosterior',1 когда обучение перекрестное подтвержденное использование модели ECOC fitcecoc для того, чтобы запросить Posterior. В противном случае программное обеспечение выдает ошибку.

Больше о

свернуть все

Бинарная потеря

binary loss является функцией класса и классификационной оценки, которая определяет, как хорошо бинарный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) проекта кодирования матричный M (то есть, код, соответствующий классу k бинарного ученика j).

  • sj является счетом бинарного ученика j для наблюдения.

  • g является бинарной функцией потерь.

  • k^ предсказанный класс для наблюдения.

В loss-based decoding [Escalera и al.], класс, производящий минимальную сумму бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argmink∑j=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera и al.], класс, производящий минимальное среднее значение бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argmink∑j=1L|mkj|g(mkj,sj)∑j=1L|mkj|.

Allwein и др. предполагают, что взвешенное потерей декодирование улучшает точность классификации путем хранения значений потерь для всех классов в том же динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j и g (yj, sj).

ЗначениеОписаниеОбласть счетаg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5, когда yj = 0, и агрегировал использование среднего значения бинарных учеников [Allwein и al.].

Не путайте бинарную потерю с полной потерей классификации (заданный 'LossFun' аргумент пары "имя-значение" loss и predict возразите функциям), который измеряется, как хорошо классификатор ECOC выполняет в целом.

Алгоритмы

свернуть все

Программное обеспечение может оценить апостериорные вероятности класса путем минимизации расхождения Kullback-Leibler или при помощи квадратичного программирования. Для следующих описаний следующих алгоритмов оценки примите что:

  • mkj является элементом (k, j) проекта кодирования матричный M.

  • I является функцией индикатора.

  • p^k оценка апостериорной вероятности класса для класса k наблюдения, k = 1..., K.

  • rj является апостериорной вероятностью положительного класса для бинарного ученика j. Таким образом, rj является вероятностью, что бинарный ученик j классифицирует наблюдение в положительный класс, учитывая обучающие данные.

Следующая оценка Используя расхождение Kullback-Leibler

По умолчанию программное обеспечение минимизирует расхождение Kullback-Leibler, чтобы оценить апостериорные вероятности класса. Расхождение Kullback-Leibler между ожидаемыми и наблюдаемыми апостериорными вероятностями положительного класса

Δ(r,r^)=∑j=1Lwj[rjlogrjr^j+(1−rj)log1−rj1−r^j],

где wj=∑Sjwi∗ вес для бинарного ученика j.

  • Sj является набором индексов наблюдения, на котором бинарном ученике обучен j.

  • wi∗ вес наблюдения i.

Программное обеспечение минимизирует расхождение итеративно. Первый шаг должен выбрать начальные значения p^k(0);  k=1,...,K для апостериорных вероятностей класса.

  • Если вы не задаете 'NumKLIterations', затем программное обеспечение пробует оба набора детерминированных начальных значений, описанных затем, и выбирает набор, который минимизирует Δ.

    • p^k(0)=1/K;  k=1,...,K.

    • p^k(0);  k=1,...,K решение системы

      M01p^(0)=r,

      где M 01 является M со всем mkj = –1 замененный с 0, и r является вектором из апостериорных вероятностей положительного класса, возвращенных двоичными учениками L [Dietterich и al.]. Использование программного обеспечения lsqnonneg решить систему.

  • Если вы задаете 'NumKLIterations',c, где c натуральное число, затем программное обеспечение делает следующее, чтобы выбрать набор p^k(0);  k=1,...,K, и выбирает набор, который минимизирует Δ.

    • Программное обеспечение пробует оба набора детерминированных начальных значений, аналогичных описанному ранее.

    • Программное обеспечение случайным образом генерирует c векторы из длины использование K rand, и затем нормирует каждый вектор, чтобы суммировать к 1.

В итерации t программное обеспечение завершает эти шаги:

  1. Вычислить

    r^j(t)=∑k=1Kp^k(t)I(mkj=+1)∑k=1Kp^k(t)I(mkj=+1∪mkj=−1).

  2. Оцените использование апостериорной вероятности следующего класса

    p^k(t+1)=p^k(t)∑j=1Lwj[rjI(mkj=+1)+(1−rj)I(mkj=−1)]∑j=1Lwj[r^j(t)I(mkj=+1)+(1−r^j(t))I(mkj=−1)].

  3. Нормировать p^k(t+1);  k=1,...,K так, чтобы они суммировали к 1.

  4. Проверяйте на сходимость.

Для получения дополнительной информации смотрите [Hastie и al.] и [Zadrozny].

Следующая оценка Используя квадратичное программирование

Оценка апостериорной вероятности с помощью квадратичного программирования требует лицензии Optimization Toolbox. Чтобы оценить апостериорные вероятности для наблюдения с помощью этого метода, программное обеспечение завершает эти шаги:

  1. Оцените апостериорные вероятности положительного класса, rj, для бинарных учеников j = 1..., L.

  2. Используя отношение между rj и p^k [Ву и al.], минимизировать

    ∑j=1L[−rj∑k=1Kp^kI(mkj=−1)+(1−rj)∑k=1Kp^kI(mkj=+1)]2

    относительно p^k и ограничения

    0≤p^k≤1∑kp^k=1.

    Программное обеспечение выполняет использование минимизации quadprog (Optimization Toolbox).

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classifiers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Dietterich, T. и Г. Бакири. “Решая задачи Изучения Мультикласса С помощью Выходных Кодов С коррекцией ошибок”. Журнал Исследования Искусственного интеллекта. Издание 2, 1995, стр 263–286.

[3] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[4] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

[5] Hastie, T. и Р. Тибширэни. “Классификация Попарной Связью”. Летопись Статистики. Издание 26, Выпуск 2, 1998, стр 451–471.

[6] Ву, T. F. К. Дж. Лин и Р. Вэн. “Оценки вероятности для Классификации Мультиклассов Попарной Связью”. Журнал Исследования Машинного обучения. Издание 5, 2004, стр 975–1005.

[7] Zadrozny, B. “Уменьшая Мультикласс до Двоичного файла путем Связи Оценок Вероятности”. NIPS 2001: Продолжения Усовершенствований в Нейронных Системах обработки информации 14, 2001, стр 1041–1048.

Расширенные возможности

Смотрите также

| | | | | | (Optimization Toolbox)

Темы

Введенный в R2014b

Документация Statistics and Machine Learning Toolbox

Поддержка

Для просмотра документации необходимо авторизоваться на сайте