kfoldPredict

Предсказать метки для наблюдений, не используемых для обучения

Синтаксис

Label = kfoldPredict(CVMdl)

Label = kfoldPredict(CVMdl,Name,Value)

[Label,NegLoss,PBScore]
= kfoldPredict(___)

[Label,NegLoss,PBScore,Posterior]
= kfoldPredict(___)

Описание

пример

Label = kfoldPredict(CVMdl) возвращает метки классов, предсказанные перекрестной проверенной моделью ECOC, состоящей из линейных классификационных моделей CVMdl. То есть для каждой складки kfoldPredict предсказывает метки классов для наблюдений, которые они выполняются при обучении с использованием всех других наблюдений. kfoldPredict применяет те же данные, что и при создании CVMdl (см. fitcecoc).

Кроме того, Label содержит метки классов для каждой степени регуляризации в линейных классификационных моделях, которые составляют CVMdl.

пример

Label = kfoldPredict(CVMdl,Name,Value) возвращает предсказанные метки классов с дополнительными опциями, заданными одним или несколькими Name,Value аргументы в виде пар. Для примера задайте апостериорный метод оценки вероятностей, схему декодирования или уровень подробностей.

пример

[Label,NegLoss,PBScore] = kfoldPredict(___) дополнительно возвращается, для удерживаемых наблюдений и каждой регуляризационной прочности:

Отрицательные значения средних двоичных потерь на класс (NegLoss).
Положительный класс счетов (PBScore) для каждого двоичного ученика.

пример

[Label,NegLoss,PBScore,Posterior] = kfoldPredict(___) дополнительно возвращает апостериорные оценки вероятностей классов для удерживаемых наблюдений и для каждой силы регуляризации. Чтобы вернуть апостериорные вероятности, учащиеся линейной классификационной модели должны быть логистическими регрессиоными моделями.

Входные параметры

расширить все

`CVMdl` - Перекрестная проверенная модель ECOC, состоящая из линейных классификационных моделей
`ClassificationPartitionedLinearECOC` объект модели

Перекрестная проверенная модель ECOC, состоящая из линейных классификационных моделей, заданных как ClassificationPartitionedLinearECOC объект модели. Можно создать ClassificationPartitionedLinearECOC модель с использованием fitcecoc и:

Указание любого из аргументов пары "имя-значение", например CrossVal
Установка аргумента пары "имя-значение" Learners на 'linear' или шаблон линейной классификационной модели, возвращенный templateLinear

Для получения оценок kfoldPredict применяет те же данные, что и для перекрестной проверки модели ECOC (X и Y).

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

`'BinaryLoss'` - Бинарная функция потерь для учащихся
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

Двоичная функция потерь учащегося, заданная как разделенная разделенными запятой парами, состоящая из 'BinaryLoss' и встроенное имя функции потери или указатель на функцию.

Эта таблица содержит имена и описания встроенных функций, где _yj является меткой класса для конкретного двоичного ученика (в наборе {-1,1,0}), _sj является счетом для j наблюдений и g (_yj, sj) является формулой двоичных потерь.

Значение	Описание	Счет	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	log [1 + exp (-₂ _yjsj) ]/[ 2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp (- _yjsj )/2
`'hamming'`	Хэмминг	[0,1] или (- ∞, ∞)	[1 - знак (_yjsj) ]/2
`'hinge'`	Стержень	(–∞,∞)	макс (0,1 - _yjsj )/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(- _yjsj) ]/[ 2log (2)]
`'quadratic'`	Квадратный	[0,1]	[1 – _yj (2 _sj – 1)]²/2

Программа нормализует двоичные потери так, что потеря составляет 0,5 при _yj = 0. Кроме того, программное обеспечение вычисляет средние двоичные потери для каждого класса.

Для пользовательской функции двоичных потерь, например customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.
customFunction должна иметь эту форму
```
bLoss = customFunction(M,s)
```
где:
- M - K матрица кодирования L, сохраненная в Mdl.CodingMatrix.
- s - вектор-строка L 1 байта классификационных баллов.
- bLoss - классификационные потери. Этот скаляр агрегирует двоичные потери для каждого учащегося в конкретном классе. Для примера можно использовать среднее значение двоичных потерь для агрегирования потерь по учащимся для каждого класса.
- K - количество классов.
- L - это количество двоичных учащихся.
Для примера передачи пользовательской функции двоичных потерь смотрите Предсказание меток теста-образца модели ECOC с помощью Пользовательской функции двоичных потерь.

По умолчанию, если все двоичные ученики являются линейными моделями классификации с помощью:

SVM, затем BinaryLoss является 'hinge'
Логистическая регрессия, затем BinaryLoss является 'quadratic'

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

`'Decoding'` - Схема декодирования
`'lossweighted'` (по умолчанию) | `'lossbased'`

Схема декодирования, которая агрегирует двоичные потери, заданные как разделенная разделенными запятой парами, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Двоичные потери.

Пример: 'Decoding','lossbased'

`'NumKLInitializations'` - Количество случайных начальных значений
`0` (по умолчанию) | неотрицательное целое число

Количество случайных начальных значений для подбора кривой апостериорных вероятностей путем минимизации расхождения Кулбака-Лейблера, заданное как разделенная разделенными запятой парами, состоящая из 'NumKLInitializations' и неотрицательное целое число.

Чтобы использовать эту опцию, вы должны:

Верните четвертый выходной аргумент (Posterior).
Линейные классификационные модели, которые составляют модели ECOC, должны использовать учителей логистической регрессии (то есть CVMdl.Trained{1}.BinaryLearners{1}.Learner должен быть 'logistic').
PosteriorMethod должен быть 'kl'.

Для получения дополнительной информации см. «Апостериорная оценка с использованием расхождения Кулбэка-Лейблера».

Пример: 'NumKLInitializations',5

Типы данных: single | double

`'Options'` - опции оценки
`[]` (по умолчанию) | массив структур, возвращенный `statset`

Опции оценки, заданные как разделенная разделенными запятой парами, состоящая из 'Options' и массив структур, возвращенный statset.

Чтобы вызвать параллельные вычисления:

Вам нужна лицензия Parallel Computing Toolbox™.
Задайте 'Options',statset('UseParallel',true).

`'PosteriorMethod'` - Апостериорный метод оценки вероятностей
`'kl'` (по умолчанию) | `'qp'`

Апостериорный метод оценки вероятности, заданный как разделенная разделенными запятой парами, состоящая из 'PosteriorMethod' и 'kl' или 'qp'.

Чтобы использовать эту опцию, вы должны вернуть четвертый выходной аргумент (Posterior) и линейные классификационные модели, которые составляют модели ECOC, должны использовать учителей логистической регрессии (то есть CVMdl.Trained{1}.BinaryLearners{1}.Learner должен быть 'logistic').
Если PosteriorMethod является 'kl'затем программное обеспечение оценивает многоклассовые апостериорные вероятности путем минимизации расхождения Кулбэка-Лейблера между предсказанной и ожидаемой апостериорной вероятностями, возвращенными двоичными учениками. Для получения дополнительной информации смотрите Апостериорную оценку с использованием расхождения Кулбэка-Лейблера.
Если PosteriorMethod является 'qp'затем программное обеспечение оценивает многоклассовые апостериорные вероятности путем решения задачи наименьших квадратов с помощью квадратичного программирования. Чтобы использовать эту опцию, вам нужна лицензия Optimization Toolbox™. Для получения дополнительной информации смотрите Апостериорную оценку с использованием квадратичного программирования.

Пример: 'PosteriorMethod','qp'

`'Verbose'` - Уровень подробностей
`0` (по умолчанию) | `1`

Уровень подробностей, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, которые программное обеспечение отображений в Командном окне.

Если Verbose является 0тогда программа не отображает диагностические сообщения. В противном случае программа отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

расширить все

`Label` - Перекрестно проверенные, предсказанные метки классов
категориальный массив | символьный массив | логическая матрица | числовая матрица | массив ячеек из векторов символов

Перекрестно проверенные, предсказанные метки классов, возвращенные как категориальный или символьный массив, логическая или числовая матрица или массив ячеек из векторов символов.

В большинстве случаев Label является n -by - L массивом того совпадающего типа данных, что и наблюдаемые метки классов (Y) используется для создания CVMdl. (Программа обрабатывает массивы строк как массивы ячеек векторов символов.) n - количество наблюдений в данных предиктора (X) и L количество степеней регуляризации в линейных классификационных моделях, которые составляют перекрестно проверенную модель ECOC. То есть метка (i, j) - предсказанная метка класса для наблюдения i использование модели ECOC линейных классификационных моделей, которая имеет силу регуляризации CVMdl.Trained {1} .BinaryLearners {1} .Lambda (j).

Если Y является символьный массив и L > 1, затем Label - массив ячеек с метками классов.

Программа присваивает предсказанную метку, соответствующую классу с самыми большими, отрицательными, средними двоичными потерями (NegLoss), или, что эквивалентно, наименьшие средние бинарные потери.

`NegLoss` - Перекрестно проверенные, отрицательные, средние двоичные потери
числовой массив

Перекрестно проверенные, отрицанные, средние двоичные потери, возвращенные как n -by- K -by- L числовая матрица или массив. K - количество различных классов в обучающих данных, и столбцы соответствуют классам в CVMdl.ClassNames. Для получения n и L см. Label. NegLoss (i, k, j) - отрицательные средние двоичные потери для классификации наблюдений i в k классов использование линейной классификационной модели, которая имеет силу регуляризации CVMdl.Trained {1} .BinaryLoss {1} .Lambda (j).

`PBScore` - Перекрестно проверенные, положительные счета класса
числовой массив

Перекрестно проверенные счета положительного класса, возвращенные как n -by- B -by- L числовой массив. B - количество двоичных учащихся в перекрестно проверенной модели ECOC, и столбцы соответствуют двоичным ученикам в CVMdl.Trained{1}.BinaryLearners. Для получения n и L см. Label. PBScore (i, b, j) - положительный счет двоичного b учащихся для классификации наблюдений i в свой положительный класс, используя линейную модель классификации, которая имеет силу регуляризации CVMdl.Trained {1} .BinaryLearners {1} .Lambda (j).

Если матрица кодирования изменяется между складками (то есть, если схема кодирования sparserandom или denserandom), затем PBScore пуст ([]).

`Posterior` - Перекрестно проверенные вероятности апостериорных классов
числовой массив

Перекрестно проверенные вероятности апостериорных классов, возвращенные как n -by- K -by- L числовой массив. Определения размерностей см. в разделе NegLoss. Апостериорный (i, k, j) - апостериорная вероятность классификации наблюдений i в k классов использование линейной классификационной модели, которая имеет силу регуляризации CVMdl.Trained {1} .BinaryLearners {1} .Lambda (j).

Чтобы вернуть апостериорные вероятности, CVMdl.Trained{1}.BinaryLearner{1}.Learner должен быть 'logistic'.

Примеры

расширить все

Предсказание k-кратных меток перекрестной валидации

Открыть Live Script

Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных предиктора, и Y является категориальным вектором меток классов.

Перекрестная проверка модели линейной классификации ECOC.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является ClassificationPartitionedLinearECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию.

Спрогнозируйте метки для наблюдений, которые fitcecoc не использовал при обучении складок.

label = kfoldPredict(CVMdl);

Потому что есть одна сила регуляризации в CVMdl, label - вектор-столбец предсказаний, содержащая столько строк, сколько наблюдений в X.

Создайте матрицу неточностей.

cm = confusionchart(Y,label);

Figure contains an object of type ConfusionMatrixChart.

Задайте пользовательские двоичные потери

Открыть Live Script

Загрузите набор данных NLP. Транспонируйте данные предиктора.

load nlpdata
X = X';

Для простоты используйте метку 'others' для всех наблюдений в Y которые не 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте шаблон модели линейной классификации, который задает оптимизацию целевой функции с помощью SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестная валидация модели линейной классификации ECOC с помощью 5-кратной перекрестной валидации. Задайте, что наблюдения предиктора соответствуют столбцам.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learners',t,'KFold',5,'ObservationsIn','columns');
CMdl1 = CVMdl.Trained{1}

CMdl1 = 
  CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6x1 cell}
      CodingMatrix: [4x6 double]


  Properties, Methods

CVMdl является ClassificationPartitionedLinearECOC модель. Оно содержит свойство Trained, который является массивом ячеек 5 на 1, содержащим CompactClassificationECOC моделирует, что программное обеспечение обучалось с использованием набора обучающих данных каждой складки.

По умолчанию в линейных классификационных моделях, которые составляют модели ECOC, используются SVM. Счета SVM являются подписанными расстояниями от наблюдения до контура принятия решения. Поэтому область является $(- \infty, \infty)$ . Создайте пользовательскую функцию двоичных потерь, которая:

Сопоставляет матрицу проекта кодирования (M) и классификационные оценки (оценки ) (ы) положительного класса для каждого учащегося с двоичными потерями для каждого наблюдения
Использует линейные потери
Агрегирует двоичные потери учащегося с помощью медианы.

Можно создать отдельную функцию для функции двоичных потерь, а затем сохранить ее в пути MATLAB ®. Или можно задать анонимную функцию двоичных потерь.

customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;

Спрогнозируйте метки перекрестной валидации и оцените медианные двоичные потери по классам. Печать медианы отрицательных двоичных потерь на класс для случайного набора из 10 несовпадающих наблюдений.

[label,NegLoss] = kfoldPredict(CVMdl,'BinaryLoss',customBL);

idx = randsample(numel(label),10);
table(Y(idx),label(idx),NegLoss(idx,1),NegLoss(idx,2),NegLoss(idx,3),...
    NegLoss(idx,4),'VariableNames',[{'True'};{'Predicted'};...
    categories(CVMdl.ClassNames)])

ans=10×6 table
      True      Predicted      comm         dsp       simulink    others 
    ________    _________    _________    ________    ________    _______

    others      others         -1.2319     -1.0488    0.048758     1.6175
    simulink    simulink       -16.407     -12.218      21.531     11.218
    dsp         dsp            -0.7387    -0.11534    -0.88466    -0.2613
    others      others         -0.1251     -0.8749    -0.99766    0.14517
    dsp         dsp             2.5867      6.4187     -3.5867    -4.4165
    others      others       -0.025358     -1.2287    -0.97464    0.19747
    others      others         -2.6725    -0.56708    -0.51092     2.7453
    others      others         -1.1605    -0.88321    -0.11679    0.43504
    others      others         -1.9511     -1.3175     0.24735    0.95111
    simulink    others          -7.848     -5.8203      4.8203     6.8457

Программа прогнозирует метку на основе максимальных отрицательных потерь.

Оценка вероятностей апостериорных классов

Этот пример использует:

Открыть скрипт

Модели ECOC, состоящие из линейных классификационных моделей, возвращают апостериорные вероятности только для учащихся с логистической регрессией. Этот пример требует Parallel Computing Toolbox™ и Optimization Toolbox™

Загрузите набор данных NLP и предварительно обработайте данные как в Specific Custom Binary Loss.

load nlpdata
X = X';
Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте набор из 5 логарифмически разнесенных сильных сторон регуляризации от $10^{-5}$ до. $10^{-0.5}$

Lambda = logspace(-6,-0.5,5);

Создайте шаблон модели линейной классификации, который задает оптимизацию целевой функции с помощью SpaRSA и использовать учителей логистической регрессии.

t = templateLinear('Solver','sparsa','Learner','logistic','Lambda',Lambda);

Перекрестная валидация модели линейной классификации ECOC с помощью 5-кратной перекрестной валидации. Задайте, что наблюдения предиктора соответствуют столбцам, и используйте параллельные вычисления.

rng(1); % For reproducibility
Options = statset('UseParallel',true);
CVMdl = fitcecoc(X,Y,'Learners',t,'KFold',5,'ObservationsIn','columns',...
    'Options',Options);

Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).

Спрогнозируйте перекрестно проверенные вероятности апостериорных классов. Задайте, чтобы использовать параллельные вычисления и оценить апостериорные вероятности с помощью квадратичного программирования.

[label,~,~,Posterior] = kfoldPredict(CVMdl,'Options',Options,...
    'PosteriorMethod','qp');
size(label)
label(3,4)
size(Posterior)
Posterior(3,:,4)

ans =

       31572           5


ans = 

  categorical

     others 


ans =

       31572           4           5


ans =

    0.0285    0.0373    0.1714    0.7627

Потому что существует пять сильных сторон регуляризации:

label представляет собой категориальный массив 31572 на 5. label(3,4) - предсказанная, перекрестно проверенная метка для наблюдения 3 с использованием модели, обученной с силой регуляризации Lambda(4).
Posterior является матрицей 31572 на 4 на 5. Posterior(3,:,4) - вектор всех оцененных апостериорных вероятностей классов для наблюдения 3 с использованием модели, обученной с силой регуляризации Lambda(4). Порядок второго измерения соответствует CVMdl.ClassNames. Отобразите случайный набор из 10 вероятностей апостериорных классов.

Отобразите случайную выборку перекрестно проверенных меток и апостериорных вероятностей для модели, обученной с помощью Lambda(4).

idx = randsample(size(label,1),10);
table(Y(idx),label(idx,4),Posterior(idx,1,4),Posterior(idx,2,4),...
    Posterior(idx,3,4),Posterior(idx,4,4),...
    'VariableNames',[{'True'};{'Predicted'};categories(CVMdl.ClassNames)])

ans =

  10×6 table

      True      Predicted       comm          dsp        simulink     others  
    ________    _________    __________    __________    ________    _________

    others      others         0.030275      0.022142     0.10416      0.84342
    simulink    simulink     3.4954e-05    4.2982e-05     0.99832    0.0016016
    dsp         others          0.15787       0.25718     0.18848      0.39647
    others      others         0.094177      0.062712     0.12921      0.71391
    dsp         dsp           0.0057979       0.89703    0.015098     0.082072
    others      others         0.086084      0.054836    0.086165      0.77292
    others      others        0.0062338     0.0060492    0.023816       0.9639
    others      others          0.06543      0.075097     0.17136      0.68812
    others      others         0.051843      0.025566     0.13299       0.7896
    simulink    simulink     0.00044059    0.00049753     0.70958      0.28948

Подробнее о

расширить все

Двоичные потери

binary loss является функцией класса и классификационной оценки, которая определяет, насколько хорошо двоичный ученик классифицирует наблюдение в класс.

Предположим следующее:

_mkj является элементом (k, j) матрицы разработки кодирования M (то есть кода, соответствующего k классов двоичных j обучающегося).
_sj - этот счет двоичных j учащихся для наблюдения.
g является функцией двоичных потерь.
$\hat{k}$ - предсказанный класс для наблюдения.

В loss-based decoding [Escalera et al.] класс, производящий минимальную сумму двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

$\hat{k} = \underset{k}{argmin} \sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j}) .$

В loss-weighted decoding [Escalera et al.] класс, производящий минимальное среднее значение двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

$\hat{k} = \underset{k}{argmin} \frac{\sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j})}{\sum_{j = 1}^{L} | m_{k j} |} .$

Allwein et al. предположим, что утраченное декодирование повышает точность классификации путем сохранения значений потерь для всех классов в одной динамической области значений.

В этой таблице приведены поддерживаемые функции потерь, где _yj является меткой класса для конкретного двоичного обучающегося (в наборе {-1,1,0}), _sj является счетом для j наблюдений и g (_yj, sj).

Значение	Описание	Счет	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	log [1 + exp (-₂ _yjsj) ]/[ 2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp (- _yjsj )/2
`'hamming'`	Хэмминг	[0,1] или (- ∞, ∞)	[1 - знак (_yjsj) ]/2
`'hinge'`	Стержень	(–∞,∞)	макс (0,1 - _yjsj )/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(- _yjsj) ]/[ 2log (2)]
`'quadratic'`	Квадратный	[0,1]	[1 – _yj (2 _sj – 1)]²/2

Программа нормализует двоичные потери таким образом, что потеря составляет 0,5 при _yj = 0, и агрегирует, используя среднее значение двоичных учащихся [Allwein et al.].

Не путайте двоичные потери с общими классификационными потерями (заданными 'LossFun' Аргумент пары "имя-значение" из loss и predict функции объекта), который измеряет, насколько хорошо классификатор ECOC работает в целом.

Алгоритмы

расширить все

Программа может оценить апостериорные вероятности класса путем минимизации расхождения Кулбэка-Лейблера или с помощью квадратичного программирования. Для следующих описаний алгоритмов апостериорной оценки примите, что:

_mkj - элемент (k, j) матричной M проекта кодирования.
I является функцией индикации.
${\hat{p}}_{k}$ - классовая апостериорная оценка вероятности для класса k наблюдения, k = 1,..., K.
_rj является апостериорной вероятностью положительного класса для двоичных j учащегося. То есть _rj вероятность того, что двоичный j учащегося классифицирует наблюдение в положительный класс, учитывая обучающие данные.

Апостериорная оценка с использованием расхождения Куллбэка-Лейблера

По умолчанию программное обеспечение минимизирует расхождение Кулбэка-Лейблера, чтобы оценить апостериорные вероятности класса. Расхождение Куллбэка-Лейблера между ожидаемыми и наблюдаемыми апостериорными вероятностями положительного класса является

$Δ (r, \hat{r}) = \sum_{j = 1}^{L} w_{j} [r_{j} \log \frac{r_{j}}{{\hat{r}}_{j}} + (1 - r_{j}) \log \frac{1 - r_{j}}{1 - {\hat{r}}_{j}}],$

где $w_{j} = \sum_{S_{j}} w_{i}^{*}$ - вес для двоичных j учащегося.

_Sj - это набор индексов наблюдений, на которых обучаются j двоичных учащихся.
$w_{i}^{*}$ - вес i наблюдений.

Программа итерационно минимизирует расхождение. Первым шагом является выбор начальных значений ${\hat{p}}_{k}^{(0)}; k = 1, ..., K$ для апостериорных вероятностей класса.

Если вы не задаете 'NumKLIterations'затем программа пробует оба набора детерминированных начальных значений, описанных далее, и выбирает набор, который минимизирует
- ${\hat{p}}_{k}^{(0)} = 1 / K; k = 1, ..., K .$
- ${\hat{p}}_{k}^{(0)}; k = 1, ..., K$ является решением системы
  
  $M_{01} {\hat{p}}^{(0)} = r,$
  где M ₀₁ M со всеми _mkj = -1, замененными на 0, и r является вектором апостериорных вероятностей положительного класса, возвращенных L двоичными учениками [Dietterich et al.]. Программное обеспечение используетlsqnonneg для решения системы.
Если вы задаете 'NumKLIterations',c, где c является натуральным числом, затем программное обеспечение делает следующее, чтобы выбрать набор ${\hat{p}}_{k}^{(0)}; k = 1, ..., K$ , и выбирает множество, которое минимизирует
- Программа пробует оба набора детерминированных начальных значений, как описано ранее.
- Программа случайным образом генерирует c векторы длины K использованием rand, и затем нормализует каждый вектор до суммы 1.

На t итерации программное обеспечение завершает следующие шаги:

Вычислить

${\hat{r}}_{j}^{(t)} = \frac{\sum_{k = 1}^{K} {\hat{p}}_{k}^{(t)} I (m_{k j} = + 1)}{\sum_{k = 1}^{K} {\hat{p}}_{k}^{(t)} I (m_{k j} = + 1 \cup m_{k j} = - 1)} .$
Оцените апостериорную вероятность следующего класса, используя

${\hat{p}}_{k}^{(t + 1)} = {\hat{p}}_{k}^{(t)} \frac{\sum_{j = 1}^{L} w_{j} [r_{j} I (m_{k j} = + 1) + (1 - r_{j}) I (m_{k j} = - 1)]}{\sum_{j = 1}^{L} w_{j} [{\hat{r}}_{j}^{(t)} I (m_{k j} = + 1) + (1 - {\hat{r}}_{j}^{(t)}) I (m_{k j} = - 1)]} .$
Нормализовать ${\hat{p}}_{k}^{(t + 1)}; k = 1, ..., K$ так что они равны 1.
Проверяйте на сходимость.

Для получения дополнительной информации см. [Hastie et al.] и [Zadrozny].

Апостериорная оценка с использованием квадратичного программирования

Апостериорная оценка вероятности с использованием квадратичного программирования требует лицензии Optimization Toolbox. Чтобы оценить апостериорные вероятности для наблюдения с помощью этого метода, программное обеспечение завершает следующие шаги:

Оцените апостериорные вероятности положительного класса, _rj, для двоичных учащихся j = 1,..., L.
Использование связи между _rj и ${\hat{p}}_{k}$ [Wu et al.], минимизировать

$\sum_{j = 1}^{L} {[- r_{j} \sum_{k = 1}^{K} {\hat{p}}_{k} I (m_{k j} = - 1) + (1 - r_{j}) \sum_{k = 1}^{K} {\hat{p}}_{k} I (m_{k j} = + 1)]}^{2}$
по отношению к ${\hat{p}}_{k}$ и ограничения

$\begin{array}{l} 0 \leq {\hat{p}}_{k} \leq 1 \\ \sum_{k} {\hat{p}}_{k} = 1. \end{array}$
Программное обеспечение выполняет минимизацию, используя quadprog (Optimization Toolbox).

Ссылки

[1] Allwein, E., R. Schapire, and Y. Singer. «Сокращение многоклассового числа до двоичного: Унифицирующий подход к маржинальным classiﬁers». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.

[2] Диттерих, Т., и Г. Бакири. «Решение многоклассовых задач обучения с помощью выходных кодов с исправлением ошибок». Журнал исследований искусственного интеллекта. Том 2, 1995, стр. 263-286.

[3] Эскалера, С., О. Пужоль, и П. Радева. «О процессе декодирования в троичных выходных кодах с исправлением ошибок». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 32, Выпуск 7, 2010, стр. 120-134.

[4] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Pattern Recogn (Повторный вызов шаблона). Том 30, Выпуск 3, 2009, стр. 285-297.

[5] Хасти, Т. и Р. Тибширани. Классификация по парному соединению. Анналы статистики. Том 26, Выпуск 2, 1998, стр. 451-471.

[6] Wu, T. F., C. J. Лин и Р. Венг. «Оценки вероятностей для многоклассовой классификации по парным связям». Журнал исследований машинного обучения. Том 5, 2004, стр. 975-1005.

[7] Задрозный, Б. «Уменьшение мультикласса до двоичного путем связывания оценок вероятностей». NIPS 2001: Труды по усовершенствованиям в системах нейронной обработки информации 14, 2001, стр. 1041-1048.

Расширенные возможности

Автоматическая параллельная поддержка
Ускорите код путем автоматического выполнения расчетов параллельно с помощью Parallel Computing Toolbox™.

Чтобы выполнять параллельно, задайте 'Options' аргумент имя-значение в вызове этой функции и установите 'UseParallel' поле структуры опций для true использование statset.

Для примера: 'Options',statset('UseParallel',true)

Для получения дополнительной информации о параллельных вычислениях смотрите Запуск функций MATLAB с автоматической поддержкой параллельных вычислений (Parallel Computing Toolbox).

См. также

Темы

Введенный в R2016a

Документация

kfoldPredict

Синтаксис

Описание

Входные параметры

`CVMdl` - Перекрестная проверенная модель ECOC, состоящая из линейных классификационных моделей
`ClassificationPartitionedLinearECOC` объект модели

Аргументы в виде пар имя-значение

`'BinaryLoss'` - Бинарная функция потерь для учащихся
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

`'Decoding'` - Схема декодирования
`'lossweighted'` (по умолчанию) | `'lossbased'`

`'NumKLInitializations'` - Количество случайных начальных значений
`0` (по умолчанию) | неотрицательное целое число

`'Options'` - опции оценки
`[]` (по умолчанию) | массив структур, возвращенный `statset`

`'PosteriorMethod'` - Апостериорный метод оценки вероятностей
`'kl'` (по умолчанию) | `'qp'`

`'Verbose'` - Уровень подробностей
`0` (по умолчанию) | `1`

Выходные аргументы

`NegLoss` - Перекрестно проверенные, отрицательные, средние двоичные потери
числовой массив

`PBScore` - Перекрестно проверенные, положительные счета класса
числовой массив

`Posterior` - Перекрестно проверенные вероятности апостериорных классов
числовой массив

Примеры

Предсказание k-кратных меток перекрестной валидации

Задайте пользовательские двоичные потери

Оценка вероятностей апостериорных классов

Подробнее о

Двоичные потери

Алгоритмы

Апостериорная оценка с использованием расхождения Куллбэка-Лейблера

Апостериорная оценка с использованием квадратичного программирования

Ссылки

Расширенные возможности

Автоматическая параллельная поддержка
Ускорите код путем автоматического выполнения расчетов параллельно с помощью Parallel Computing Toolbox™.

См. также

Темы

Statistics and Machine Learning Toolbox документация

Поддержка

Документация

kfoldPredict

Синтаксис

Описание

Входные параметры

CVMdl - Перекрестная проверенная модель ECOC, состоящая из линейных классификационных моделей ClassificationPartitionedLinearECOC объект модели

Аргументы в виде пар имя-значение

'BinaryLoss' - Бинарная функция потерь для учащихся 'hamming' | 'linear' | 'logit' | 'exponential' | 'binodeviance' | 'hinge' | 'quadratic' | указатель на функцию

'Decoding' - Схема декодирования 'lossweighted' (по умолчанию) | 'lossbased'

'NumKLInitializations' - Количество случайных начальных значений 0 (по умолчанию) | неотрицательное целое число

'Options' - опции оценки [] (по умолчанию) | массив структур, возвращенный statset

'PosteriorMethod' - Апостериорный метод оценки вероятностей 'kl' (по умолчанию) | 'qp'

'Verbose' - Уровень подробностей 0 (по умолчанию) | 1

Выходные аргументы

NegLoss - Перекрестно проверенные, отрицательные, средние двоичные потери числовой массив

PBScore - Перекрестно проверенные, положительные счета класса числовой массив

Posterior - Перекрестно проверенные вероятности апостериорных классов числовой массив

Примеры

Предсказание k-кратных меток перекрестной валидации

Задайте пользовательские двоичные потери

Оценка вероятностей апостериорных классов

Подробнее о

Двоичные потери

Алгоритмы

Апостериорная оценка с использованием расхождения Куллбэка-Лейблера

Апостериорная оценка с использованием квадратичного программирования

Ссылки

Расширенные возможности

Автоматическая параллельная поддержка Ускорите код путем автоматического выполнения расчетов параллельно с помощью Parallel Computing Toolbox™.

См. также

Темы

Statistics and Machine Learning Toolbox документация

Поддержка

`CVMdl` - Перекрестная проверенная модель ECOC, состоящая из линейных классификационных моделей
`ClassificationPartitionedLinearECOC` объект модели

`'BinaryLoss'` - Бинарная функция потерь для учащихся
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

`'Decoding'` - Схема декодирования
`'lossweighted'` (по умолчанию) | `'lossbased'`

`'NumKLInitializations'` - Количество случайных начальных значений
`0` (по умолчанию) | неотрицательное целое число

`'Options'` - опции оценки
`[]` (по умолчанию) | массив структур, возвращенный `statset`

`'PosteriorMethod'` - Апостериорный метод оценки вероятностей
`'kl'` (по умолчанию) | `'qp'`

`'Verbose'` - Уровень подробностей
`0` (по умолчанию) | `1`

`NegLoss` - Перекрестно проверенные, отрицательные, средние двоичные потери
числовой массив

`PBScore` - Перекрестно проверенные, положительные счета класса
числовой массив

`Posterior` - Перекрестно проверенные вероятности апостериорных классов
числовой массив

Автоматическая параллельная поддержка
Ускорите код путем автоматического выполнения расчетов параллельно с помощью Parallel Computing Toolbox™.