kfoldPredict

Классифицируйте наблюдения на перекрестную подтвержденную модель ECOC ядра

Синтаксис

label = kfoldPredict(CVMdl)

label = kfoldPredict(CVMdl,Name,Value)

[label,NegLoss,PBScore]
= kfoldPredict(___)

[label,NegLoss,PBScore,Posterior]
= kfoldPredict(___)

Описание

пример

label = kfoldPredict(CVMdl) возвращает метки класса, предсказанные перекрестной подтвержденной моделью ECOC ядра (ClassificationPartitionedKernelECOC) CVMdl. Для каждого сгиба kfoldPredict предсказывает метки класса для наблюдений сгиба валидации с помощью модели, обученной на наблюдениях учебного сгиба. kfoldPredict применяет те же данные, используемые, чтобы создать CVMdl (см. fitcecoc).

Программное обеспечение предсказывает классификацию наблюдения путем присвоения наблюдения классу, приводящему к самой большой отрицаемой средней бинарной потере (или, эквивалентно, самой маленькой средней бинарной потере).

label = kfoldPredict(CVMdl,Name,Value) возвращает предсказанные метки класса с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Например, задайте метод оценки апостериорной вероятности, декодируя схему или уровень многословия.

пример

[label,NegLoss,PBScore] = kfoldPredict(___) дополнительно возвращает отрицаемые значения средней бинарной потери в классе (NegLoss) для наблюдений сгиба валидации и очков положительного класса (PBScore) для наблюдений сгиба валидации, классифицированных каждым бинарным учеником, с помощью любой из комбинаций входных аргументов в предыдущих синтаксисах.

Если матрица кодирования отличается через сгибы (то есть, схемой кодирования является sparserandom или denserandom), то PBScore пуст ([]).

пример

[label,NegLoss,PBScore,Posterior] = kfoldPredict(___) дополнительно возвращает следующие оценки вероятности класса для наблюдений сгиба валидации (Posterior).

Чтобы получить следующие вероятности класса, двоичные ученики классификации ядер должны быть моделями логистической регрессии. В противном случае kfoldPredict выдает ошибку.

Примеры

свернуть все

Классифицируйте наблюдения Используя перекрестную проверку

Скрипт Open Live Script

Классифицируйте наблюдения с помощью перекрестного подтвержденного, ядро мультикласса классификатор ECOC, и отобразите матрицу беспорядка для получившейся классификации.

Загрузите ирисовый набор данных Фишера. X содержит цветочные измерения, и Y содержит имена цветочных разновидностей.

load fisheriris
X = meas;
Y = species;

Перекрестный подтвердите модель ECOC, состоявшую из двоичных учеников ядра.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learners','kernel','CrossVal','on')

CVMdl = 
  classreg.learning.partition.ClassificationPartitionedKernelECOC
    CrossValidatedModel: 'KernelECOC'
           ResponseName: 'Y'
        NumObservations: 150
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'setosa'  'versicolor'  'virginica'}
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является моделью ClassificationPartitionedKernelECOC. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Чтобы задать различное количество сгибов, используйте аргумент пары "имя-значение" 'KFold' вместо 'Crossval'.

Классифицируйте наблюдения, что fitcecoc не использует в обучении сгибы.

label = kfoldPredict(CVMdl);

Создайте матрицу беспорядка, чтобы сравнить истинные классы наблюдений к их предсказанным меткам.

C = confusionchart(Y,label);

Модель CVMdl неправильно классифицирует четыре ирисовых диафрагмы 'versicolor', как 'virginica' диафрагмирует и неправильно классифицирует одну ирисовую диафрагму 'virginica' как ирисовую диафрагму 'versicolor'.

Предскажите метки перекрестной проверки Используя пользовательскую бинарную потерю

Скрипт Open Live Script

load fisheriris
X = meas;
Y = species;

Перекрестный подтвердите модель ECOC моделей классификации ядер с помощью 5-кратной перекрестной проверки.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learners','kernel','KFold',5)

CVMdl = 
  classreg.learning.partition.ClassificationPartitionedKernelECOC
    CrossValidatedModel: 'KernelECOC'
           ResponseName: 'Y'
        NumObservations: 150
                  KFold: 5
              Partition: [1x1 cvpartition]
             ClassNames: {'setosa'  'versicolor'  'virginica'}
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является моделью ClassificationPartitionedKernelECOC. Это содержит свойство Trained, которое является массивом ячеек 5 на 1 моделей CompactClassificationECOC.

По умолчанию, модели классификации ядер, которые составляют использование моделей CompactClassificationECOC SVMs. Очки SVM являются подписанными расстояниями от наблюдения до контура решения. Поэтому область $(- \infty, \infty)$ . Создайте пользовательскую бинарную функцию потерь что:

Сопоставляет матрицу (M) проекта кодирования и очки (очки) классификации положительных классов к каждому ученику к бинарной потере для каждого наблюдения
Использует линейную потерю
Агрегировал бинарную утрату ученика с помощью медианы

Можно создать отдельную функцию для бинарной функции потерь, и затем сохранить ее на пути MATLAB®. Или, можно задать анонимную бинарную функцию потерь. В этом случае создайте указатель на функцию (customBL) к анонимной бинарной функции потерь.

customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;

Предскажите метки перекрестной проверки и оцените среднюю бинарную потерю в классе. Распечатайте средние отрицательные бинарные потери в классе для случайного набора 10 наблюдений.

[label,NegLoss] = kfoldPredict(CVMdl,'BinaryLoss',customBL);

idx = randsample(numel(label),10);
table(Y(idx),label(idx),NegLoss(idx,1),NegLoss(idx,2),NegLoss(idx,3),...
    'VariableNames',[{'True'};{'Predicted'};...
    unique(CVMdl.ClassNames)])

ans=10×5 table
        True         Predicted       setosa     versicolor    virginica
    ____________    ____________    ________    __________    _________

    'setosa'        'setosa'         0.20926     -0.84572     -0.86354 
    'setosa'        'setosa'         0.16144     -0.90572     -0.75572 
    'virginica'     'versicolor'    -0.83532     -0.12157     -0.54311 
    'virginica'     'virginica'     -0.97235     -0.69759      0.16994 
    'virginica'     'virginica'     -0.89441     -0.69937     0.093778 
    'virginica'     'virginica'     -0.86774     -0.47297     -0.15929 
    'setosa'        'setosa'         -0.1026     -0.69671     -0.70069 
    'setosa'        'setosa'          0.1001     -0.89163     -0.70848 
    'virginica'     'virginica'      -1.0106     -0.52919     0.039829 
    'versicolor'    'versicolor'     -1.0298     0.027354     -0.49757

Перекрестная подтвержденная модель правильно предсказывает метки для 9 из 10 случайных наблюдений.

Оцените Перекрестную проверку k-сгиба Следующие Вероятности Класса

Скрипт Open Live Script

Оцените следующие вероятности класса с помощью перекрестного подтвержденного, ядро мультикласса модель классификации ECOC. Модели классификации ядер возвращают апостериорные вероятности для учеников логистической регрессии только.

load fisheriris
X = meas;
Y = species;

Создайте шаблон ядра для бинарных моделей классификации ядер. Задайте, чтобы соответствовать ученикам логистической регрессии.

t = templateKernel('Learner','logistic')

t = 
Fit template for classification Kernel.

             BetaTolerance: []
                 BlockSize: []
             BoxConstraint: []
                   Epsilon: []
    NumExpansionDimensions: []
         GradientTolerance: []
        HessianHistorySize: []
            IterationLimit: []
               KernelScale: []
                    Lambda: []
                   Learner: 'logistic'
              LossFunction: []
                    Stream: []
            VerbosityLevel: []
                   Version: 1
                    Method: 'Kernel'
                      Type: 'classification'

t является шаблоном ядра. Большинство его свойств пусто. Когда обучение классификатор ECOC с помощью шаблона, программное обеспечение устанавливает применимые свойства на их значения по умолчанию.

Перекрестный подтвердите модель ECOC с помощью шаблона ядра.

rng('default'); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'CrossVal','on')

CVMdl = 
  classreg.learning.partition.ClassificationPartitionedKernelECOC
    CrossValidatedModel: 'KernelECOC'
           ResponseName: 'Y'
        NumObservations: 150
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'setosa'  'versicolor'  'virginica'}
         ScoreTransform: 'none'


  Properties, Methods

CVMdl является моделью ClassificationPartitionedECOC. По умолчанию программное обеспечение использует 10-кратную перекрестную проверку.

Предскажите апостериорные вероятности класса сгиба валидации.

[label,~,~,Posterior] = kfoldPredict(CVMdl);

Программное обеспечение присваивает наблюдение классу, который приводит к самой маленькой средней бинарной потере. Поскольку все бинарные ученики вычисляют апостериорные вероятности, бинарной функцией потерь является quadratic.

Отобразите апостериорные вероятности для 10 случайным образом выбранных наблюдений.

idx = randsample(size(X,1),10);
CVMdl.ClassNames

ans = 3x1 cell array
    {'setosa'    }
    {'versicolor'}
    {'virginica' }

table(Y(idx),label(idx),Posterior(idx,:),...
    'VariableNames',{'TrueLabel','PredLabel','Posterior'})

ans=10×3 table
     TrueLabel       PredLabel                 Posterior            
    ____________    ____________    ________________________________

    'setosa'        'setosa'         0.68216     0.18546     0.13238
    'virginica'     'virginica'       0.1581     0.14405     0.69785
    'virginica'     'virginica'     0.071807    0.093291      0.8349
    'setosa'        'setosa'         0.74918     0.11434     0.13648
    'versicolor'    'versicolor'     0.09375     0.67149     0.23476
    'versicolor'    'versicolor'    0.036202     0.85544     0.10836
    'versicolor'    'versicolor'      0.2252     0.50473     0.27007
    'virginica'     'virginica'     0.061562     0.11086     0.82758
    'setosa'        'setosa'         0.42448     0.21181     0.36371
    'virginica'     'virginica'     0.082705      0.1428      0.7745

Столбцы Posterior соответствуют порядку класса CVMdl.ClassNames.

Входные параметры

свернуть все

`CVMdl` — Перекрестная подтвержденная модель ECOC ядра
Модель `ClassificationPartitionedKernelECOC`

Перекрестная подтвержденная модель ECOC ядра, заданная как модель ClassificationPartitionedKernelECOC. Можно создать модель ClassificationPartitionedKernelECOC по образованию модель ECOC с помощью fitcecoc и задав эти аргументы пары "имя-значение":

'Learners' – Установите значение к 'kernel', объект шаблона, возвращенный templateKernel или массивом ячеек таких объектов шаблона.
Один из аргументов 'CrossVal', 'CVPartition', 'Holdout', 'KFold' или 'Leaveout'.

Аргументы в виде пар имя-значение

Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: kfoldPredict(CVMdl,'PosteriorMethod','qp') задает, чтобы оценить апостериорные вероятности мультикласса путем решения задачи наименьших квадратов с помощью квадратичного программирования.

`'BinaryLoss'` — Бинарная функция потерь ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

Бинарная функция потерь ученика, заданная как пара, разделенная запятой, состоящая из 'BinaryLoss' и встроенного имени функции потерь или указателя на функцию.

Эта таблица содержит имена и описания встроенных функций, где _yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), _sj является счетом к наблюдению j, и g (_yj, _sj) является бинарной формулой потерь.

Значение	Описание	Область счета	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp _(–2yjsj)] / [2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp _(–yjsj)/2
`'hamming'`	Хэмминг	[0,1] или (– ∞, ∞)	[1 – знак (_yjsj)]/2
`'hinge'`	Стержень	(–∞,∞)	макс. (0,1 – _yjsj)/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(–yjsj)] / [2log (2)]
`'quadratic'`	Квадратичный	[0,1]	[1 – _yj (2_sj – 1)] ^2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5 когда _yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

Для пользовательской бинарной функции потерь, например, customFunction, задают его указатель на функцию 'BinaryLoss',@customFunction.
customFunction имеет эту форму:
```
bLoss = customFunction(M,s)
```
где:
- M является K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.
- s является 1 L вектором - строкой из очков классификации.
- bLoss является потерей классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.
- K является количеством классов.
- L является количеством бинарных учеников.

По умолчанию, если все бинарные ученики являются моделями классификации ядер с помощью SVM, то BinaryLoss является 'hinge'. Если все бинарные ученики являются моделями классификации ядер с помощью логистической регрессии, то BinaryLoss является 'quadratic'.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема `'Decoding'` — Decoding
`'lossweighted'` (значение по умолчанию) | `'lossbased'`

Схема Decoding, которая агрегировала бинарные потери, заданные как пара, разделенная запятой, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

`'NumKLInitializations'` — Количество случайных начальных значений
`0` (значение по умолчанию) | неотрицательный целочисленный скаляр

Количество случайных начальных значений для подбора кривой апостериорным вероятностям минимизацией расхождения Kullback-Leibler, заданной как пара, разделенная запятой, состоящая из 'NumKLInitializations' и неотрицательного целочисленного скаляра.

Если вы не запрашиваете четвертый выходной аргумент (Posterior) и устанавливаете 'PosteriorMethod','kl' (значение по умолчанию), то программное обеспечение игнорирует значение NumKLInitializations.

Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.

Пример: 'NumKLInitializations',5

Типы данных: single | double

`Опции` Опции оценки
`[]` (значение по умолчанию) | массив структур, возвращенный `statset`

Опции оценки, заданные как пара, разделенная запятой, состоящая из 'Options' и массива структур, возвращенного statset.

Вызвать параллельные вычисления:

Вам нужна лицензия Parallel Computing Toolbox™.
Задайте 'Options',statset('UseParallel',true).

`'PosteriorMethod'` — Метод оценки апостериорной вероятности
`'kl'` (значение по умолчанию) | `'qp'`

Метод оценки апостериорной вероятности, заданный как пара, разделенная запятой, состоящая из 'PosteriorMethod' и 'kl' или 'qp'.

Если PosteriorMethod является 'kl', то программное обеспечение оценивает апостериорные вероятности мультикласса путем минимизации расхождения Kullback-Leibler между предсказанными и ожидаемыми апостериорными вероятностями, возвращенными бинарными учениками. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.
Если PosteriorMethod является 'qp', то программное обеспечение оценивает апостериорные вероятности мультикласса путем решения задачи наименьших квадратов с помощью квадратичного программирования. Вам нужна лицензия Optimization Toolbox™, чтобы использовать эту опцию. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Квадратичное программирование.
Если вы не запрашиваете четвертый выходной аргумент (Posterior), то программное обеспечение игнорирует значение PosteriorMethod.

Пример: 'PosteriorMethod','qp'

`'Verbose'` — Уровень многословия
`0` (значение по умолчанию) | `1`

Уровень многословия, заданный как пара, разделенная запятой, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose является 0, то программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

`метка` Предсказанные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Предсказанные метки класса, возвращенные как категориальное или символьный массив, логический или числовой вектор или массив ячеек из символьных векторов.

label имеет совпадающий тип данных и количество строк как CVMdl.Y.

`NegLoss` — Отрицаемые средние бинарные потери
числовая матрица

Отрицаемые средние бинарные потери, возвращенные как числовая матрица. NegLoss является n-by-K матрица, где n является количеством наблюдений (size(CVMdl.Y,1)), и K является количеством уникальных классов (size(CVMdl.ClassNames,1)).

`PBScore` — Очки положительного класса
числовая матрица

Музыка положительного класса к каждому бинарному ученику, возвращенному как числовая матрица. PBScore является n-by-L матрица, где n является количеством наблюдений (size(CVMdl.Y,1)), и L является количеством бинарных учеников (size(CVMdl.CodingMatrix,2)).

`Posterior` — Следующие вероятности класса
числовая матрица

Следующие вероятности класса, возвращенные как числовая матрица. Posterior является n-by-K матрица, где n является количеством наблюдений (size(CVMdl.Y,1)), и K является количеством уникальных классов (size(CVMdl.ClassNames,1)).

Чтобы возвратить апостериорные вероятности, у каждого двоичного ученика классификации ядер должен быть его набор свойств Learner к 'logistic'. В противном случае программное обеспечение выдает ошибку.

Больше о

свернуть все

Бинарная потеря

binary loss является функцией класса и счета классификации, который определяет, как хорошо бинарный ученик классифицирует наблюдение в класс.

Предположим следующее:

_mkj является элементом (k, j) проекта кодирования матричный M (то есть, код, соответствующий классу k бинарного ученика j).
_sj является счетом бинарного ученика j для наблюдения.
g является бинарной функцией потерь.
$\hat{k}$ предсказанный класс для наблюдения.

В loss-based decoding [Escalera и др.], класс, производящий минимальную сумму бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

$\hat{k} = \underset{k}{argmin} \sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j}) .$

В loss-weighted decoding [Escalera и др.], класс, производящий минимальное среднее значение бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

$\hat{k} = \underset{k}{argmin} \frac{\sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j})}{\sum_{j = 1}^{L} | m_{k j} |} .$

Allwein и др. предполагают, что взвешенное потерей декодирование улучшает точность классификации путем хранения значений потерь для всех классов в том же динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где _yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), _sj является счетом к наблюдению j и g (_yj, _sj).

Значение	Описание	Область счета	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp _(–2yjsj)] / [2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp _(–yjsj)/2
`'hamming'`	Хэмминг	[0,1] или (– ∞, ∞)	[1 – знак (_yjsj)]/2
`'hinge'`	Стержень	(–∞,∞)	макс. (0,1 – _yjsj)/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(–yjsj)] / [2log (2)]
`'quadratic'`	Квадратичный	[0,1]	[1 – _yj (2_sj – 1)] ^2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5, когда _yj = 0, и агрегировал использование среднего значения бинарных учеников [Allwein и др.].

Не путайте бинарную потерю с полной потерей классификации (заданный аргументом пары "имя-значение" 'LossFun' функций объекта loss и predict), который измеряется, как хорошо классификатор ECOC выполняет в целом.

Алгоритмы

свернуть все

Программное обеспечение может оценить апостериорные вероятности класса путем минимизации расхождения Kullback-Leibler или при помощи квадратичного программирования. Для следующих описаний следующих алгоритмов оценки примите что:

_mkj является элементом (k, j) проекта кодирования матричный M.
I является функцией индикатора.
${\hat{p}}_{k}$ оценка апостериорной вероятности класса для класса k наблюдения, k = 1..., K.
_rj является апостериорной вероятностью положительного класса для бинарного ученика j. Таким образом, _rj является вероятностью, что бинарный ученик j классифицирует наблюдение в положительный класс, учитывая данные тренировки.

Следующая оценка Используя расхождение Kullback-Leibler

По умолчанию программное обеспечение минимизирует расхождение Kullback-Leibler, чтобы оценить апостериорные вероятности класса. Расхождение Kullback-Leibler между ожидаемыми и наблюдаемыми апостериорными вероятностями положительного класса

$Δ (r, \hat{r}) = \sum_{j = 1}^{L} w_{j} [r_{j} журнал \frac{r_{j}}{{\hat{r}}_{j}} + (1 - r_{j}) журнал \frac{1 - r_{j}}{1 - {\hat{r}}_{j}}],$

где $w_{j} = \sum_{S_{j}} w_{i}^{*}$ вес для бинарного ученика j.

_Sj является набором индексов наблюдения, на котором бинарном ученике обучен j.
$w_{i}^{*}$ вес наблюдения i.

Программное обеспечение минимизирует расхождение итеративно. Первый шаг должен выбрать начальные значения ${\hat{p}}_{k}^{(0)}; k = 1, ..., K$ для апостериорных вероятностей класса.

Если вы не задаете 'NumKLIterations', то программное обеспечение пробует оба набора детерминированных начальных значений, описанных затем, и выбирает набор, который минимизирует Δ.
- ${\hat{p}}_{k}^{(0)} = 1 / K; k = 1, ..., K .$
- ${\hat{p}}_{k}^{(0)}; k = 1, ..., K$ решение системы
  
  $M_{01} {\hat{p}}^{(0)} = r,$
  где M ₀₁ является M со всем _mkj = –1 замененный с 0, и r является вектором апостериорных вероятностей положительного класса, возвращенных двоичными учениками L [Dietterich и др.]. Программное обеспечение использует lsqnonneg, чтобы решить систему.
Если вы задаете 'NumKLIterations',c, где c является натуральным числом, то программное обеспечение делает следующее, чтобы выбрать набор ${\hat{p}}_{k}^{(0)}; k = 1, ..., K$ , и выбирает набор, который минимизирует Δ.
- Программное обеспечение пробует оба набора детерминированных начальных значений, как описано ранее.
- Программное обеспечение случайным образом генерирует векторы c длины K с помощью rand, и затем нормирует каждый вектор, чтобы суммировать к 1.

В итерации t программное обеспечение завершает эти шаги:

Вычислить

${\hat{r}}_{j}^{(t)} = \frac{\sum_{k = 1}^{K} {\hat{p}}_{k}^{(t)} I (m_{k j} = + 1)}{\sum_{k = 1}^{K} {\hat{p}}_{k}^{(t)} I (m_{k j} = + 1 \cup m_{k j} = - 1)} .$
Оцените использование апостериорной вероятности следующего класса

${\hat{p}}_{k}^{(t + 1)} = {\hat{p}}_{k}^{(t)} \frac{\sum_{j = 1}^{L} w_{j} [r_{j} I (m_{k j} = + 1) + (1 - r_{j}) I (m_{k j} = - 1)]}{\sum_{j = 1}^{L} w_{j} [{\hat{r}}_{j}^{(t)} I (m_{k j} = + 1) + (1 - {\hat{r}}_{j}^{(t)}) I (m_{k j} = - 1)]} .$
Нормировать ${\hat{p}}_{k}^{(t + 1)}; k = 1, ..., K$ так, чтобы они суммировали к 1.
Проверяйте на сходимость.

Для получения дополнительной информации смотрите [Hastie и др.] и [Zadrozny].

Следующая оценка Используя квадратичное программирование

Оценка апостериорной вероятности с помощью квадратичного программирования требует лицензии Optimization Toolbox. Чтобы оценить апостериорные вероятности для наблюдения с помощью этого метода, программное обеспечение завершает эти шаги:

Оцените апостериорные вероятности положительного класса, _rj, для бинарных учеников j = 1..., L.
Используя отношение между _rj и ${\hat{p}}_{k}$ [Ву и др.], минимизировать

$\sum_{j = 1}^{L} {[- r_{j} \sum_{k = 1}^{K} {\hat{p}}_{k} I (m_{k j} = - 1) + (1 - r_{j}) \sum_{k = 1}^{K} {\hat{p}}_{k} I (m_{k j} = + 1)]}^{2}$
относительно ${\hat{p}}_{k}$ и ограничения

$\begin{array}{l} 0 \leq {\hat{p}}_{k} \leq 1 \\ \sum_{k} {\hat{p}}_{k} = 1. \end{array}$
Программное обеспечение выполняет минимизацию с помощью quadprog.

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classiﬁers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Dietterich, T. и Г. Бакири. “Решая проблемы Изучения Мультикласса С помощью Выходных Кодов С коррекцией ошибок”. Журнал Исследования Искусственного интеллекта. Издание 2, 1995, стр 263–286.

[3] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[4] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

[5] Hastie, T. и Р. Тибширэни. “Классификация Попарной Связью”. Летопись Статистики. Издание 26, Выпуск 2, 1998, стр 451–471.

[6] Ву, T. F. К. Дж. Лин и Р. Вэн. “Оценки вероятности для Классификации Мультиклассов Попарной Связью”. Журнал Исследования Машинного обучения. Издание 5, 2004, стр 975–1005.

[7] Zadrozny, B. “Уменьшая Мультикласс до Двоичного файла путем Связи Оценок Вероятности”. NIPS 2001: Продолжения Усовершенствований в Нейронных Системах обработки информации 14, 2001, стр 1041–1048.

Документация

kfoldPredict

Синтаксис

Описание

Примеры

Классифицируйте наблюдения Используя перекрестную проверку

Предскажите метки перекрестной проверки Используя пользовательскую бинарную потерю

Оцените Перекрестную проверку k-сгиба Следующие Вероятности Класса

Входные параметры

`CVMdl` — Перекрестная подтвержденная модель ECOC ядра
Модель `ClassificationPartitionedKernelECOC`

Аргументы в виде пар имя-значение

`'BinaryLoss'` — Бинарная функция потерь ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

Схема `'Decoding'` — Decoding
`'lossweighted'` (значение по умолчанию) | `'lossbased'`

`'NumKLInitializations'` — Количество случайных начальных значений
`0` (значение по умолчанию) | неотрицательный целочисленный скаляр

`Опции` Опции оценки
`[]` (значение по умолчанию) | массив структур, возвращенный `statset`

`'PosteriorMethod'` — Метод оценки апостериорной вероятности
`'kl'` (значение по умолчанию) | `'qp'`

`'Verbose'` — Уровень многословия
`0` (значение по умолчанию) | `1`

Выходные аргументы

`метка` Предсказанные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

`NegLoss` — Отрицаемые средние бинарные потери
числовая матрица

`PBScore` — Очки положительного класса
числовая матрица

`Posterior` — Следующие вероятности класса
числовая матрица

Больше о

Бинарная потеря

Алгоритмы

Следующая оценка Используя расхождение Kullback-Leibler

Следующая оценка Используя квадратичное программирование

Ссылки

Смотрите также

Введенный в R2018b

Документация Statistics and Machine Learning Toolbox

Поддержка

Документация

kfoldPredict

Синтаксис

Описание

Примеры

Классифицируйте наблюдения Используя перекрестную проверку

Предскажите метки перекрестной проверки Используя пользовательскую бинарную потерю

Оцените Перекрестную проверку k-сгиба Следующие Вероятности Класса

Входные параметры

CVMdl — Перекрестная подтвержденная модель ECOC ядра Модель ClassificationPartitionedKernelECOC

Аргументы в виде пар имя-значение

'BinaryLoss' — Бинарная функция потерь ученика 'hamming' | 'linear' | 'logit' | 'exponential' | 'binodeviance' | 'hinge' | 'quadratic' | указатель на функцию

Схема 'Decoding' — Decoding 'lossweighted' (значение по умолчанию) | 'lossbased'

'NumKLInitializations' — Количество случайных начальных значений 0 (значение по умолчанию) | неотрицательный целочисленный скаляр

Опции Опции оценки [] (значение по умолчанию) | массив структур, возвращенный statset

'PosteriorMethod' — Метод оценки апостериорной вероятности 'kl' (значение по умолчанию) | 'qp'

'Verbose' — Уровень многословия 0 (значение по умолчанию) | 1

Выходные аргументы

метка Предсказанные метки класса категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

NegLoss — Отрицаемые средние бинарные потери числовая матрица

PBScore — Очки положительного класса числовая матрица

Posterior — Следующие вероятности класса числовая матрица

Больше о

Бинарная потеря

Алгоритмы

Следующая оценка Используя расхождение Kullback-Leibler

Следующая оценка Используя квадратичное программирование

Ссылки

Смотрите также

Введенный в R2018b

Документация Statistics and Machine Learning Toolbox

Поддержка

`CVMdl` — Перекрестная подтвержденная модель ECOC ядра
Модель `ClassificationPartitionedKernelECOC`

`'BinaryLoss'` — Бинарная функция потерь ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

Схема `'Decoding'` — Decoding
`'lossweighted'` (значение по умолчанию) | `'lossbased'`

`'NumKLInitializations'` — Количество случайных начальных значений
`0` (значение по умолчанию) | неотрицательный целочисленный скаляр

`Опции` Опции оценки
`[]` (значение по умолчанию) | массив структур, возвращенный `statset`

`'PosteriorMethod'` — Метод оценки апостериорной вероятности
`'kl'` (значение по умолчанию) | `'qp'`

`'Verbose'` — Уровень многословия
`0` (значение по умолчанию) | `1`

`метка` Предсказанные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

`NegLoss` — Отрицаемые средние бинарные потери
числовая матрица

`PBScore` — Очки положительного класса
числовая матрица

`Posterior` — Следующие вероятности класса
числовая матрица