Exponenta Banner

predict

Классифицируйте наблюдения с помощью многоклассовой модели выходных кодов с коррекцией ошибок (ECOC)

Свернуть все на странице

Синтаксис

label = predict(Mdl,X)
label = predict(Mdl,X,Name,Value)
[label,NegLoss,PBScore] = predict(___)
[label,NegLoss,PBScore,Posterior] = predict(___)

Описание

пример

label = predict(Mdl,X) возвращает вектор предсказанных меток классов (label) для данных предиктора в таблице или матрице X, на основе обученного многоклассового выхода кодов с коррекцией ошибок (ECOC) Mdl. Обученная модель ECOC может быть либо полной, либо компактной.

пример

label = predict(Mdl,X,Name,Value) использует дополнительные опции, заданные одним или несколькими аргументами пары "имя-значение". Для примера можно задать апостериорный метод оценки вероятностей, схему декодирования и уровень подробностей.

пример

[label,NegLoss,PBScore] = predict(___) использует любой из комбинаций входных аргументов в предыдущих синтаксисах и дополнительно возвращает:

  • Массив отрицательных средних двоичных потерь (NegLoss). Для каждого наблюдения в X, predict присваивает метку класса, получая наибольшие отрицательные средние двоичные потери (или, что эквивалентно, наименьшие средние двоичные потери).

  • Массив счетов положительного класса (PBScore) для наблюдений, классифицированных каждым двоичным учеником.

пример

[label,NegLoss,PBScore,Posterior] = predict(___) дополнительно возвращает апостериорные оценки вероятностей классов для наблюдений (Posterior).

Чтобы получить апостериорные вероятности классов, вы должны задать 'FitPosterior',true при обучении модели ECOC используя fitcecoc. В противном случае, predict выдает ошибку.

Примеры

свернуть все

Открыть Live Script

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 30% -ную выборку, стандартизируйте предикторы с помощью шаблона SVM и укажите порядок классов.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является ClassificationPartitionedECOC модель. Он имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC Модель, что программное обеспечение обучалось с использованием набора обучающих данных.

Спрогнозируйте метки тестовой выборки. Печать случайного подмножества истинных и предсказанных меток.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
labels = predict(Mdl,XTest);

idx = randsample(sum(testInds),10);
table(YTest(idx),labels(idx),...
    'VariableNames',{'TrueLabels','PredictedLabels'})
ans=10×2 table
    TrueLabels    PredictedLabels
    __________    _______________

    setosa          setosa       
    versicolor      virginica    
    setosa          setosa       
    virginica       virginica    
    versicolor      versicolor   
    setosa          setosa       
    virginica       virginica    
    virginica       virginica    
    setosa          setosa       
    setosa          setosa

Mdl правильно помечает индексами все, кроме одного из наблюдений тестовой выборки idx.

Открыть Live Script

Загрузите набор данных радужки Фишера. Задайте данные предиктора X, данные отклика Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM и задайте 30% -ную выборку отключения. Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок классов.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является ClassificationPartitionedECOC модель. Он имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC Модель, что программное обеспечение обучалось с использованием набора обучающих данных.

Счета SVM являются подписанными расстояниями от наблюдения до контура принятия решения. Поэтому, (-∞,∞) - область. Создайте пользовательскую функцию двоичных потерь, которая делает следующее:

  • Сопоставьте матрицу проекта кодирования (M) и классификационные оценки (оценки ) (ы) положительного класса для каждого учащегося с двоичными потерями для каждого наблюдения.

  • Используйте линейные потери.

  • Агрегируйте двоичные потери учащегося с помощью медианы.

Можно создать отдельную функцию для функции двоичных потерь, а затем сохранить ее в пути MATLAB ®. Или можно задать анонимную функцию двоичных потерь. В этом случае создайте указатель на функцию (customBL) к анонимной функции двоичных потерь.

customBL = @(M,s) median(1 - bsxfun(@times,M,s),2,'omitnan')/2;

Спрогнозируйте метки тестовой выборки и оцените медианные двоичные потери на класс. Печать медианы отрицательных двоичных потерь на класс для случайного набора из 10 наблюдений за тестовой выборкой.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
[label,NegLoss] = predict(Mdl,XTest,'BinaryLoss',customBL);

idx = randsample(sum(testInds),10);
classOrder
classOrder = 3x1 categorical
     setosa 
     versicolor 
     virginica 


table(YTest(idx),label(idx),NegLoss(idx,:),'VariableNames',...
    {'TrueLabel','PredictedLabel','NegLoss'})
ans=10×3 table
    TrueLabel     PredictedLabel                 NegLoss              
    __________    ______________    __________________________________

    setosa          versicolor       0.18569        1.989      -3.6747
    versicolor      virginica        -1.3316     -0.12346    -0.044933
    setosa          versicolor       0.13897       1.9274      -3.5664
    virginica       virginica        -1.5133     -0.38288      0.39616
    versicolor      versicolor      -0.87209      0.74813       -1.376
    setosa          versicolor        0.4838       1.9987      -3.9825
    virginica       virginica        -1.9363     -0.67586       1.1122
    virginica       virginica        -1.5789      -0.8337      0.91265
    setosa          versicolor       0.50999       2.1223      -4.1323
    setosa          versicolor       0.36117       2.0608       -3.922

Порядок столбцов соответствует элементам classOrder. Программа прогнозирует метку на основе максимальных отрицательных потерь. Результаты показывают, что медиана линейных потерь может не работать так же хорошо, как другие потери.

Открыть Live Script

Обучите классификатор ECOC с помощью двоичных учащихся SVM. Сначала спрогнозируйте метки обучающей выборки и апостериорные вероятности класса. Затем спрогнозируйте апостериорную вероятность максимального класса в каждой точке сетки. Визуализация результатов.

Загрузите набор данных радужки Фишера. Укажите размерности лепестков в качестве предикторов, а имена видов - в качестве отклика.

load fisheriris
X = meas(:,3:4);
Y = species;
rng(1); % For reproducibility

Создайте шаблон SVM. Стандартизируйте предикторы и задайте Гауссово ядро.

t = templateSVM('Standardize',true,'KernelFunction','gaussian');

t является шаблоном SVM. Большинство его свойств пусты. Когда программное обеспечение обучает классификатор ECOC, оно устанавливает применимые свойства на их значения по умолчанию.

Обучите классификатор ECOC с помощью шаблона SVM. Преобразуйте классификационные оценки в апостериорные вероятности класса (которые возвращаются predict или resubPredict) использование 'FitPosterior' аргумент пары "имя-значение". Задайте порядок классов используя 'ClassNames' аргумент пары "имя-значение". Отображать диагностические сообщения во время обучения при помощи 'Verbose' аргумент пары "имя-значение".

Mdl = fitcecoc(X,Y,'Learners',t,'FitPosterior',true,...
    'ClassNames',{'setosa','versicolor','virginica'},...
    'Verbose',2);
Training binary learner 1 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 2
Positive class indices: 1

Fitting posterior probabilities for learner 1 (SVM).
Training binary learner 2 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 3
Positive class indices: 1

Fitting posterior probabilities for learner 2 (SVM).
Training binary learner 3 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 3
Positive class indices: 2

Fitting posterior probabilities for learner 3 (SVM).

Mdl является ClassificationECOC модель. Тот же шаблон SVM применяется к каждому двоичному ученику, но можно настроить опции для каждого двоичного ученика, передав в вектор камер шаблонов.

Спрогнозируйте метки обучающей выборки и апостериорные вероятности класса. Отображайте диагностические сообщения во время расчета меток и классифицируйте апостериорные вероятности при помощи 'Verbose' аргумент пары "имя-значение".

[label,~,~,Posterior] = resubPredict(Mdl,'Verbose',1);
Predictions from all learners have been computed.
Loss for all observations has been computed.
Computing posterior probabilities...

Mdl.BinaryLoss
ans = 
'quadratic'

Программа присваивает наблюдение классу, которое приводит к наименьшим средним двоичным потерям. Поскольку все двоичные ученики вычисляют апостериорные вероятности, функция двоичных потерь quadratic.

Отображение случайного набора результатов.

idx = randsample(size(X,1),10,1);
Mdl.ClassNames
ans = 3x1 cell
    {'setosa'    }
    {'versicolor'}
    {'virginica' }


table(Y(idx),label(idx),Posterior(idx,:),...
    'VariableNames',{'TrueLabel','PredLabel','Posterior'})
ans=10×3 table
      TrueLabel         PredLabel                     Posterior               
    ______________    ______________    ______________________________________

    {'virginica' }    {'virginica' }     0.0039322      0.003987       0.99208
    {'virginica' }    {'virginica' }      0.017067      0.018263       0.96467
    {'virginica' }    {'virginica' }      0.014948      0.015856        0.9692
    {'versicolor'}    {'versicolor'}    2.2197e-14       0.87318       0.12682
    {'setosa'    }    {'setosa'    }         0.999    0.00025092    0.00074638
    {'versicolor'}    {'virginica' }    2.2195e-14       0.05943       0.94057
    {'versicolor'}    {'versicolor'}    2.2194e-14       0.97001      0.029985
    {'setosa'    }    {'setosa'    }         0.999    0.00024991     0.0007474
    {'versicolor'}    {'versicolor'}     0.0085642       0.98259     0.0088487
    {'setosa'    }    {'setosa'    }         0.999    0.00025013    0.00074717

Столбцы Posterior соответствуют классу порядка Mdl.ClassNames.

Задайте сетку значений в наблюдаемом пространстве предикторов. Спрогнозируйте апостериорные вероятности для каждого образца в сетке.

xMax = max(X);
xMin = min(X);

x1Pts = linspace(xMin(1),xMax(1));
x2Pts = linspace(xMin(2),xMax(2));
[x1Grid,x2Grid] = meshgrid(x1Pts,x2Pts);

[~,~,~,PosteriorRegion] = predict(Mdl,[x1Grid(:),x2Grid(:)]);

Для каждой координаты на сетке постройте график максимальной апостериорной вероятности класса среди всех классов.

contourf(x1Grid,x2Grid,...
        reshape(max(PosteriorRegion,[],2),size(x1Grid,1),size(x1Grid,2)));
h = colorbar;
h.YLabel.String = 'Maximum posterior';
h.YLabel.FontSize = 15;

hold on
gh = gscatter(X(:,1),X(:,2),Y,'krk','*xd',8);
gh(2).LineWidth = 2;
gh(3).LineWidth = 2;

title('Iris Petal Measurements and Maximum Posterior')
xlabel('Petal length (cm)')
ylabel('Petal width (cm)')
axis tight
legend(gh,'Location','NorthWest')
hold off

Figure contains an axes. The axes with title Iris Petal Measurements and Maximum Posterior contains 4 objects of type contour, line. These objects represent setosa, versicolor, virginica.

Этот пример использует:

Открыть Live Script

Обучите многоклассовую модель ECOC и оцените апостериорные вероятности с помощью параллельных вычислений.

Загрузите arrhythmia набор данных. Исследуйте данные отклика Y, и определить количество классов.

load arrhythmia
Y = categorical(Y);
tabulate(Y)
  Value    Count   Percent
      1      245     54.20%
      2       44      9.73%
      3       15      3.32%
      4       15      3.32%
      5       13      2.88%
      6       25      5.53%
      7        3      0.66%
      8        2      0.44%
      9        9      1.99%
     10       50     11.06%
     14        4      0.88%
     15        5      1.11%
     16       22      4.87%

K = numel(unique(Y));

Несколько классов не представлены в данных, и многие другие классы имеют низкие относительные частоты.

Укажите шаблон обучения ансамбля, который использует метод GentleBoost и 50 слабых учащихся дерева классификации.

t = templateEnsemble('GentleBoost',50,'Tree');

t является объектом шаблона. Большинство его свойств пусты ([]). Во время обучения программа использует значения по умолчанию для всех пустых свойств.

Поскольку переменная отклика содержит много классов, задайте разреженный проект случайного кодирования.

rng(1); % For reproducibility
Coding = designecoc(K,'sparserandom');

Обучите модель ECOC с помощью параллельных вычислений. Задайте 15% -ную выборку удержания и подбирайте апостериорные вероятности.

pool = parpool;                    % Invokes workers
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).

options = statset('UseParallel',true);
PMdl = fitcecoc(X,Y,'Learner',t,'Options',options,'Coding',Coding,...
    'FitPosterior',true,'Holdout',0.15);
Mdl = PMdl.Trained{1};            % Extract trained, compact classifier

PMdl является ClassificationPartitionedECOC модель. Он имеет свойство Trainedмассив ячеек 1 на 1, содержащий CompactClassificationECOC Модель, что программное обеспечение обучалось с использованием набора обучающих данных.

Пул вызывает шесть работников, хотя количество работников может варьироваться среди систем.

Оцените апостериорные вероятности и отобразите апостериорную вероятность того, что они будут классифицированы как не имеющие аритмии (класс 1), учитывая данные для случайного набора наблюдений тестовой выборки.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
[~,~,~,posterior] = predict(Mdl,XTest,'Options',options);

idx = randsample(sum(testInds),10);
table(idx,YTest(idx),posterior(idx,1),...
    'VariableNames',{'TestSampleIndex','TrueLabel','PosteriorNoArrhythmia'})
ans=10×3 table
    TestSampleIndex    TrueLabel    PosteriorNoArrhythmia
    _______________    _________    _____________________

          11              6                0.60631       
          41              4                0.23674       
          51              2                0.13802       
          33              10               0.43831       
          12              1                0.94332       
           8              1                0.97278       
          37              1                0.62807       
          24              10               0.96876       
          56              16               0.29375       
          30              1                0.64512

Входные параметры

свернуть все

Полная или компактная многоклассовая модель ECOC, заданная как ClassificationECOC или CompactClassificationECOC объект модели.

Чтобы создать полную или компактную модель ECOC, смотрите ClassificationECOC или CompactClassificationECOC.

Данные предиктора, которые будут классифицированы, заданные как числовая матрица или таблица.

По умолчанию каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной.

  • Для числовой матрицы:

    • Переменные, которые составляют столбцы X должен иметь тот же порядок, что и переменные предиктора, которые обучают Mdl.

    • Если вы обучаете Mdl использование таблицы (для примера, Tbl), затем X может быть числовой матрицей, если Tbl содержит все числовые переменные предиктора. Для лечения числовых предикторов в Tbl как категориальный во время обучения, идентифицируйте категориальные предикторы, используя CategoricalPredictors Аргумент пары "имя-значение" из fitcecoc. Если Tbl содержит неоднородные переменные предиктора (для примера, числовых и категориальных типов данных) и X является числовой матрицей, тогда predict выдает ошибку.

  • Для таблицы:

    • predict не поддерживает многополюсные переменные или массивы ячеек, отличные от массивов ячеек векторов символов.

    • Если вы обучаете Mdl использование таблицы (для примера, Tbl), затем все переменные предиктора в X должны иметь те же имена переменных и типы данных, что и переменные предиктора, которые обучают Mdl (хранится в Mdl.PredictorNames). Однако порядок столбцов X не должен соответствовать порядку столбцов Tbl. Оба Tbl и X может содержать дополнительные переменные (переменные отклика, веса наблюдений и так далее), но predict игнорирует их.

    • Если вы обучаете Mdl используя числовую матрицу, затем имена предикторов в Mdl.PredictorNames и соответствующие имена переменных предиктора в X должно быть то же самое. Чтобы задать имена предикторов во время обучения, смотрите PredictorNames Аргумент пары "имя-значение" из fitcecoc. Все переменные предиктора в X должны быть числовыми векторами. X может содержать дополнительные переменные (переменные отклика, веса наблюдений и так далее), но predict игнорирует их.

Примечание

Если Mdl.BinaryLearners содержит линейные классификационные модели (ClassificationLinear), тогда можно сориентировать матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавали 'ObservationsIn','columns'. Однако вы не можете задать 'ObservationsIn','columns' для данных предиктора в таблице.

При обучении Mdl, предположим, что вы 'Standardize',true для объекта шаблона, заданного в 'Learners' Аргумент пары "имя-значение" из fitcecoc. В этом случае для соответствующего двоичного обучающегося jпрограммное обеспечение стандартизирует столбцы новых данных предиктора с помощью соответствующих средств в Mdl.BinaryLearner{j}.Mu и стандартные отклонения в Mdl.BinaryLearner{j}.Sigma.

Типы данных: table | double | single

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

Пример: predict(Mdl,X,'BinaryLoss','quadratic','Decoding','lossbased') задает квадратичную двоичную функцию потерь обучающегося и основанную на потерях схему декодирования для агрегирования двоичных потерь.

Двоичная функция потерь учащегося, заданная как разделенная разделенными запятой парами, состоящая из 'BinaryLoss' и встроенное имя функции потери или указатель на функцию.

  • Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного двоичного ученика (в наборе {-1,1,0}), sj является счетом для j наблюдений, а g (yj, sj) является формулой двоичных потерь.

    ЗначениеОписаниеСчетg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
    'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
    'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
    'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

    Программа нормализует двоичные потери так, чтобы потеря была 0,5 при yj = 0. Кроме того, программное обеспечение вычисляет средние двоичные потери для каждого класса.

  • Для пользовательской функции двоичных потерь, например customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет следующую форму:

    bLoss = customFunction(M,s)
    где:

    • M - K матрица кодирования L, сохраненная в Mdl.CodingMatrix.

    • s - вектор-строка L 1 байта классификационных баллов.

    • bLoss - классификационные потери. Этот скаляр агрегирует двоичные потери для каждого учащегося в конкретном классе. Для примера можно использовать среднее значение двоичных потерь для агрегирования потерь по учащимся для каждого класса.

    • K - количество классов.

    • L - это количество двоичных учащихся.

    Для примера передачи пользовательской функции двоичных потерь смотрите Предсказание меток теста-образца модели ECOC с помощью Пользовательской функции двоичных потерь.

Значение по умолчанию BinaryLoss значение зависит от областей значений счетов, возвращаемых двоичными учениками. Эта таблица описывает некоторые BinaryLoss по умолчанию значения, основанные на данных допущениях.

ПредположениеЗначение по умолчанию
Все двоичные ученики являются SVM или линейными или ядерными классификационными моделями учащихся SVM.'hinge'
Все двоичные ученики - это ансамбли, обученные AdaboostM1 или GentleBoost.'exponential'
Все двоичные ученики - это ансамбли, обученные LogitBoost.'binodeviance'
Все двоичные ученики являются линейными или ядерными классификационными моделями обучающихся логистической регрессии. Или вы задаете, чтобы предсказать апостериорные вероятности класса путем установки 'FitPosterior',true в fitcecoc.'quadratic'

Чтобы проверить значение по умолчанию, используйте запись через точку для отображения BinaryLoss свойство обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема декодирования, которая агрегирует двоичные потери, заданные как разделенная разделенными запятой парами, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Двоичные потери.

Пример: 'Decoding','lossbased'

Количество случайных начальных значений для подбора кривой апостериорных вероятностей путем минимизации расхождения Кулбака-Лейблера, заданное как разделенная разделенными запятой парами, состоящая из 'NumKLInitializations' и неотрицательный целочисленный скаляр.

Если вы не запрашиваете четвертый выходной аргумент (Posterior) и установите 'PosteriorMethod','kl' (по умолчанию), тогда программа игнорирует значение NumKLInitializations.

Для получения дополнительной информации см. «Апостериорная оценка с использованием расхождения Кулбэка-Лейблера».

Пример: 'NumKLInitializations',5

Типы данных: single | double

Размерность наблюдения данных предиктора, заданная как разделенная разделенными запятой парами, состоящая из 'ObservationsIn' и 'columns' или 'rows'. Mdl.BinaryLearners должен содержать ClassificationLinear модели.

Примечание

Если вы ориентируете матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавали 'ObservationsIn','columns', вы можете испытать значительное сокращение времени выполнения. Вы не можете задать 'ObservationsIn','columns' для данных предиктора в таблице.

Опции оценки, заданные как разделенная разделенными запятой парами, состоящая из 'Options' и массив структур, возвращенный statset.

Чтобы вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Апостериорный метод оценки вероятности, заданный как разделенная разделенными запятой парами, состоящая из 'PosteriorMethod' и 'kl' или 'qp'.

  • Если PosteriorMethod является 'kl'затем программное обеспечение оценивает многоклассовые апостериорные вероятности путем минимизации расхождения Кулбэка-Лейблера между предсказанной и ожидаемой апостериорной вероятностями, возвращенными двоичными учениками. Для получения дополнительной информации смотрите Апостериорную оценку с использованием расхождения Кулбэка-Лейблера.

  • Если PosteriorMethod является 'qp'затем программное обеспечение оценивает многоклассовые апостериорные вероятности путем решения задачи наименьших квадратов с помощью квадратичного программирования. Чтобы использовать эту опцию, вам нужна лицензия Optimization Toolbox™. Для получения дополнительной информации смотрите Апостериорную оценку с использованием квадратичного программирования.

  • Если вы не запрашиваете четвертый выходной аргумент (Posterior), тогда программное обеспечение игнорирует значение PosteriorMethod.

Пример: 'PosteriorMethod','qp'

Уровень подробностей, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, которые программное обеспечение отображений в Командном окне.

Если Verbose является 0тогда программа не отображает диагностические сообщения. В противном случае программа отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

Предсказанные метки классов, возвращенные как категориальный, символьный, логический или числовой массив или массив ячеек из векторов символов. Программа предсказывает классификацию наблюдения путем присвоения наблюдения классу, получая наибольшие отрицательные средние двоичные потери (или, что эквивалентно, наименьшие средние двоичные потери).

label имеет тот совпадающий тип данных, что и метки классов, используемые для обучения Mdl и имеет одинаковое число строк как X. (Программа обрабатывает массивы строк как массивы ячеек векторов символов.)

Если Mdl.BinaryLearners содержит ClassificationLinear модели, затем label является m -by - L матрицей, где m - количество наблюдений в X, и L количество степеней регуляризации в линейных классификационных моделях (numel(Mdl.BinaryLearners{1}.Lambda)). Значение label(i,j) - предсказанная метка наблюдения i для модели, обученной с использованием силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

В противном случае label является вектор-столбец длины m.

Отрицательные средние двоичные потери, возвращенные как числовая матрица или массив.

  • Если Mdl.BinaryLearners содержит ClassificationLinear модели, затем NegLoss является m -by- K -by- L массивом.

    • m - количество наблюдений в X.

    • K - количество отдельных классов в обучающих данных (numel(Mdl.ClassNames)).

    • L - количество степеней регуляризации в линейных классификационных моделях (numel(Mdl.BinaryLearners{1}.Lambda)).

    NegLoss(i,k,j) - отрицательная средняя двоичная потеря для наблюдения i, соответствующий классу Mdl.ClassNames(k), для модели, обученной с использованием силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

  • В противном случае NegLoss является m -by - K матрицей.

Счета класса для каждого двоичного ученика, возвращенные в виде числовой матрицы или массива.

  • Если Mdl.BinaryLearners содержит ClassificationLinear модели, затем PBScore является m -by- B -by- L массивом.

    • m - количество наблюдений в X.

    • B - количество двоичных учащихся (numel(Mdl.BinaryLearners)).

    • L - количество степеней регуляризации в линейных классификационных моделях (numel(Mdl.BinaryLearners{1}.Lambda)).

    PBScore(i,b,j) - положительный счет класса для наблюдения i, с использованием двоичных b учащихся, для модели, обученной с использованием силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

  • В противном случае PBScore является m -by - B матрицей.

Апостериорные вероятности классов, возвращенные как числовая матрица или массив.

  • Если Mdl.BinaryLearners содержит ClassificationLinear модели, затем Posterior является m -by- K -by- L массивом. Определения размерностей см. в разделе NegLoss. Posterior(i,k,j) - апостериорная вероятность того, что наблюдение i происходит из Mdl.ClassNames(k) классов, для модели, обученной с использованием силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

  • В противном случае Posterior является m -by - K матрицей.

Подробнее о

свернуть все

Двоичные потери

binary loss является функцией класса и классификационной оценки, которая определяет, насколько хорошо двоичный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) матрицы разработки кодирования M (то есть кода, соответствующего k классов двоичных j обучающегося).

  • sj - этот счет двоичных j учащихся для наблюдения.

  • g является функцией двоичных потерь.

  • k^ - предсказанный класс для наблюдения.

В loss-based decoding [Escalera et al.] класс, производящий минимальную сумму двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argmink∑j=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera et al.] класс, производящий минимальное среднее значение двоичных потерь по сравнению с двоичными учениками, определяет предсказанный класс наблюдения, то есть

k^=argmink∑j=1L|mkj|g(mkj,sj)∑j=1L|mkj|.

Allwein et al. предположим, что утраченное декодирование повышает точность классификации путем сохранения значений потерь для всех классов в одной динамической области значений.

В этой таблице приведены поддерживаемые функции потерь, где yj является меткой класса для конкретного двоичного обучающегося (в наборе {-1,1,0}), sj является счетом для j наблюдений и g (yj, sj).

ЗначениеОписаниеСчетg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)log [1 + exp (-2 yjsj) ]/[ 2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (- yjsj )/2
'hamming'Хэмминг[0,1] или (- ∞, ∞)[1 - знак (yjsj) ]/2
'hinge'Стержень(–∞,∞)макс (0,1 - yjsj )/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (- yjsj) ]/[ 2log (2)]
'quadratic'Квадратный[0,1][1 – yj (2 sj – 1)]2/2

Программа нормализует двоичные потери таким образом, что потеря составляет 0,5 при yj = 0, и агрегирует, используя среднее значение двоичных учащихся [Allwein et al.].

Не путайте двоичные потери с общими классификационными потерями (заданными 'LossFun' Аргумент пары "имя-значение" из loss и predict функции объекта), который измеряет, насколько хорошо классификатор ECOC работает в целом.

Алгоритмы

свернуть все

Программа может оценить апостериорные вероятности класса путем минимизации расхождения Кулбэка-Лейблера или с помощью квадратичного программирования. Для следующих описаний алгоритмов апостериорной оценки примите, что:

  • mkj - элемент (k, j) матричной M проекта кодирования.

  • I является функцией индикации.

  • p^k - классовая апостериорная оценка вероятности для класса k наблюдения, k = 1,..., K.

  • rj является апостериорной вероятностью положительного класса для двоичных j учащегося. То есть rj вероятность того, что двоичный j учащегося классифицирует наблюдение в положительный класс, учитывая обучающие данные.

Апостериорная оценка с использованием расхождения Куллбэка-Лейблера

По умолчанию программное обеспечение минимизирует расхождение Кулбэка-Лейблера, чтобы оценить апостериорные вероятности класса. Расхождение Куллбэка-Лейблера между ожидаемыми и наблюдаемыми апостериорными вероятностями положительного класса является

Δ(r,r^)=∑j=1Lwj[rjlogrjr^j+(1−rj)log1−rj1−r^j],

где wj=∑Sjwi∗ - вес для двоичных j учащегося.

  • Sj - это набор индексов наблюдений, на которых обучаются j двоичных учащихся.

  • wi∗ - вес i наблюдений.

Программа итерационно минимизирует расхождение. Первым шагом является выбор начальных значений p^k(0);  k=1,...,K для апостериорных вероятностей класса.

  • Если вы не задаете 'NumKLIterations'затем программа пробует оба набора детерминированных начальных значений, описанных далее, и выбирает набор, который минимизирует

    • p^k(0)=1/K;  k=1,...,K.

    • p^k(0);  k=1,...,K является решением системы

      M01p^(0)=r,

      где M 01 M со всеми mkj = -1, замененными на 0, и r является вектором апостериорных вероятностей положительного класса, возвращенных L двоичными учениками [Dietterich et al.]. Программное обеспечение используетlsqnonneg для решения системы.

  • Если вы задаете 'NumKLIterations',c, где c является натуральным числом, затем программное обеспечение делает следующее, чтобы выбрать набор p^k(0);  k=1,...,K, и выбирает множество, которое минимизирует

    • Программа пробует оба набора детерминированных начальных значений, как описано ранее.

    • Программа случайным образом генерирует c векторы длины K использованием rand, и затем нормализует каждый вектор до суммы 1.

На t итерации программное обеспечение завершает следующие шаги:

  1. Вычислить

    r^j(t)=∑k=1Kp^k(t)I(mkj=+1)∑k=1Kp^k(t)I(mkj=+1∪mkj=−1).

  2. Оцените апостериорную вероятность следующего класса, используя

    p^k(t+1)=p^k(t)∑j=1Lwj[rjI(mkj=+1)+(1−rj)I(mkj=−1)]∑j=1Lwj[r^j(t)I(mkj=+1)+(1−r^j(t))I(mkj=−1)].

  3. Нормализовать p^k(t+1);  k=1,...,K так что они равны 1.

  4. Проверяйте на сходимость.

Для получения дополнительной информации см. [Hastie et al.] и [Zadrozny].

Апостериорная оценка с использованием квадратичного программирования

Апостериорная оценка вероятности с использованием квадратичного программирования требует лицензии Optimization Toolbox. Чтобы оценить апостериорные вероятности для наблюдения с помощью этого метода, программное обеспечение завершает следующие шаги:

  1. Оцените апостериорные вероятности положительного класса, rj, для двоичных учащихся j = 1,..., L.

  2. Использование связи между rj и p^k [Wu et al.], минимизировать

    ∑j=1L[−rj∑k=1Kp^kI(mkj=−1)+(1−rj)∑k=1Kp^kI(mkj=+1)]2

    по отношению к p^k и ограничения

    0≤p^k≤1∑kp^k=1.

    Программное обеспечение выполняет минимизацию, используя quadprog (Optimization Toolbox).

Ссылки

[1] Allwein, E., R. Schapire, and Y. Singer. «Сокращение многоклассового числа до двоичного: Унифицирующий подход к маржинальным classifiers». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.

[2] Диттерих, Т., и Г. Бакири. «Решение многоклассовых задач обучения с помощью выходных кодов с исправлением ошибок». Журнал исследований искусственного интеллекта. Том 2, 1995, стр. 263-286.

[3] Эскалера, С., О. Пужоль, и П. Радева. «О процессе декодирования в троичных выходных кодах с исправлением ошибок». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 32, Выпуск 7, 2010, стр. 120-134.

[4] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Распознавание шаблона. Том 30, Выпуск 3, 2009, стр. 285-297.

[5] Хасти, Т. и Р. Тибширани. Классификация по парному соединению. Анналы статистики. Том 26, Выпуск 2, 1998, стр. 451-471.

[6] Wu, T. F., C. J. Лин и Р. Венг. «Оценки вероятностей для многоклассовой классификации по парным связям». Журнал исследований машинного обучения. Том 5, 2004, стр. 975-1005.

[7] Задрозный, Б. «Уменьшение мультикласса до двоичного путем связывания оценок вероятностей». NIPS 2001: Труды по усовершенствованиям в системах нейронной обработки информации 14, 2001, стр. 1041-1048.

Расширенные возможности

.

См. также

| | | | | | (Optimization Toolbox)

Темы

Введенный в R2014b

Statistics and Machine Learning Toolbox документация

Поддержка