предсказать

Классифицируйте наблюдения с помощью модели выходных кодов с коррекцией ошибок (ECOC) мультикласса

Синтаксис

label = predict(Mdl,X)
label = predict(Mdl,X,Name,Value)
[label,NegLoss,PBScore] = predict(___)
[label,NegLoss,PBScore,Posterior] = predict(___)

Описание

пример

label = predict(Mdl,X) возвращается вектор предсказанного класса маркирует (label) для данных о предикторе в таблице или матричном X, на основе обученной модели Mdl выходных кодов с коррекцией ошибок (ECOC) мультикласса. Обученная модель ECOC может быть или полной или компактной.

пример

label = predict(Mdl,X,Name,Value) дополнительные опции использования заданы одним или несколькими аргументами пары "имя-значение". Например, можно задать метод оценки апостериорной вероятности, декодируя схему и уровень многословия.

пример

[label,NegLoss,PBScore] = predict(___) использование любая из комбинаций входных аргументов в предыдущих синтаксисах и дополнительно возвращается:

  • Массив отрицаемых средних бинарных потерь (NegLoss). Для каждого наблюдения в X predict присваивает метку класса, приводящего к самой большой отрицаемой средней бинарной потере (или, эквивалентно, самой маленькой средней бинарной потере).

  • Массив очков положительного класса (PBScore) для наблюдений классифицируется каждым бинарным учеником.

пример

[label,NegLoss,PBScore,Posterior] = predict(___) дополнительно возвращает следующие оценки вероятности класса для наблюдений (Posterior).

Чтобы получить следующие вероятности класса, необходимо установить 'FitPosterior',true когда обучение модель ECOC с помощью fitcecoc. В противном случае predict выдает ошибку.

Примеры

свернуть все

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM. Задайте 30%-ю выборку затяжки, стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является моделью ClassificationPartitionedECOC. Это имеет свойство Trained, массив ячеек 1 на 1, содержащий модель CompactClassificationECOC, что программное обеспечение обучило использование набора обучающих данных.

Предскажите демонстрационные тестом метки. Распечатайте случайное подмножество истинных и предсказанных меток.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
labels = predict(Mdl,XTest);

idx = randsample(sum(testInds),10);
table(YTest(idx),labels(idx),...
    'VariableNames',{'TrueLabels','PredictedLabels'})
ans=10×2 table
    TrueLabels    PredictedLabels
    __________    _______________

    setosa          setosa       
    versicolor      virginica    
    setosa          setosa       
    virginica       virginica    
    versicolor      versicolor   
    setosa          setosa       
    virginica       virginica    
    virginica       virginica    
    setosa          setosa       
    setosa          setosa       

Mdl правильно маркирует все кроме одного из демонстрационных тестом наблюдений с индексами idx.

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order
rng(1); % For reproducibility

Обучите модель ECOC с помощью двоичных классификаторов SVM и задайте 30%-ю выборку затяжки. Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
PMdl = fitcecoc(X,Y,'Holdout',0.30,'Learners',t,'ClassNames',classOrder);
Mdl = PMdl.Trained{1};           % Extract trained, compact classifier

PMdl является моделью ClassificationPartitionedECOC. Это имеет свойство Trained, массив ячеек 1 на 1, содержащий модель CompactClassificationECOC, что программное обеспечение обучило использование набора обучающих данных.

Очки SVM являются подписанными расстояниями от наблюдения до контура решения. Поэтому (-,) область. Создайте пользовательскую бинарную функцию потерь, которая делает следующее:

  • Сопоставьте матрицу (M) проекта кодирования и очки (очки) классификации положительных классов к каждому ученику к бинарной потере для каждого наблюдения.

  • Используйте линейную потерю.

  • Агрегируйте бинарную утрату ученика с помощью медианы.

Можно создать отдельную функцию для бинарной функции потерь, и затем сохранить ее на пути MATLAB®. Или, можно задать анонимную бинарную функцию потерь. В этом случае создайте указатель на функцию (customBL) к анонимной бинарной функции потерь.

customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;

Предскажите демонстрационные тестом метки и оцените среднюю бинарную потерю в классе. Распечатайте средние отрицательные бинарные потери в классе для случайного набора 10 демонстрационных тестом наблюдений.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
[label,NegLoss] = predict(Mdl,XTest,'BinaryLoss',customBL);

idx = randsample(sum(testInds),10);
classOrder
classOrder = 3x1 categorical array
     setosa 
     versicolor 
     virginica 

table(YTest(idx),label(idx),NegLoss(idx,:),'VariableNames',...
    {'TrueLabel','PredictedLabel','NegLoss'})
ans=10×3 table
    TrueLabel     PredictedLabel                 NegLoss              
    __________    ______________    __________________________________

    setosa          versicolor        0.1857       1.9878      -3.6735
    versicolor      virginica        -1.3316     -0.12333    -0.045053
    setosa          versicolor       0.13898       1.9261      -3.5651
    virginica       virginica        -1.5133     -0.38263      0.39592
    versicolor      versicolor      -0.87209      0.74777      -1.3757
    setosa          versicolor       0.48381       1.9972       -3.981
    virginica       virginica        -1.9364     -0.67508       1.1114
    virginica       virginica         -1.579     -0.83339      0.91235
    setosa          versicolor       0.51001       2.1208      -4.1308
    setosa          versicolor       0.36119       2.0594      -3.9206

Порядок столбцов соответствует элементам classOrder. Программное обеспечение предсказывает метку на основе максимальной отрицаемой потери. Результаты показывают, что медиана линейных потерь не может выполнить, а также другие потери.

Обучите классификатор ECOC с помощью двоичных учеников SVM. Сначала предскажите учебно-демонстрационные метки и апостериорные вероятности класса. Затем предскажите максимальную апостериорную вероятность класса в каждой точке в сетке. Визуализируйте результаты.

Загрузите ирисовый набор данных Фишера. Задайте лепестковые размерности как предикторы и имена разновидностей как ответ.

load fisheriris
X = meas(:,3:4);
Y = species;
rng(1); % For reproducibility

Создайте шаблон SVM. Стандартизируйте предикторы и задайте Гауссово ядро.

t = templateSVM('Standardize',true,'KernelFunction','gaussian');

t является шаблоном SVM. Большинство его свойств пусто. Когда программное обеспечение обучает классификатор ECOC, оно устанавливает применимые свойства на их значения по умолчанию.

Обучите классификатор ECOC с помощью шаблона SVM. Преобразуйте очки классификации, чтобы классифицировать апостериорные вероятности (которые возвращены predict или resubPredict), использование аргумента пары "имя-значение" 'FitPosterior'. Задайте порядок класса с помощью аргумента пары "имя-значение" 'ClassNames'. Отобразите диагностические сообщения во время обучения при помощи аргумента пары "имя-значение" 'Verbose'.

Mdl = fitcecoc(X,Y,'Learners',t,'FitPosterior',true,...
    'ClassNames',{'setosa','versicolor','virginica'},...
    'Verbose',2);
Training binary learner 1 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 2
Positive class indices: 1

Fitting posterior probabilities for learner 1 (SVM).
Training binary learner 2 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 3
Positive class indices: 1

Fitting posterior probabilities for learner 2 (SVM).
Training binary learner 3 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 3
Positive class indices: 2

Fitting posterior probabilities for learner 3 (SVM).

Mdl является моделью ClassificationECOC. Тот же шаблон SVM применяется к каждому бинарному ученику, но можно настроить опции для каждого бинарного ученика путем передачи в векторе ячейки шаблонов.

Предскажите учебно-демонстрационные метки и апостериорные вероятности класса. Отобразите диагностические сообщения во время вычисления меток и апостериорных вероятностей класса при помощи аргумента пары "имя-значение" 'Verbose'.

[label,~,~,Posterior] = resubPredict(Mdl,'Verbose',1);
Predictions from all learners have been computed.
Loss for all observations has been computed.
Computing posterior probabilities...
Mdl.BinaryLoss
ans = 
'quadratic'

Программное обеспечение присваивает наблюдение классу, который приводит к самой маленькой средней бинарной потере. Поскольку все бинарные ученики вычисляют апостериорные вероятности, бинарной функцией потерь является quadratic.

Отобразите случайный набор результатов.

idx = randsample(size(X,1),10,1);
Mdl.ClassNames
ans = 3x1 cell array
    {'setosa'    }
    {'versicolor'}
    {'virginica' }

table(Y(idx),label(idx),Posterior(idx,:),...
    'VariableNames',{'TrueLabel','PredLabel','Posterior'})
ans=10×3 table
     TrueLabel       PredLabel                    Posterior               
    ____________    ____________    ______________________________________

    'virginica'     'virginica'      0.0039321     0.0039869       0.99208
    'virginica'     'virginica'       0.017067      0.018263       0.96467
    'virginica'     'virginica'       0.014948      0.015856        0.9692
    'versicolor'    'versicolor'    2.2197e-14       0.87317       0.12683
    'setosa'        'setosa'             0.999    0.00025091    0.00074639
    'versicolor'    'virginica'     2.2195e-14      0.059429       0.94057
    'versicolor'    'versicolor'    2.2194e-14       0.97001      0.029986
    'setosa'        'setosa'             0.999     0.0002499    0.00074741
    'versicolor'    'versicolor'     0.0085646       0.98259      0.008849
    'setosa'        'setosa'             0.999    0.00025013    0.00074718

Столбцы Posterior соответствуют порядку класса Mdl.ClassNames.

Задайте сетку значений на наблюдаемом пробеле предиктора. Предскажите апостериорные вероятности для каждого экземпляра в сетке.

xMax = max(X);
xMin = min(X);

x1Pts = linspace(xMin(1),xMax(1));
x2Pts = linspace(xMin(2),xMax(2));
[x1Grid,x2Grid] = meshgrid(x1Pts,x2Pts);

[~,~,~,PosteriorRegion] = predict(Mdl,[x1Grid(:),x2Grid(:)]);

Для каждой координаты на сетке постройте максимальную апостериорную вероятность класса среди всех классов.

contourf(x1Grid,x2Grid,...
        reshape(max(PosteriorRegion,[],2),size(x1Grid,1),size(x1Grid,2)));
h = colorbar;
h.YLabel.String = 'Maximum posterior';
h.YLabel.FontSize = 15;

hold on
gh = gscatter(X(:,1),X(:,2),Y,'krk','*xd',8);
gh(2).LineWidth = 2;
gh(3).LineWidth = 2;

title('Iris Petal Measurements and Maximum Posterior')
xlabel('Petal length (cm)')
ylabel('Petal width (cm)')
axis tight
legend(gh,'Location','NorthWest')
hold off

Обучите мультикласс модель ECOC и оцените апостериорные вероятности с помощью параллельных вычислений.

Загрузите набор данных arrhythmia. Исследуйте данные об ответе Y и определите количество классов.

load arrhythmia
Y = categorical(Y);
tabulate(Y)
  Value    Count   Percent
      1      245     54.20%
      2       44      9.73%
      3       15      3.32%
      4       15      3.32%
      5       13      2.88%
      6       25      5.53%
      7        3      0.66%
      8        2      0.44%
      9        9      1.99%
     10       50     11.06%
     14        4      0.88%
     15        5      1.11%
     16       22      4.87%
K = numel(unique(Y));

Несколько классов не представлены в данных, и многие из других классов имеют низкие относительные частоты.

Задайте шаблон приобретения знаний ансамблем, который использует метод GentleBoost и 50 слабых учеников дерева классификации.

t = templateEnsemble('GentleBoost',50,'Tree');

t является объектом шаблона. Большинство его свойств пусто ([]). Программное обеспечение использует значения по умолчанию для всех пустых свойств во время обучения.

Поскольку переменная отклика содержит много классов, задайте разреженный случайный проект кодирования.

rng(1); % For reproducibility
Coding = designecoc(K,'sparserandom');

Обучите модель ECOC с помощью параллельных вычислений. Задайте 15%-ю выборку затяжки и соответствуйте апостериорным вероятностям.

pool = parpool;                    % Invokes workers
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
options = statset('UseParallel',true);
PMdl = fitcecoc(X,Y,'Learner',t,'Options',options,'Coding',Coding,...
    'FitPosterior',true,'Holdout',0.15);
Mdl = PMdl.Trained{1};            % Extract trained, compact classifier

PMdl является моделью ClassificationPartitionedECOC. Это имеет свойство Trained, массив ячеек 1 на 1, содержащий модель CompactClassificationECOC, что программное обеспечение обучило использование набора обучающих данных.

Пул вызывает шесть рабочих, несмотря на то, что количество рабочих может отличаться среди систем.

Оцените апостериорные вероятности и отобразите апостериорную вероятность того, чтобы быть классифицированным как то, чтобы не давать аритмии (класса 1) данные для случайного набора демонстрационных тестом наблюдений.

testInds = test(PMdl.Partition);  % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds,:);
[~,~,~,posterior] = predict(Mdl,XTest,'Options',options);

idx = randsample(sum(testInds),10);
table(idx,YTest(idx),posterior(idx,1),...
    'VariableNames',{'TestSampleIndex','TrueLabel','PosteriorNoArrhythmia'})
ans=10×3 table
    TestSampleIndex    TrueLabel    PosteriorNoArrhythmia
    _______________    _________    _____________________

          11              6                0.60631       
          41              4                0.23674       
          51              2                0.13802       
          33              10               0.43831       
          12              1                0.94332       
           8              1                0.97278       
          37              1                0.62807       
          24              10               0.96876       
          56              16               0.29375       
          30              1                0.64512       

Входные параметры

свернуть все

Полный или компактный мультикласс модель ECOC, заданная как ClassificationECOC или объект модели CompactClassificationECOC.

Чтобы создать полную или компактную модель ECOC, смотрите ClassificationECOC или CompactClassificationECOC.

Данные о предикторе, которые будут классифицированы, заданные как числовая матрица или таблица.

Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной.

  • Для числовой матрицы:

    • Переменные, которые составляют столбцы X, должны иметь тот же порядок как переменные прогноза тот train Mdl.

    • Если вы обучаете Mdl с помощью таблицы (например, Tbl), то X может быть числовой матрицей, если Tbl содержит все числовые переменные прогноза. Чтобы обработать числовые предикторы в Tbl как категориальные во время обучения, идентифицируйте категориальные предикторы с помощью аргумента пары "имя-значение" CategoricalPredictors fitcecoc. Если Tbl содержит неоднородные переменные прогноза (например, типы числовых и категориальных данных), и X является числовой матрицей, то predict выдает ошибку.

  • Для таблицы:

    • predict не поддерживает многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов.

    • Если вы обучаете Mdl с помощью таблицы (например, Tbl), то все переменные прогноза в X должны иметь те же имена переменных и типы данных как переменные прогноза, которые обучают Mdl (сохраненный в Mdl.PredictorNames). Однако порядок следования столбцов X не должен соответствовать порядку следования столбцов Tbl. И Tbl и X могут содержать дополнительные переменные (переменные отклика, веса наблюдения, и так далее), но predict игнорирует их.

    • Если вы обучаете Mdl с помощью числовой матрицы, то имена предиктора в Mdl.PredictorNames и соответствующие имена переменной прогноза в X должны быть тем же самым. Чтобы задать имена предиктора во время обучения, смотрите аргумент пары "имя-значение" PredictorNames fitcecoc. Все переменные прогноза в X должны быть числовыми векторами. X может содержать дополнительные переменные (переменные отклика, веса наблюдения, и так далее), но predict игнорирует их.

Примечание

Если Mdl.BinaryLearners содержит линейный или модели классификации ядер (ClassificationLinear или объекты модели ClassificationKernel), то вы не можете задать выборочные данные в таблице. Вместо этого передайте матрицу данных о предикторе.

Когда учебный Mdl, примите, что вы устанавливаете 'Standardize',true для объекта шаблона, заданного в аргументе пары "имя-значение" 'Learners' fitcecoc. В этом случае, для соответствующего бинарного ученика j, программное обеспечение стандартизирует столбцы новых данных о предикторе с помощью соответствующих средних значений в Mdl.BinaryLearner{j}.Mu и стандартных отклонений в Mdl.BinaryLearner{j}.Sigma.

Типы данных: table | double | single

Аргументы в виде пар имя-значение

Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: predict(Mdl,X,'BinaryLoss','quadratic','Decoding','lossbased') задает квадратичную бинарную функцию потерь ученика и основанную на потере схему декодирования агрегации бинарных потерь.

Бинарная функция потерь ученика, заданная как пара, разделенная запятой, состоящая из 'BinaryLoss' и встроенного имени функции потерь или указателя на функцию.

  • Эта таблица описывает встроенные функции, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j, и g (yj, sj) является бинарной формулой потерь.

    ЗначениеОписаниеОбласть счетаg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
    'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
    'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
    'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

    Программное обеспечение нормирует бинарные потери так, чтобы потеря была 0.5 когда yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

  • Для пользовательской бинарной функции потерь, например, customFunction, задают его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction имеет эту форму:

    bLoss = customFunction(M,s)
    где:

    • M является K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.

    • s является 1 L вектором - строкой из очков классификации.

    • bLoss является потерей классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.

    • K является количеством классов.

    • L является количеством бинарных учеников.

    Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

Значение BinaryLoss по умолчанию зависит от областей значений счета, возвращенных бинарными учениками. Эта таблица описывает некоторые значения BinaryLoss по умолчанию на основе данных предположений.

ПредположениеЗначение по умолчанию
Все бинарные ученики являются SVMs или или линейный или модели классификации ядер учеников SVM.'hinge'
Все бинарные ученики являются ансамблями, обученными AdaboostM1 или GentleBoost.'exponential'
Все бинарные ученики являются ансамблями, обученными LogitBoost.'binodeviance'
Все бинарные ученики линейны или модели классификации ядер учеников логистической регрессии. Или, вы задаете, чтобы предсказать апостериорные вероятности класса установкой 'FitPosterior',true в fitcecoc.'quadratic'

Чтобы проверять значение по умолчанию, используйте запись через точку, чтобы отобразить свойство BinaryLoss обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема Decoding, которая агрегировала бинарные потери, заданные как пара, разделенная запятой, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

Количество случайных начальных значений для подбора кривой апостериорным вероятностям минимизацией расхождения Kullback-Leibler, заданной как пара, разделенная запятой, состоящая из 'NumKLInitializations' и неотрицательного целочисленного скаляра.

Если вы не запрашиваете четвертый выходной аргумент (Posterior) и устанавливаете 'PosteriorMethod','kl' (значение по умолчанию), то программное обеспечение игнорирует значение NumKLInitializations.

Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.

Пример: 'NumKLInitializations',5

Типы данных: single | double

Размерность наблюдения данных о предикторе, заданная как пара, разделенная запятой, состоящая из 'ObservationsIn' и 'columns' или 'rows'. Mdl.BinaryLearners должен содержать модели ClassificationLinear.

Примечание

Если вы ориентируете свою матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задали 'ObservationsIn','columns', можно испытать значительное сокращение во время выполнения.

Опции оценки, заданные как пара, разделенная запятой, состоящая из 'Options' и массива структур, возвращенного statset.

Вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Метод оценки апостериорной вероятности, заданный как пара, разделенная запятой, состоящая из 'PosteriorMethod' и 'kl' или 'qp'.

  • Если PosteriorMethod является 'kl', то программное обеспечение оценивает апостериорные вероятности мультикласса путем минимизации расхождения Kullback-Leibler между предсказанными и ожидаемыми апостериорными вероятностями, возвращенными бинарными учениками. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.

  • Если PosteriorMethod является 'qp', то программное обеспечение оценивает апостериорные вероятности мультикласса путем решения задачи наименьших квадратов с помощью квадратичного программирования. Вам нужна лицензия Optimization Toolbox™, чтобы использовать эту опцию. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Квадратичное программирование.

  • Если вы не запрашиваете четвертый выходной аргумент (Posterior), то программное обеспечение игнорирует значение PosteriorMethod.

Пример: 'PosteriorMethod','qp'

Уровень многословия, заданный как пара, разделенная запятой, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose является 0, то программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

свернуть все

Предсказанные метки класса, возвращенные как категориальное, символ, логический, или числовой массив или массив ячеек из символьных векторов. Программное обеспечение предсказывает классификацию наблюдения путем присвоения наблюдения классу, приводящему к самой большой отрицаемой средней бинарной потере (или, эквивалентно, самой маленькой средней бинарной потере).

label имеет совпадающий тип данных как метки класса, используемые, чтобы обучить Mdl, и имеет одинаковое число строк как X. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.)

Если Mdl.BinaryLearners содержит модели ClassificationLinear, то label является m-by-L матрица, где m является количеством наблюдений в X, и L является количеством сильных мест регуляризации в линейных моделях классификации (numel(Mdl.BinaryLearners{1}.Lambda)). Значение label(i,j) является предсказанной меткой наблюдения i для модели, обученной с помощью силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

В противном случае label является вектор-столбцом длины m.

Отрицаемые средние бинарные потери, возвращенные как числовая матрица или массив.

  • Если Mdl.BinaryLearners содержит модели ClassificationLinear, то NegLoss является m-by-K-by-L массив.

    • m является количеством наблюдений в X.

    • K является количеством отличных классов в данных тренировки (numel(Mdl.ClassNames)).

    • L является количеством сильных мест регуляризации в линейных моделях классификации (numel(Mdl.BinaryLearners{1}.Lambda)).

    NegLoss(i,k,j) является отрицаемой средней бинарной потерей для наблюдения i, соответствуя классу Mdl.ClassNames(k), для модели, обученной с помощью силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

  • В противном случае NegLoss является m-by-K матрица.

Музыка положительного класса к каждому бинарному ученику, возвращенному как числовая матрица или массив.

  • Если Mdl.BinaryLearners содержит модели ClassificationLinear, то PBScore является m-by-B-by-L массив.

    • m является количеством наблюдений в X.

    • B является количеством бинарных учеников (numel(Mdl.BinaryLearners)).

    • L является количеством сильных мест регуляризации в линейных моделях классификации (numel(Mdl.BinaryLearners{1}.Lambda)).

    PBScore(i,b,j) является счетом положительного класса к наблюдению i, с помощью бинарного ученика b, к модели, обученной с помощью силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

  • В противном случае PBScore является m-by-B матрица.

Следующие вероятности класса, возвращенные как числовая матрица или массив.

  • Если Mdl.BinaryLearners содержит модели ClassificationLinear, то Posterior является m-by-K-by-L массив. Для определений размерности смотрите NegLoss. Posterior(i,k,j) является апостериорной вероятностью, что наблюдение i прибывает из класса Mdl.ClassNames(k) для модели, обученной с помощью силы регуляризации Mdl.BinaryLearners{1}.Lambda(j).

  • В противном случае Posterior является m-by-K матрица.

Больше о

свернуть все

Бинарная потеря

binary loss является функцией класса и счета классификации, который определяет, как хорошо бинарный ученик классифицирует наблюдение в класс.

Предположим следующее:

  • mkj является элементом (k, j) проекта кодирования матричный M (то есть, код, соответствующий классу k бинарного ученика j).

  • sj является счетом бинарного ученика j для наблюдения.

  • g является бинарной функцией потерь.

  • k^ предсказанный класс для наблюдения.

В loss-based decoding [Escalera и др.], класс, производящий минимальную сумму бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argminkj=1L|mkj|g(mkj,sj).

В loss-weighted decoding [Escalera и др.], класс, производящий минимальное среднее значение бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

k^=argminkj=1L|mkj|g(mkj,sj)j=1L|mkj|.

Allwein и др. предполагают, что взвешенное потерей декодирование улучшает точность классификации путем хранения значений потерь для всех классов в том же динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j и g (yj, sj).

ЗначениеОписаниеОбласть счетаg (yj, sj)
'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
'linear'Линейный(–∞,∞)(1 – yjsj)/2
'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5, когда yj = 0, и агрегировал использование среднего значения бинарных учеников [Allwein и др.].

Не путайте бинарную потерю с полной потерей классификации (заданный аргументом пары "имя-значение" 'LossFun' функций объекта loss и predict), который измеряется, как хорошо классификатор ECOC выполняет в целом.

Алгоритмы

свернуть все

Программное обеспечение может оценить апостериорные вероятности класса путем минимизации расхождения Kullback-Leibler или при помощи квадратичного программирования. Для следующих описаний следующих алгоритмов оценки примите что:

  • mkj является элементом (k, j) проекта кодирования матричный M.

  • I является функцией индикатора.

  • p^k оценка апостериорной вероятности класса для класса k наблюдения, k = 1..., K.

  • rj является апостериорной вероятностью положительного класса для бинарного ученика j. Таким образом, rj является вероятностью, что бинарный ученик j классифицирует наблюдение в положительный класс, учитывая данные тренировки.

Следующая оценка Используя расхождение Kullback-Leibler

По умолчанию программное обеспечение минимизирует расхождение Kullback-Leibler, чтобы оценить апостериорные вероятности класса. Расхождение Kullback-Leibler между ожидаемыми и наблюдаемыми апостериорными вероятностями положительного класса

Δ(r,r^)=j=1Lwj[rjжурналrjr^j+(1rj)журнал1rj1r^j],

где wj=Sjwi вес для бинарного ученика j.

  • Sj является набором индексов наблюдения, на котором бинарном ученике обучен j.

  • wi вес наблюдения i.

Программное обеспечение минимизирует расхождение итеративно. Первый шаг должен выбрать начальные значения p^k(0);k=1,...,K для апостериорных вероятностей класса.

  • Если вы не задаете 'NumKLIterations', то программное обеспечение пробует оба набора детерминированных начальных значений, описанных затем, и выбирает набор, который минимизирует Δ.

    • p^k(0)=1/K;k=1,...,K.

    • p^k(0);k=1,...,K решение системы

      M01p^(0)=r,

      где M 01 является M со всем mkj = –1 замененный с 0, и r является вектором апостериорных вероятностей положительного класса, возвращенных двоичными учениками L [Dietterich и др.]. Программное обеспечение использует lsqnonneg, чтобы решить систему.

  • Если вы задаете 'NumKLIterations',c, где c является натуральным числом, то программное обеспечение делает следующее, чтобы выбрать набор p^k(0);k=1,...,K, и выбирает набор, который минимизирует Δ.

    • Программное обеспечение пробует оба набора детерминированных начальных значений, как описано ранее.

    • Программное обеспечение случайным образом генерирует векторы c длины K с помощью rand, и затем нормирует каждый вектор, чтобы суммировать к 1.

В итерации t программное обеспечение завершает эти шаги:

  1. Вычислить

    r^j(t)=k=1Kp^k(t)I(mkj=+1)k=1Kp^k(t)I(mkj=+1mkj=1).

  2. Оцените использование апостериорной вероятности следующего класса

    p^k(t+1)=p^k(t)j=1Lwj[rjI(mkj=+1)+(1rj)I(mkj=1)]j=1Lwj[r^j(t)I(mkj=+1)+(1r^j(t))I(mkj=1)].

  3. Нормировать p^k(t+1);k=1,...,K так, чтобы они суммировали к 1.

  4. Проверяйте на сходимость.

Для получения дополнительной информации смотрите [Hastie и др.] и [Zadrozny].

Следующая оценка Используя квадратичное программирование

Оценка апостериорной вероятности с помощью квадратичного программирования требует лицензии Optimization Toolbox. Чтобы оценить апостериорные вероятности для наблюдения с помощью этого метода, программное обеспечение завершает эти шаги:

  1. Оцените апостериорные вероятности положительного класса, rj, для бинарных учеников j = 1..., L.

  2. Используя отношение между rj и p^k [Ву и др.], минимизировать

    j=1L[rjk=1Kp^kI(mkj=1)+(1rj)k=1Kp^kI(mkj=+1)]2

    относительно p^k и ограничения

    0p^k1kp^k=1.

    Программное обеспечение выполняет минимизацию с помощью quadprog.

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classifiers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Dietterich, T. и Г. Бакири. “Решая проблемы Изучения Мультикласса С помощью Выходных Кодов С коррекцией ошибок”. Журнал Исследования Искусственного интеллекта. Издание 2, 1995, стр 263–286.

[3] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[4] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Распознавание образов. Издание 30, Выпуск 3, 2009, стр 285–297.

[5] Hastie, T. и Р. Тибширэни. “Классификация Попарной Связью”. Летопись Статистики. Издание 26, Выпуск 2, 1998, стр 451–471.

[6] Ву, T. F. К. Дж. Лин и Р. Вэн. “Оценки вероятности для Классификации Мультиклассов Попарной Связью”. Журнал Исследования Машинного обучения. Издание 5, 2004, стр 975–1005.

[7] Zadrozny, B. “Уменьшая Мультикласс до Двоичного файла путем Связи Оценок Вероятности”. NIPS 2001: Продолжения Усовершенствований в Нейронных Системах обработки информации 14, 2001, стр 1041–1048.

Расширенные возможности

Введенный в R2014b