Классификация наблюдений в перекрестно проверенной модели ECOC ядра
label = kfoldPredict(CVMdl)ClassificationPartitionedKernelECOC) CVMdl. Для каждой складки, kfoldPredict предсказывает метки классов для наблюдений сворачивания с валидацией, используя модель, обученную наблюдениям сворачивания. kfoldPredict применяет те же данные, что и при создании CVMdl (см. fitcecoc).
Программа предсказывает классификацию наблюдения путем присвоения наблюдения классу, получая наибольшие отрицательные средние двоичные потери (или, что эквивалентно, наименьшие средние двоичные потери).
label = kfoldPredict(CVMdl,Name,Value)
[ дополнительно возвращает отрицательные значения средних двоичных потерь на класс (label,NegLoss,PBScore]
= kfoldPredict(___)NegLoss) для наблюдений с разбиением на валидации и счетов положительного класса (PBScore) для наблюдений с складкой валидации, классифицированных каждым двоичным учеником, с использованием любой из комбинаций входных аргументов в предыдущих синтаксисах.
Если матрица кодирования изменяется между складками (то есть схема кодирования sparserandom или denserandom), затем PBScore пуст ([]).
[ дополнительно возвращает апостериорные оценки вероятностей классов для валидационно-складных наблюдений (label,NegLoss,PBScore,Posterior]
= kfoldPredict(___)Posterior).
Чтобы получить апостериорные вероятности класса, двоичные ученики классификации ядра должны быть логистическими регрессиоными моделями. В противном случае, kfoldPredict выдает ошибку.
Классифицируйте наблюдения с помощью перекрестно проверенного многоклассового классификатора ECOC и отображайте матрицу неточностей для полученной классификации.
Загрузите набор данных радужки Фишера. X содержит измерения цветов и Y содержит имена видов цветов.
load fisheriris
X = meas;
Y = species;Перекрестная проверка модели ECOC, состоящей из двоичных учащихся ядра.
rng(1); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners','kernel','CrossVal','on')
CVMdl =
ClassificationPartitionedKernelECOC
CrossValidatedModel: 'KernelECOC'
ResponseName: 'Y'
NumObservations: 150
KFold: 10
Partition: [1x1 cvpartition]
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedKernelECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию. Чтобы задать другое количество складок, используйте 'KFold' аргумент пары "имя-значение" вместо 'Crossval'.
Классифицируйте наблюдения, которые fitcecoc не использует при обучении складок.
label = kfoldPredict(CVMdl);
Создайте матрицу неточностей, чтобы сравнить истинные классы наблюдений с их предсказанными метками.
C = confusionchart(Y,label);
The CVMdl модель ошибочно классифицирует четыре 'versicolor' ирисы как 'virginica' иризует и неправильно классифицирует одно 'virginica' радужная оболочка глаза как 'versicolor' радужная оболочка глаза.
Загрузите набор данных радужки Фишера. X содержит измерения цветов и Y содержит имена видов цветов.
load fisheriris
X = meas;
Y = species;Перекрестная валидация модели ECOC моделей классификации ядер с помощью 5-кратной перекрестной валидации.
rng(1); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners','kernel','KFold',5)
CVMdl =
ClassificationPartitionedKernelECOC
CrossValidatedModel: 'KernelECOC'
ResponseName: 'Y'
NumObservations: 150
KFold: 5
Partition: [1x1 cvpartition]
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedKernelECOC модель. Оно содержит свойство Trained, который является массивом ячеек 5 на 1 CompactClassificationECOC модели.
По умолчанию модели классификации ядра, которые составляют CompactClassificationECOC модели используют SVM. Счета SVM являются подписанными расстояниями от наблюдения до контура принятия решения. Поэтому область является . Создайте пользовательскую функцию двоичных потерь, которая:
Сопоставляет матрицу проекта кодирования (M) и классификационные оценки (оценки ) (ы) положительного класса для каждого учащегося с двоичными потерями для каждого наблюдения
Использует линейные потери
Агрегирует двоичные потери учащегося с помощью медианы
Можно создать отдельную функцию для функции двоичных потерь, а затем сохранить ее в пути MATLAB ®. Или можно задать анонимную функцию двоичных потерь. В этом случае создайте указатель на функцию (customBL) к анонимной функции двоичных потерь.
customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;
Спрогнозируйте метки перекрестной валидации и оцените медианные двоичные потери по классам. Печать медианы отрицательных двоичных потерь на класс для случайного набора из 10 наблюдений.
[label,NegLoss] = kfoldPredict(CVMdl,'BinaryLoss',customBL); idx = randsample(numel(label),10); table(Y(idx),label(idx),NegLoss(idx,1),NegLoss(idx,2),NegLoss(idx,3),... 'VariableNames',[{'True'};{'Predicted'};... unique(CVMdl.ClassNames)])
ans=10×5 table
True Predicted setosa versicolor virginica
______________ ______________ ________ __________ _________
{'setosa' } {'setosa' } 0.20926 -0.84572 -0.86354
{'setosa' } {'setosa' } 0.16144 -0.90572 -0.75572
{'virginica' } {'versicolor'} -0.83532 -0.12157 -0.54311
{'virginica' } {'virginica' } -0.97235 -0.69759 0.16994
{'virginica' } {'virginica' } -0.89441 -0.69937 0.093778
{'virginica' } {'virginica' } -0.86774 -0.47297 -0.15929
{'setosa' } {'setosa' } -0.1026 -0.69671 -0.70069
{'setosa' } {'setosa' } 0.1001 -0.89163 -0.70848
{'virginica' } {'virginica' } -1.0106 -0.52919 0.039829
{'versicolor'} {'versicolor'} -1.0298 0.027354 -0.49757
Перекрестная проверенная модель правильно предсказывает метки для 9 из 10 случайных наблюдений.
Оцените апостериорные вероятности классов с помощью перекрестно проверенной многоклассовой ядерной классификационной модели ECOC. Модели классификации ядра возвращают апостериорные вероятности только для учащихся логистической регрессии.
Загрузите набор данных радужки Фишера. X содержит измерения цветов и Y содержит имена видов цветов.
load fisheriris
X = meas;
Y = species;Создайте шаблон ядра для двоичных моделей классификации ядра. Задайте, чтобы соответствовать учителям логистической регрессии.
t = templateKernel('Learner','logistic')
t =
Fit template for classification Kernel.
BetaTolerance: []
BlockSize: []
BoxConstraint: []
Epsilon: []
NumExpansionDimensions: []
GradientTolerance: []
HessianHistorySize: []
IterationLimit: []
KernelScale: []
Lambda: []
Learner: 'logistic'
LossFunction: []
Stream: []
VerbosityLevel: []
Version: 1
Method: 'Kernel'
Type: 'classification'
t является шаблоном ядра. Большинство его свойств пусты. При обучении классификатора ECOC с помощью шаблона программное обеспечение устанавливает применимые свойства на их значения по умолчанию.
Перекрестная проверка модели ECOC с помощью шаблона ядра.
rng('default'); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners',t,'CrossVal','on')
CVMdl =
ClassificationPartitionedKernelECOC
CrossValidatedModel: 'KernelECOC'
ResponseName: 'Y'
NumObservations: 150
KFold: 10
Partition: [1x1 cvpartition]
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedECOC модель. По умолчанию программа использует 10-кратную перекрестную валидацию.
Предсказать апостериорные вероятности класса validation-fold.
[label,~,~,Posterior] = kfoldPredict(CVMdl);
Программа присваивает наблюдение классу, которое приводит к наименьшим средним двоичным потерям. Поскольку все двоичные ученики вычисляют апостериорные вероятности, функция двоичных потерь quadratic.
Отобразите апостериорные вероятности для 10 случайным образом выбранных наблюдений.
idx = randsample(size(X,1),10); CVMdl.ClassNames
ans = 3x1 cell
{'setosa' }
{'versicolor'}
{'virginica' }
table(Y(idx),label(idx),Posterior(idx,:),... 'VariableNames',{'TrueLabel','PredLabel','Posterior'})
ans=10×3 table
TrueLabel PredLabel Posterior
______________ ______________ ________________________________
{'setosa' } {'setosa' } 0.68216 0.18546 0.13238
{'virginica' } {'virginica' } 0.1581 0.14405 0.69785
{'virginica' } {'virginica' } 0.071807 0.093291 0.8349
{'setosa' } {'setosa' } 0.74918 0.11434 0.13648
{'versicolor'} {'versicolor'} 0.09375 0.67149 0.23476
{'versicolor'} {'versicolor'} 0.036202 0.85544 0.10836
{'versicolor'} {'versicolor'} 0.2252 0.50473 0.27007
{'virginica' } {'virginica' } 0.061562 0.11086 0.82758
{'setosa' } {'setosa' } 0.42448 0.21181 0.36371
{'virginica' } {'virginica' } 0.082705 0.1428 0.7745
Столбцы Posterior соответствуют классу порядка CVMdl.ClassNames.
[1] Allwein, E., R. Schapire, and Y. Singer. «Сокращение многоклассового числа до двоичного: Унифицирующий подход к маржинальным classifiers». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.
[2] Диттерих, Т., и Г. Бакири. «Решение многоклассовых задач обучения с помощью выходных кодов с исправлением ошибок». Журнал исследований искусственного интеллекта. Том 2, 1995, стр. 263-286.
[3] Эскалера, С., О. Пужоль, и П. Радева. «О процессе декодирования в троичных выходных кодах с исправлением ошибок». Транзакции IEEE по шаблонному анализу и машинному анализу. Том 32, Выпуск 7, 2010, стр. 120-134.
[4] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Pattern Recogn (Повторный вызов шаблона). Том 30, Выпуск 3, 2009, стр. 285-297.
[5] Хасти, Т. и Р. Тибширани. Классификация по парному соединению. Анналы статистики. Том 26, Выпуск 2, 1998, стр. 451-471.
[6] Wu, T. F., C. J. Лин и Р. Венг. «Оценки вероятностей для многоклассовой классификации по парным связям». Журнал исследований машинного обучения. Том 5, 2004, стр. 975-1005.
[7] Задрозный, Б. «Уменьшение мультикласса до двоичного путем связывания оценок вероятностей». NIPS 2001: Труды по усовершенствованиям в системах нейронной обработки информации 14, 2001, стр. 1041-1048.