Классификация наблюдений в перекрестно проверенной модели ECOC ядра
label = kfoldPredict(CVMdl)ClassificationPartitionedKernelECOC) CVMdl. Для каждого раза, kfoldPredict предсказывает метки классов для проверочных наблюдений с использованием модели, обученной тренировочным наблюдениям. kfoldPredict применяет те же данные, что и при создании CVMdl (см. fitcecoc).
Программное обеспечение предсказывает классификацию наблюдения, присваивая наблюдение классу, давая наибольшую отрицаемую среднюю двоичную потерю (или, что эквивалентно, наименьшую среднюю двоичную потерю).
label = kfoldPredict(CVMdl,Name,Value)
[ дополнительно возвращает отрицательные значения средних двоичных потерь на класс (label,NegLoss,PBScore] = kfoldPredict(___)NegLoss) для кратных по валидации наблюдений и положительных оценок класса (PBScore) для кратных по валидации наблюдений, классифицированных каждым двоичным учеником, с использованием любой из комбинаций входных аргументов в предыдущих синтаксисах.
Если матрица кодирования изменяется по складкам (то есть схема кодирования sparserandom или denserandom), то PBScore пуст ([]).
[ дополнительно возвращает оценки вероятности апостериорного класса для проверочных наблюдений (label,NegLoss,PBScore,Posterior] = kfoldPredict(___)Posterior).
Чтобы получить вероятности заднего класса, двоичные ученики классификации ядра должны быть моделями логистической регрессии. В противном случае kfoldPredict выдает ошибку.
Классифицируйте наблюдения с помощью классификатора ECOC многоклассного ядра с перекрестной проверкой и отображайте матрицу путаницы для результирующей классификации.
Загрузите набор данных радужки Фишера. X содержит измерения цветов, и Y содержит названия видов цветов.
load fisheriris
X = meas;
Y = species;Перекрестная проверка модели ECOC, состоящей из двоичных учеников ядра.
rng(1); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners','kernel','CrossVal','on')
CVMdl =
ClassificationPartitionedKernelECOC
CrossValidatedModel: 'KernelECOC'
ResponseName: 'Y'
NumObservations: 150
KFold: 10
Partition: [1x1 cvpartition]
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedKernelECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку. Чтобы указать другое количество сгибов, используйте 'KFold' аргумент пары имя-значение вместо 'Crossval'.
Классифицировать наблюдения, которые fitcecoc не использует при обучении складки.
label = kfoldPredict(CVMdl);
Создайте матрицу путаницы, чтобы сравнить истинные классы наблюдений с их предсказанными метками.
C = confusionchart(Y,label);
CVMdl модель ошибочно классифицирует четыре 'versicolor' ирисы как 'virginica' ирисы и неправильно классифицирует один 'virginica' радужная оболочка как 'versicolor' радужка.
Загрузите набор данных радужки Фишера. X содержит измерения цветов, и Y содержит названия видов цветов.
load fisheriris
X = meas;
Y = species;Перекрестная проверка модели ECOC моделей классификации ядра с использованием пятикратной перекрестной проверки.
rng(1); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners','kernel','KFold',5)
CVMdl =
ClassificationPartitionedKernelECOC
CrossValidatedModel: 'KernelECOC'
ResponseName: 'Y'
NumObservations: 150
KFold: 5
Partition: [1x1 cvpartition]
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedKernelECOC модель. Он содержит свойство Trained, который является массивом ячеек 5 на 1 CompactClassificationECOC модели.
По умолчанию модели классификации ядра, которые составляют CompactClassificationECOC модели используют SVM. Оценки SVM подписаны расстояниями от наблюдения до границы принятия решения. Поэтому доменом является ). Создайте пользовательскую двоичную функцию потери, которая:
Сопоставляет матрицу дизайна кодирования (M) и оценки классификации положительного класса для каждого учащегося с двоичными потерями для каждого наблюдения
Использует линейные потери
Агрегирует двоичные потери учащихся с помощью медианы
Можно создать отдельную функцию для двоичной функции потери, а затем сохранить ее на пути MATLAB ®. Также можно указать анонимную двоичную функцию потери. В этом случае создайте дескриптор функции (customBL) к анонимной двоичной функции потери.
customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;
Спрогнозировать метки перекрестной проверки и оценить медианные двоичные потери на класс. Печать медианы отрицательных двоичных потерь на класс для случайного набора из 10 наблюдений.
[label,NegLoss] = kfoldPredict(CVMdl,'BinaryLoss',customBL); idx = randsample(numel(label),10); table(Y(idx),label(idx),NegLoss(idx,1),NegLoss(idx,2),NegLoss(idx,3),... 'VariableNames',[{'True'};{'Predicted'};... unique(CVMdl.ClassNames)])
ans=10×5 table
True Predicted setosa versicolor virginica
______________ ______________ ________ __________ _________
{'setosa' } {'setosa' } 0.20926 -0.84572 -0.86354
{'setosa' } {'setosa' } 0.16144 -0.90572 -0.75572
{'virginica' } {'versicolor'} -0.83532 -0.12157 -0.54311
{'virginica' } {'virginica' } -0.97235 -0.69759 0.16994
{'virginica' } {'virginica' } -0.89441 -0.69937 0.093778
{'virginica' } {'virginica' } -0.86774 -0.47297 -0.15929
{'setosa' } {'setosa' } -0.1026 -0.69671 -0.70069
{'setosa' } {'setosa' } 0.1001 -0.89163 -0.70848
{'virginica' } {'virginica' } -1.0106 -0.52919 0.039829
{'versicolor'} {'versicolor'} -1.0298 0.027354 -0.49757
Модель с перекрестной проверкой правильно предсказывает метки для 9 из 10 случайных наблюдений.
Оценка вероятности апостериорного класса с использованием модели классификации ECOC многоклассного ядра с перекрестной проверкой. Модели классификации ядра возвращают апостериорные вероятности только для учащихся с логистической регрессией.
Загрузите набор данных радужки Фишера. X содержит измерения цветов, и Y содержит названия видов цветов.
load fisheriris
X = meas;
Y = species;Создайте шаблон ядра для бинарных моделей классификации ядра. Укажите, чтобы подогнать учеников логистической регрессии.
t = templateKernel('Learner','logistic')
t =
Fit template for classification Kernel.
BetaTolerance: []
BlockSize: []
BoxConstraint: []
Epsilon: []
NumExpansionDimensions: []
GradientTolerance: []
HessianHistorySize: []
IterationLimit: []
KernelScale: []
Lambda: []
Learner: 'logistic'
LossFunction: []
Stream: []
VerbosityLevel: []
Version: 1
Method: 'Kernel'
Type: 'classification'
t является шаблоном ядра. Большинство его свойств пусты. При обучении классификатора ECOC с использованием шаблона программа устанавливает соответствующие свойства для их значений по умолчанию.
Перекрестная проверка модели ECOC с использованием шаблона ядра.
rng('default'); % For reproducibility CVMdl = fitcecoc(X,Y,'Learners',t,'CrossVal','on')
CVMdl =
ClassificationPartitionedKernelECOC
CrossValidatedModel: 'KernelECOC'
ResponseName: 'Y'
NumObservations: 150
KFold: 10
Partition: [1x1 cvpartition]
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
Properties, Methods
CVMdl является ClassificationPartitionedECOC модель. По умолчанию программа использует десятикратную перекрестную проверку.
Предсказать апостериорные вероятности класса, кратные валидации.
[label,~,~,Posterior] = kfoldPredict(CVMdl);
Программное обеспечение назначает наблюдение классу, которое дает наименьшие средние двоичные потери. Поскольку все двоичные ученики вычисляют апостериорные вероятности, функция двоичных потерь quadratic.
Отображение задних вероятностей для 10 случайно выбранных наблюдений.
idx = randsample(size(X,1),10); CVMdl.ClassNames
ans = 3x1 cell
{'setosa' }
{'versicolor'}
{'virginica' }
table(Y(idx),label(idx),Posterior(idx,:),... 'VariableNames',{'TrueLabel','PredLabel','Posterior'})
ans=10×3 table
TrueLabel PredLabel Posterior
______________ ______________ ________________________________
{'setosa' } {'setosa' } 0.68216 0.18546 0.13238
{'virginica' } {'virginica' } 0.1581 0.14405 0.69785
{'virginica' } {'virginica' } 0.071807 0.093291 0.8349
{'setosa' } {'setosa' } 0.74918 0.11434 0.13648
{'versicolor'} {'versicolor'} 0.09375 0.67149 0.23476
{'versicolor'} {'versicolor'} 0.036202 0.85544 0.10836
{'versicolor'} {'versicolor'} 0.2252 0.50473 0.27007
{'virginica' } {'virginica' } 0.061562 0.11086 0.82758
{'setosa' } {'setosa' } 0.42448 0.21181 0.36371
{'virginica' } {'virginica' } 0.082705 0.1428 0.7745
Столбцы Posterior соответствуют порядку классов CVMdl.ClassNames.
[1] Allwein, E., R. Schapire и Y. Singer. «Сокращение мультиклассов до двоичных: унифицирующий подход к classifiers маржи». Журнал исследований машинного обучения. Том 1, 2000, стр. 113-141.
[2] Диттерих, Т. и Г. Бакири. «Решение проблем многоклассового обучения с помощью кодов вывода с исправлением ошибок». Журнал исследований искусственного интеллекта. Том 2, 1995, стр. 263-286.
[3] Эскалера, С., О. Пужоль и П. Радева. «Процесс декодирования в выходных кодах с тройной коррекцией ошибок». Транзакции IEEE по анализу шаблонов и машинному интеллекту. Том 32, выпуск 7, 2010, стр. 120-134.
[4] Эскалера, С., О. Пужоль и П. Радева. «Разделяемость троичных кодов для разреженных конструкций выходных кодов с исправлением ошибок». Повторная запись шаблона. Том 30, выпуск 3, 2009, стр. 285-297.
[5] Хасти, Т. и Р. Тибширани. «Классификация по парной муфте». Анналы статистики. Том 26, выпуск 2, 1998, стр. 451-471.
[6] Wu, T.F., C. J. Лин и Р. Венг. «Оценки вероятности для классификации нескольких классов по парному соединению». Журнал исследований машинного обучения. Том 5, 2004, стр. 975-1005.
[7] Задрозный, В. «Уменьшение мультикласса до двоичного путем оценки вероятности связи». NIPS 2001: Proceedings of Advances in Neural Information Processing Systems 14, 2001, pp. 1041-1048.