Многоклассовая модель для машин опорных векторов (SVM) и других классификаторов
ClassificationECOC является классификатором выходных кодов с исправлением ошибок (ECOC) для многоклассового обучения, где классификатор состоит из нескольких двоичных учащихся, таких как машины опорных векторов (SVM). Обученные ClassificationECOC классификаторы сохраняют обучающие данные, значения параметров, предыдущие вероятности и матрицы кодирования. Используйте эти классификаторы для выполнения задач, таких как предсказание меток или апостериорных вероятностей для новых данных (см. predict).
Создайте ClassificationECOC объект при помощи fitcecoc.
Если вы задаете линейных или ядерные двоичные ученики, не задавая опции перекрестной валидации, то fitcecoc возвращает CompactClassificationECOC вместо этого объект.
compact | Уменьшите размер многоклассовой модели выходных кодов с исправлением ошибок (ECOC) |
compareHoldout | Сравните точности двух классификационных моделей с помощью новых данных |
crossval | Перекрестная проверка многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
discardSupportVectors | Сбросьте векторы поддержки линейных двоичных учащихся SVM в модели ECOC |
edge | Классификационное ребро для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
loss | Классификационные потери для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
margin | Классификационные поля для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
partialDependence | Вычисление частичной зависимости |
plotPartialDependence | Создайте график частичной зависимости (PDP) и отдельные графики условного ожидания (ICE) |
predict | Классифицируйте наблюдения с помощью многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
resubEdge | Ребро классификации реституции для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
lime | Локальные интерпретируемые модели-агностические объяснения (LIME) |
resubLoss | Потери классификации реституции для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
resubMargin | Запасы классификации реституции для многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
resubPredict | Классификация наблюдений в многоклассовой модели выходных кодов с коррекцией ошибок (ECOC) |
shapley | Значения Shapley |
testckfold | Сравните точности двух классификационных моделей путем повторной перекрестной валидации |
Обучите мультикласс модель кода выхода (ECOC) с исправлением ошибок, используя машину опорных векторов (SVM) двоичных учащихся.
Загрузите набор данных радужки Фишера. Задайте данные предиктора X и данные отклика Y.
load fisheriris
X = meas;
Y = species;Обучите многоклассовую модель ECOC с помощью опций по умолчанию.
Mdl = fitcecoc(X,Y)
Mdl =
ClassificationECOC
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
BinaryLearners: {3x1 cell}
CodingName: 'onevsone'
Properties, Methods
Mdl является ClassificationECOC модель. По умолчанию fitcecoc использует двоичных учащихся SVM и проект кодирования один от одного. Вы можете получить доступ к Mdl свойства с использованием записи через точку.
Отобразите имена классов и матрицу проекта кодирования.
Mdl.ClassNames
ans = 3x1 cell
{'setosa' }
{'versicolor'}
{'virginica' }
CodingMat = Mdl.CodingMatrix
CodingMat = 3×3
1 1 0
-1 0 1
0 -1 -1
Проект кодирования один от одного для трех классов приводит к трем двоичным ученикам. Столбцы CodingMat соответствуют ученикам, а строки соответствуют классам. Порядок классов совпадает с порядком в Mdl.ClassNames. Для примера, CodingMat(:,1) является [1; –1; 0] и указывает, что программное обеспечение обучает первого двоичного учащегося SVM, используя все наблюдения, классифицированные как 'setosa' и 'versicolor'. Потому что 'setosa' соответствует 1, это положительный класс; 'versicolor' соответствует –1так что это отрицательный класс.
Вы можете получить доступ к каждому двоичному ученику, используя индексацию камер и запись через точку.
Mdl.BinaryLearners{1} % The first binary learnerans =
CompactClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: [-1 1]
ScoreTransform: 'none'
Beta: [4x1 double]
Bias: 1.4492
KernelParameters: [1x1 struct]
Properties, Methods
Вычислите ошибку классификации восстановления.
error = resubLoss(Mdl)
error = 0.0067
Ошибка классификации обучающих данных небольшая, но классификатор может быть сверхподобранной моделью моделью. Можно провести перекрестную проверку классификатора с помощью crossval и вычислите вместо этого ошибку классификации перекрестной валидации.
Обучите классификатор ECOC с помощью двоичных учащихся SVM. Затем обратитесь к свойствам двоичных учащихся, таким как предполагаемые параметры, с помощью записи через точку.
Загрузите набор данных радужки Фишера. Укажите размерности лепестков в качестве предикторов, а имена видов - в качестве отклика.
load fisheriris
X = meas(:,3:4);
Y = species;Обучите классификатор ECOC с помощью двоичных учащихся SVM и проекта кодирования по умолчанию (один от одного). Стандартизируйте предикторы и сохраните векторы поддержки.
t = templateSVM('Standardize',true,'SaveSupportVectors',true); predictorNames = {'petalLength','petalWidth'}; responseName = 'irisSpecies'; classNames = {'setosa','versicolor','virginica'}; % Specify class order Mdl = fitcecoc(X,Y,'Learners',t,'ResponseName',responseName,... 'PredictorNames',predictorNames,'ClassNames',classNames)
Mdl =
ClassificationECOC
PredictorNames: {'petalLength' 'petalWidth'}
ResponseName: 'irisSpecies'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
BinaryLearners: {3x1 cell}
CodingName: 'onevsone'
Properties, Methods
t - шаблон объекта, содержащая опции для классификации SVM. Функция fitcecoc использует значения по умолчанию для пустого ([]) свойства. Mdl является ClassificationECOC классификатор. Вы можете получить доступ к свойствам Mdl использование записи через точку.
Отобразите имена классов и матрицу проекта кодирования.
Mdl.ClassNames
ans = 3x1 cell
{'setosa' }
{'versicolor'}
{'virginica' }
Mdl.CodingMatrix
ans = 3×3
1 1 0
-1 0 1
0 -1 -1
Столбцы соответствуют двоичным ученикам SVM, а строки соответствуют отдельным классам. Порядок строк совпадает с порядком в ClassNames свойство Mdl. Для каждого столбца:
1 указывает, что fitcecoc обучает SVM, используя наблюдения в соответствующем классе в качестве представителей положительной группы.
–1 указывает, что fitcecoc обучает SVM, используя наблюдения в соответствующем классе в качестве представителей отрицательной группы.
0 указывает, что SVM не использует наблюдения в соответствующем классе.
В первом SVM, например, fitcecoc присваивает все наблюдения 'setosa' или 'versicolor', но не 'virginica'.
Доступ к свойствам SVM с помощью индексирования на камеры и записи через точку. Сохраните стандартизированные векторы поддержки каждого SVM. Отключите векторы поддержки.
L = size(Mdl.CodingMatrix,2); % Number of SVMs sv = cell(L,1); % Preallocate for support vector indices for j = 1:L SVM = Mdl.BinaryLearners{j}; sv{j} = SVM.SupportVectors; sv{j} = sv{j}.*SVM.Sigma + SVM.Mu; end
sv - массив ячеек из матриц, содержащий нестандартные векторы поддержки для SVM.
Постройте график данных и идентифицируйте векторы поддержки.
figure gscatter(X(:,1),X(:,2),Y); hold on markers = {'ko','ro','bo'}; % Should be of length L for j = 1:L svs = sv{j}; plot(svs(:,1),svs(:,2),markers{j},... 'MarkerSize',10 + (j - 1)*3); end title('Fisher''s Iris -- ECOC Support Vectors') xlabel(predictorNames{1}) ylabel(predictorNames{2}) legend([classNames,{'Support vectors - SVM 1',... 'Support vectors - SVM 2','Support vectors - SVM 3'}],... 'Location','Best') hold off
Можно пройти Mdl к этим функциям:
predict, для классификации новых наблюдений
resubLoss, для оценки ошибки классификации на обучающих данных
crossval, для выполнения 10-кратной перекрестной проверки
Перекрестная проверка классификатора ECOC с двоичными учениками SVM и оценка обобщенной ошибки классификации.
Загрузите набор данных радужки Фишера. Задайте данные предиктора X и данные отклика Y.
load fisheriris X = meas; Y = species; rng(1); % For reproducibility
Создайте шаблон SVM и стандартизируйте предикторы.
t = templateSVM('Standardize',true)t =
Fit template for classification SVM.
Alpha: [0x1 double]
BoxConstraint: []
CacheSize: []
CachingMethod: ''
ClipAlphas: []
DeltaGradientTolerance: []
Epsilon: []
GapTolerance: []
KKTTolerance: []
IterationLimit: []
KernelFunction: ''
KernelScale: []
KernelOffset: []
KernelPolynomialOrder: []
NumPrint: []
Nu: []
OutlierFraction: []
RemoveDuplicates: []
ShrinkagePeriod: []
Solver: ''
StandardizeData: 1
SaveSupportVectors: []
VerbosityLevel: []
Version: 2
Method: 'SVM'
Type: 'classification'
t является шаблоном SVM. Большинство свойств объекта шаблона пусты. При обучении классификатора ECOC программное обеспечение устанавливает применимые свойства на их значения по умолчанию.
Обучите классификатор ECOC и укажите порядок классов.
Mdl = fitcecoc(X,Y,'Learners',t,... 'ClassNames',{'setosa','versicolor','virginica'});
Mdl является ClassificationECOC классификатор. Вы можете получить доступ к его свойствам с помощью записи через точку.
Перекрестная валидация Mdl использование 10-кратной перекрестной проверки.
CVMdl = crossval(Mdl);
CVMdl является ClassificationPartitionedECOC перекрестная проверка классификатора ECOC.
Оцените обобщенную ошибку классификации.
genError = kfoldLoss(CVMdl)
genError = 0.0400
Обобщенная ошибка классификации составляет 4%, что указывает на то, что классификатор ECOC обобщается довольно хорошо.
coding design является матрицей, где элементы направляют, какие классы обучаются каждым двоичным учеником, то есть как многоклассовая задача сводится к ряду двоичных задач.
Каждая строка проекта кодирования соответствует отдельному классу, и каждый столбец соответствует двоичному обучающему. В проекте троичного кодирования для конкретного столбца (или двоичного обучающегося):
Строка, содержащая 1, предписывает двоичному ученику сгруппировать все наблюдения в соответствующем классе в положительный класс.
Строка, содержащая -1, предписывает двоичному ученику сгруппировать все наблюдения в соответствующем классе в отрицательный класс.
Строка, содержащая 0, предписывает двоичному ученику игнорировать все наблюдения в соответствующем классе.
Матрицы проекта кодирования с большими, минимальными, попарными расстояниями в строках, основанными на мере Хемминга, оптимальны. Для получения дополнительной информации о парном расстоянии между строками смотрите Random Coding Design Matrices и [4].
Эта таблица описывает популярные проекты кодирования.
| Проект кодирования | Описание | Количество учащихся | Минимальное парное расстояние по строке |
|---|---|---|---|
| один от всех (OVA) | Для каждого двоичного ученика один класс положителен, а остальные отрицательны. Этот проект исчерпывает все комбинации положительных присвоений классов. | K | 2 |
| один от одного (OVO) | Для каждого двоичного ученика один класс положителен, другой отрицателен, а остальные игнорируются. Этот проект исчерпывает все комбинации присвоений пар классов. | K (K – 1)/2 | 1 |
| бинарный полный | Этот проект разбивает классы на все двоичные комбинации и не игнорирует никакие классы. То есть все назначения классов | 2K – 1 – 1 | 2K – 2 |
| ternary complete | Этот проект разделяет классы на все троичные комбинации. То есть все назначения классов | (3K – 2K + 1 + 1)/2 | 3K – 2 |
| порядковый | Для первого двоичного ученика первый класс отрицателен, а остальные положительны. Для второго двоичного ученика первые два класса отрицательны, а остальные положительны, и так далее. | K – 1 | 1 |
| плотный случайный | Для каждого двоичного ученика программа случайным образом назначает классы в положительные или отрицательные классы с по крайней мере одним из каждого типа. Для получения дополнительной информации смотрите Random Coding Design Matrices. | Случайный, но приблизительно 10 лог2 K | Переменная |
| разреженный случайный | Для каждого двоичного ученика программа случайным образом присваивает классы как положительные или отрицательные с вероятностью 0,25 для каждого и игнорирует классы с вероятностью 0,5. Для получения дополнительной информации смотрите Random Coding Design Matrices. | Случайный, но приблизительно 15 лог2 K | Переменная |
Этот график сравнивает количество двоичных учащихся для проектов кодирования с увеличением K.
Можно использовать эти альтернативные алгоритмы для обучения многоклассовой модели:
Классификационные ансамбли - см.fitcensemble и ClassificationEnsemble
Деревья классификации - см.fitctree и ClassificationTree
Классификаторы дискриминантного анализа - см.fitcdiscr и ClassificationDiscriminant
k - классификаторы ближайших соседей - см.fitcknn и ClassificationKNN
Наивные классификаторы Байеса - см.fitcnb и ClassificationNaiveBayes
[1] Фюрнкранц, Йоханнес. Round Robin Classification (неопр.) (недоступная ссылка). Journal of Машинное Обучение Research, Vol. 2, 2002, pp. 721-747.
[2] Эскалера, С., О. Пужоль, и П. Радева. «Разделяемость троичных кодов для разреженных проектов выходных кодов с исправлением ошибок». Pattern Recognition Letters, Vol. 30, Issue 3, 2009, pp. 285-297.
ClassificationPartitionedECOC | CompactClassificationECOC | fitcecoc | fitcsvm