ClassificationSVM
Машина опорных векторов (SVM) для одноклассовой и двоичной классификации
Описание
ClassificationSVM - классификатор машины опорных векторов (SVM) для одноклассного и двухклассного обучения. Обученные ClassificationSVM классификаторы сохраняют обучающие данные, значения параметров, предыдущие вероятности, векторы поддержки и информацию алгоритмической реализации. Используйте эти классификаторы для выполнения задач, таких как подбор кривой функции счета-к-апостериорно-вероятностному преобразованию ( см.fitPosterior) и прогнозирование меток для новых данных (см. predict).
Создание
Создайте ClassificationSVM объект при помощи fitcsvm.
Свойства
Функции объекта
compact | Уменьшите размер модели машинного обучения |
compareHoldout | Сравните точности двух классификационных моделей с помощью новых данных |
crossval | Перекрестная валидация модели машинного обучения |
discardSupportVectors | Сбросьте поддерживающие векторы для классификатора линейной машины опорных векторов (SVM) |
edge | Найдите ребро классификации для классификатора машины опорных векторов (SVM) |
fitPosterior | Подгонка апостериорных вероятностей для классификатора машины опорных векторов (SVM) |
incrementalLearner | Преобразуйте модель машины опорных векторов двоичной классификации (SVM) в инкрементальную обучающуюся |
loss | Найдите ошибку классификации для классификатора машины опорных векторов (SVM) |
margin | Найдите классификационные поля для классификатора машины опорных векторов (SVM) |
partialDependence | Вычисление частичной зависимости |
plotPartialDependence | Создайте график частичной зависимости (PDP) и отдельные графики условного ожидания (ICE) |
predict | Классификация наблюдений с помощью машины опорных векторов (SVM) классификатора |
resubEdge | Ребро классификации реституции |
lime | Локальные интерпретируемые модели-агностические объяснения (LIME) |
resubLoss | Потери по классификации реституции |
resubMargin | Классификационный запас для реституции |
resubPredict | Классификация обучающих данных с помощью обученного классификатора |
resume | Возобновите обучение машины опорных векторов (SVM) |
shapley | Значения Shapley |
testckfold | Сравните точности двух классификационных моделей путем повторной перекрестной валидации |
Примеры
Обучите классификатор SVM
Загрузите набор данных радужки Фишера. Удалите длины и ширины чашелистиков и все наблюдаемые сетозы.
load fisheriris inds = ~strcmp(species,'setosa'); X = meas(inds,3:4); y = species(inds);
Обучите классификатор SVM с помощью обработанного набора данных.
SVMModel = fitcsvm(X,y)
SVMModel =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 100
Alpha: [24x1 double]
Bias: -14.4149
KernelParameters: [1x1 struct]
BoxConstraints: [100x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [100x1 logical]
Solver: 'SMO'
Properties, Methods
SVMModel является обученным ClassificationSVM классификатор. Отображение свойств SVMModel. Для примера, чтобы определить порядок классов, используйте запись через точку.
classOrder = SVMModel.ClassNames
classOrder = 2x1 cell
{'versicolor'}
{'virginica' }
Первый класс ('versicolor') - отрицательный класс, а второй ('virginica') - положительный класс. Вы можете изменить порядок классов во время обучения с помощью 'ClassNames' аргумент пары "имя-значение".
Постройте график рассеяния данных и кружите векторы поддержки.
sv = SVMModel.SupportVectors; figure gscatter(X(:,1),X(:,2),y) hold on plot(sv(:,1),sv(:,2),'ko','MarkerSize',10) legend('versicolor','virginica','Support Vector') hold off
Векторы поддержки являются наблюдениями, которые происходят на или за пределами их предполагаемых контуров класса.
Можно настроить контуры (и, следовательно, количество векторов поддержки), установив прямоугольное ограничение во время обучения с помощью 'BoxConstraint' аргумент пары "имя-значение".
Обучение и перекрестная проверка классификатора SVM
Загрузите ionosphere набор данных.
load ionosphereОбучите и перекрестная проверка классификатора SVM. Стандартизируйте данные предиктора и задайте порядок классов.
rng(1); % For reproducibility CVSVMModel = fitcsvm(X,Y,'Standardize',true,... 'ClassNames',{'b','g'},'CrossVal','on')
CVSVMModel =
ClassificationPartitionedModel
CrossValidatedModel: 'SVM'
PredictorNames: {1x34 cell}
ResponseName: 'Y'
NumObservations: 351
KFold: 10
Partition: [1x1 cvpartition]
ClassNames: {'b' 'g'}
ScoreTransform: 'none'
Properties, Methods
CVSVMModel является ClassificationPartitionedModel перекрестная проверка классификатора SVM. По умолчанию программное обеспечение реализует 10-кратную перекрестную валидацию.
Кроме того, можно провести перекрестную проверку обученного ClassificationSVM классификатор путем передачи его в crossval.
Осмотрите один из обученных складок с помощью записи через точку.
CVSVMModel.Trained{1}ans =
CompactClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'b' 'g'}
ScoreTransform: 'none'
Alpha: [78x1 double]
Bias: -0.2209
KernelParameters: [1x1 struct]
Mu: [1x34 double]
Sigma: [1x34 double]
SupportVectors: [78x34 double]
SupportVectorLabels: [78x1 double]
Properties, Methods
Каждая складка является CompactClassificationSVM классификатор обучен на 90% данных.
Оцените ошибку обобщения.
genError = kfoldLoss(CVSVMModel)
genError = 0.1168
В среднее значение ошибка обобщения составляет приблизительно 12%.
Подробнее о
Алгоритмы
Для математической формулировки алгоритма двоичной классификации SVM, смотрите Машины опорных векторов для двоичной классификации и Машин опорных векторов понимания.
NaN,<undefined>, пустой символьный вектор (''), пустая строка (""), и<missing>значения указывают на отсутствующие значения.fitcsvmудаляет целые строки данных, соответствующих отсутствующему ответу. При вычислении общих весов (см. следующие пули)fitcsvmигнорирует любой вес, относящийся к наблюдению, по крайней мере, с одним отсутствующим предиктором. Это действие может привести к несбалансированным предшествующим вероятностям в задачах сбалансированного класса. Следовательно, ограничения ящика наблюдений могут не равнятьсяBoxConstraint.fitcsvmудаляет наблюдения, которые имеют нулевой вес или предшествующую вероятность.Для двухклассного обучения, если вы задаете матрицу затрат (см.
Cost), затем программное обеспечение обновляет класс априорных вероятностей p (смPrior) для pc путем включения штрафов, описанных в .В частности,
fitcsvmзавершает следующие шаги:Вычислить
Нормализуйте pc* так что обновленные предыдущие вероятности равны 1.
K - количество классов.
Обнулите матрицу затрат по умолчанию
Удалите наблюдения из обучающих данных, соответствующих классам с нулевой предшествующей вероятностью.
Для двухклассного обучения,
fitcsvmнормализует все веса наблюдений (смWeights) в сумме до 1. Затем функция перенормирует нормированные веса, чтобы суммировать до обновленной предыдущей вероятности класса, к которому принадлежит наблюдение. То есть, общий вес для j наблюдений в классе k,wj - нормированный вес для j наблюдений; p c k является обновленной предыдущей вероятностью k класса (см. Предыдущий буллит).
Для двухклассного обучения,
fitcsvmприсваивает прямоугольное ограничение каждому наблюдению в обучающих данных. Формула для прямоугольного ограничения j наблюденийn - размер обучающей выборки, C 0 - начальное прямоугольное ограничение (см.
'BoxConstraint'аргумент пары "имя-значение"), и - общий вес j наблюдения (см. предыдущую пулю).Если вы задаете
'Standardize',trueи'Cost','Prior', или'Weights'аргумент пары "имя-значение", затемfitcsvmстандартизирует предикторы с помощью их соответствующих взвешенных средств и взвешенных стандартных отклонений. То естьfitcsvmстандартизирует предиктор j (xj), используяxjk - k наблюдения (строка) предиктора j (столбец).
Предположим, что
p- это доля выбросов, которые вы ожидаете в обучающих данных и которые вы задаете'OutlierFraction',p.Для одноклассного обучения программное обеспечение обучает термин смещения таким образом, чтобы 100
p% наблюдений в обучающих данных имеют отрицательные счета.Программное обеспечение реализует robust learning для двухклассного обучения. Другими словами, программное обеспечение пытается удалить 100
p% наблюдений, когда алгоритм оптимизации сходится. Удаленные наблюдения соответствуют градиентам, которые являются большими по величине.
Если ваши данные предиктора содержат категориальные переменные, то программное обеспечение обычно использует полную фиктивную кодировку для этих переменных. Программа создает по одной фиктивной переменной для каждого уровня каждой категориальной переменной.
The
PredictorNamesсвойство сохраняет по одному элементу для каждого из исходных имен переменных предиктора. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. ЗатемPredictorNames- массив ячеек 1 на 3 из векторов символов, содержащий исходные имена переменных.The
ExpandedPredictorNamesсвойство сохраняет по одному элементу для каждой из переменных предиктора, включая фиктивные переменные. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. ЗатемExpandedPredictorNames- массив ячеек 1 на 5 из векторов символов, содержащий имена переменных-предикторов и новых фиктивных переменных.Точно так же
Betaсвойство сохраняет один бета-коэффициент для каждого предиктора, включая фиктивные переменные.The
SupportVectorsсвойство сохраняет значения предиктора для поддерживающих векторов, включая фиктивные переменные. Например, предположим, что существует m векторов поддержки и три предиктора, один из которых является категориальной переменной с тремя уровнями. ЗатемSupportVectorsявляется матрицей n -by-5.The
Xсвойство сохраняет обучающие данные как исходные входные и не включает фиктивные переменные. Когда вход является таблицей,Xсодержит только столбцы, используемые в качестве предикторов.
Для предикторов, заданных в таблице, если любая из переменных содержит упорядоченные (порядковые) категории, программа использует порядковую кодировку для этих переменных.
Для переменной с k упорядоченными уровнями программное обеспечение создает k - 1 фиктивные переменные. Переменная j-го манекена является -1 для уровней до j и + 1 для уровней j + 1 до k.
Имена фиктивных переменных, хранящихся в
ExpandedPredictorNamesсвойство указывает на первый уровень со значением + 1. Программное обеспечение хранит k - 1 дополнительные имена предикторов для фиктивных переменных, включая имена уровней 2, 3,..., k.
Все решатели реализуют L 1 минимизации мягких полей.
Для одноклассного обучения программное обеспечение оценивает множители Лагранжа, α 1,..., αn, такие, что
Ссылки
[1] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения, второе издание. Нью-Йорк: Спрингер, 2008.
[2] Scholkopf, B., J. C. Platt, J. C. Shawe-Taylor, A. J. Smola, and R. C. Williamson. Оценка поддержки высокомерного распределения. Нейронный компут., Vol. 13, Number 7, 2001, pp. 1443-1471.
[3] Christianini, N., and J. C. Shawe-Taylor. Введение в машины опорных векторов и других основанных на ядре методов обучения. Кембридж, Великобритания: Cambridge University Press, 2000.
[4] Scholkopf, B., and A. Smola. Обучение с ядерными ядрами: Машины опорных векторов, регуляризация, оптимизация и далее, адаптивные расчеты и машинное обучение. Cambridge, MA: The MIT Press, 2002.