ClassificationSVM

Машина опорных векторов (SVM) для и бинарной классификации одного класса

Описание

ClassificationSVM классификатор машины опорных векторов (SVM) для изучения 2D класса и одного класса. Обученный ClassificationSVM классификаторы хранят обучающие данные, значения параметров, априорные вероятности, поддерживают векторы и алгоритмическую информацию о реализации. Используйте эти классификаторы, чтобы выполнить задачи, такие как подбор кривой счету к функции преобразования апостериорной вероятности (см. fitPosterior) и предсказывая метки для новых данных (см. predict).

Создание

Создайте ClassificationSVM объект при помощи fitcsvm.

Свойства

развернуть все

Свойства SVM

`Alpha` — Обученные коэффициенты классификатора
числовой вектор

Это свойство доступно только для чтения.

Обученные коэффициенты классификатора в виде s-by-1 числовой вектор. s является количеством векторов поддержки в обученном классификаторе, sum(Mdl.IsSupportVector).

Alpha содержит обученные коэффициенты классификатора от двойной проблемы, то есть, предполагаемых множителей Лагранжа. Если вы удаляете копии при помощи RemoveDuplicates аргумент пары "имя-значение" fitcsvm, затем для данного набора дублирующихся наблюдений, которые являются векторами поддержки, Alpha содержит один коэффициент, соответствующий целому набору. Таким образом, MATLAB^® приписывает ненулевой коэффициент одному наблюдению от набора копий и коэффициент 0 ко всем другим дублирующимся наблюдениям в наборе.

Типы данных: single | double

`Beta` — Линейные коэффициенты предиктора
числовой вектор

Это свойство доступно только для чтения.

Линейные коэффициенты предиктора в виде числового вектора. Длина Beta равно количеству предикторов, используемых, чтобы обучить модель.

MATLAB расширяет категориальные переменные в данных о предикторе с помощью полного фиктивного кодирования. Таким образом, MATLAB создает одну фиктивную переменную для каждого уровня каждой категориальной переменной. Beta хранилища одно значение для каждого переменного предиктора, включая фиктивные переменные. Например, если существует три предиктора, один из которых является категориальной переменной с тремя уровнями, затем Beta числовой вектор, содержащий пять значений.

Если KernelParameters.Function 'linear', затем классификационная оценка для наблюдения x

$f (x) = (x / s)' β + b .$

Mdl хранилища β, b и s в свойствах Beta, Bias, и KernelParameters.Scale, соответственно.

Чтобы оценить классификационные оценки вручную, необходимо сначала применить любые преобразования к данным о предикторе, которые были применены во время обучения. А именно, если вы задаете 'Standardize',true при использовании fitcsvm, затем необходимо стандартизировать данные о предикторе вручную при помощи среднего Mdl.Mu и стандартное отклонение Mdl.Sigma, и затем разделите результат на шкалу ядра в Mdl.KernelParameters.Scale.

Все функции SVM, такой как resubPredict и predict, примените любое необходимое преобразование перед оценкой.

Если KernelParameters.Function не 'linear', затем Beta isempty).

Типы данных: single | double

`Bias` — Сместите термин
скаляр

Это свойство доступно только для чтения.

Сместите термин в виде скаляра.

Типы данных: single | double

`BoxConstraints` — Ограничения поля
числовой вектор

Это свойство доступно только для чтения.

Ограничения поля в виде числового вектора из n-by-1 ограничения поля. n является количеством наблюдений в обучающих данных (см. NumObservations свойство.

Если вы удаляете копии при помощи RemoveDuplicates аргумент пары "имя-значение" fitcsvm, затем для данного набора дублирующихся наблюдений, MATLAB суммирует ограничения поля и затем приписывает сумму одному наблюдению. MATLAB приписывает ограничения поля 0 ко всем другим наблюдениям в наборе.

Типы данных: single | double

`CacheInfo` — Кэширование информации
массив структур

Это свойство доступно только для чтения.

Кэширование информации в виде массива структур. Кэширующаяся информация содержит поля, описанные в этой таблице.

Поле	Описание
Размер	Размер кэша (в Мбайте), который программное обеспечение резервирует, чтобы обучить классификатор SVM. Для получения дополнительной информации смотрите `'CacheSize'`.
Алгоритм	Алгоритм кэширования, который программное обеспечение использует во время оптимизации. В настоящее время единственным доступным алгоритмом кэширования является `Queue`. Вы не можете установить алгоритм кэширования.

Отобразите поля CacheInfo при помощи записи через точку. Например, Mdl.CacheInfo.Size отображает значение размера кэша.

Типы данных: struct

`IsSupportVector` — Поддержите векторный индикатор
логический вектор

Это свойство доступно только для чтения.

Поддержите векторный индикатор в виде n-by-1 логический вектор, который отмечает, является ли соответствующее наблюдение в матрице данных предиктора Вектором Поддержки. n является количеством наблюдений в обучающих данных (см. NumObservations).

Если вы удаляете копии при помощи RemoveDuplicates аргумент пары "имя-значение" fitcsvm, затем для данного набора дублирующихся наблюдений, которые являются векторами поддержки, IsSupportVector флаги только одно наблюдение как вектор поддержки.

Типы данных: логический

`KernelParameters` — Параметры ядра
массив структур

Это свойство доступно только для чтения.

Параметры ядра в виде массива структур. Свойство параметров ядра содержит поля, перечисленные в этой таблице.

Поле	Описание
Функция	Функция ядра использовалась для расчета элементов матрицы Грамма. Для получения дополнительной информации смотрите `'KernelFunction'`.
Шкала	Масштабный коэффициент ядра раньше масштабировал все элементы данных о предикторе, на которых обучена модель. Для получения дополнительной информации смотрите `'KernelScale'`.

Отобразить значения KernelParameters, используйте запись через точку. Например, Mdl.KernelParameters.Scale отображает значение масштабного коэффициента ядра.

Программное обеспечение принимает KernelParameters как входные параметры и не изменяет их.

Типы данных: struct

`Nu` — Параметр изучения одного класса
положительная скалярная величина

Это свойство доступно только для чтения.

Параметр изучения одного класса ν в виде положительной скалярной величины.

Типы данных: single | double

`OutlierFraction` — Пропорция выбросов
числовой скаляр

Это свойство доступно только для чтения.

Пропорция выбросов в обучающих данных в виде числового скаляра.

Типы данных: double

`Solver` — Стандартная программа оптимизации
`'ISDA'` | `'L1QP'` | `'SMO'`

Это свойство доступно только для чтения.

Стандартная программа оптимизации раньше обучала классификатор SVM в виде 'ISDA', 'L1QP', или 'SMO'. Для получения дополнительной информации смотрите 'Solver'.

`SupportVectorLabels` — Поддержите векторные метки класса
s-by-1 числовой вектор

Это свойство доступно только для чтения.

Поддержите векторные метки класса в виде s-by-1 числовой вектор. s является количеством векторов поддержки в обученном классификаторе, sum(Mdl.IsSupportVector).

Значение +1 в SupportVectorLabels указывает, что соответствующий вектор поддержки находится в положительном классе (ClassNames{2}). Значение –1 указывает, что соответствующий вектор поддержки находится в отрицательном классе (ClassNames{1}).

Если вы удаляете копии при помощи RemoveDuplicates аргумент пары "имя-значение" fitcsvm, затем для данного набора дублирующихся наблюдений, которые являются векторами поддержки, SupportVectorLabels содержит одну уникальную метку вектора поддержки.

Типы данных: single | double

`SupportVectors` — Поддержите векторы
s-by-p числовая матрица

Это свойство доступно только для чтения.

Поддержите векторы в обученном классификаторе в виде s-by-p числовая матрица. s является количеством векторов поддержки в обученном классификаторе, sum(Mdl.IsSupportVector), и p является количеством переменных предикторов в данных о предикторе.

SupportVectors содержит строки данных о предикторе X тот MATLAB считает векторами поддержки. Если вы задаете 'Standardize',true когда обучение использование классификатора SVM fitcsvm, затем SupportVectors содержит стандартизированные строки X.

Если вы удаляете копии при помощи RemoveDuplicates аргумент пары "имя-значение" fitcsvm, затем для данного набора дублирующихся наблюдений, которые являются векторами поддержки, SupportVectors содержит один уникальный вектор поддержки.

Типы данных: single | double

Другие свойства классификации

`CategoricalPredictors` — Категориальные индексы предиктора
вектор из положительных целых чисел | `[]`

Это свойство доступно только для чтения.

Категориальные индексы предиктора в виде вектора из положительных целых чисел. CategoricalPredictors содержит значения индекса, указывающие, что соответствующие предикторы являются категориальными. Значения индекса между 1 и p, где p количество предикторов, используемых, чтобы обучить модель. Если ни один из предикторов не является категориальным, то это свойство пусто ([]).

Типы данных: double

`ClassNames` — Уникальные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Уникальные метки класса, используемые в обучении в виде категориального или символьного массива, логического или числового вектора или массива ячеек из символьных векторов. ClassNames имеет совпадающий тип данных, когда класс маркирует Y. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.) ClassNames также определяет порядок класса.

`Cost` — Misclassification стоится
числовая квадратная матрица

Это свойство доступно только для чтения.

Стоимость Misclassification в виде числовой квадратной матрицы, где Cost(i,j) стоимость классификации точки в класс j если его истинным классом является i.

Во время обучения обновлений программного обеспечения априорные вероятности путем слияния штрафов описаны в матрице стоимости.

Для изучения 2D класса, Cost всегда имеет эту форму: Cost(i,j) = 1 если i ~= j, и Cost(i,j) = 0 если i = j. Строки соответствуют истинному классу, и столбцы соответствуют предсказанному классу. Порядок строк и столбцов Cost соответствует порядку классов в ClassNames.
Для изучения одного класса, Cost = 0.

Для получения дополнительной информации см. Алгоритмы.

Типы данных: double

`ExpandedPredictorNames` — Расширенные имена предиктора
массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Расширенный предиктор называет в виде массива ячеек из символьных векторов.

Если модель использует фиктивное переменное кодирование для категориальных переменных, то ExpandedPredictorNames включает имена, которые описывают расширенные переменные. В противном случае, ExpandedPredictorNames совпадает с PredictorNames.

Типы данных: cell

`Gradient` — Значения градиента обучающих данных
числовой вектор

Это свойство доступно только для чтения.

Значения градиента обучающих данных в виде числового вектора. Длина Gradient равно количеству наблюдений (NumObservations).

Типы данных: single | double

`ModelParameters` — Параметры раньше обучали модель
объект

Это свойство доступно только для чтения.

Параметры раньше обучали ClassificationSVM модель в виде объекта. ModelParameters содержит значения параметров, такие как значения аргумента пары "имя-значение", используемые, чтобы обучить классификатор SVM. ModelParameters не содержит оцененные параметры.

Доступ к свойствам ModelParameters при помощи записи через точку. Например, получите доступ к начальным значениям для оценки Alpha при помощи Mdl.ModelParameters.Alpha.

`Mu` — Средние значения предиктора
числовой вектор | `[]`

Это свойство доступно только для чтения.

Предиктор означает в виде числового вектора. Если вы задаете 'Standardize',1 или 'Standardize',true когда вы обучаете использование классификатора SVM fitcsvm, затем длина Mu равно количеству предикторов.

MATLAB расширяет категориальные переменные в данных о предикторе с помощью полного фиктивного кодирования. Таким образом, MATLAB создает одну фиктивную переменную для каждого уровня каждой категориальной переменной. Mu хранилища одно значение для каждого переменного предиктора, включая фиктивные переменные. Однако MATLAB не стандартизирует столбцы, которые содержат категориальные переменные.

Если вы устанавливаете 'Standardize',false когда вы обучаете использование классификатора SVM fitcsvm, затем Mu пустой вектор ([]).

Типы данных: single | double

`NumObservations` — Количество наблюдений
числовой скаляр

Это свойство доступно только для чтения.

Количество наблюдений в обучающих данных сохранено в X и YВ виде числового скаляра.

Типы данных: double

`PredictorNames` — Имена переменного предиктора
массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Переменный предиктор называет в виде массива ячеек из символьных векторов. Порядок элементов PredictorNames соответствует порядку, в котором имена предиктора появляются в обучающих данных.

Типы данных: cell

`Prior` — Априорные вероятности
числовой вектор

Это свойство доступно только для чтения.

Априорные вероятности для каждого класса в виде числового вектора. Порядок элементов Prior соответствует элементам Mdl.ClassNames.

Для изучения 2D класса, если вы задаете матрицу стоимости, затем обновления программного обеспечения априорные вероятности путем слияния штрафов, описанных в матрице стоимости.

Для получения дополнительной информации см. Алгоритмы.

Типы данных: single | double

`ResponseName` — Имя переменной отклика
символьный вектор

Это свойство доступно только для чтения.

Имя переменной отклика в виде вектора символов.

Типы данных: char

`RowsUsed` — Строки используются в подборе кривой
`[]` | логический вектор

Это свойство доступно только для чтения.

Строки исходных обучающих данных, используемых в подборе кривой ClassificationSVM модель в виде логического вектора. Это свойство пусто, если все строки используются.

Типы данных: логический

`ScoreTransform` — Выиграйте преобразование
вектор символов | указатель на функцию

Выиграйте преобразование в виде вектора символов или указателя на функцию. ScoreTransform представляет встроенную функцию преобразования или указатель на функцию для преобразования предсказанных классификационных оценок.

Чтобы изменить преобразование счета функционируют к function, например, используйте запись через точку.

Для встроенной функции введите вектор символов.

Mdl.ScoreTransform = 'function';

Эта таблица описывает доступные встроенные функции.

Значение	Описание
`'doublelogit'`	1/(1 + e^–2x)
`'invlogit'`	журнал (x / (1 – x))
`'ismax'`	Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к 0
`'logit'`	1/(1 + e^–x)
`'none'` или `'identity'`	x (никакое преобразование)
`'sign'`	– 1 для x <0 0 для x = 0 1 для x> 0
`'symmetric'`	2x – 1
`'symmetricismax'`	Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к –1
`'symmetriclogit'`	2/(1 + e^–x) – 1

Для функции MATLAB или функции, которую вы задаете, введите ее указатель на функцию.
```
Mdl.ScoreTransform = @function;
```
function должен принять матрицу (исходные баллы) и возвратить матрицу, одного размера (преобразованные баллы).

Типы данных: char | function_handle

`Sigma` — Стандартные отклонения предиктора
`[]` (значение по умолчанию) | числовой вектор

Это свойство доступно только для чтения.

Стандартные отклонения предиктора в виде числового вектора.

Если вы задаете 'Standardize',true когда вы обучаете использование классификатора SVM fitcsvm, затем длина Sigma равно количеству переменных предикторов.

MATLAB расширяет категориальные переменные в данных о предикторе с помощью полного фиктивного кодирования. Таким образом, MATLAB создает одну фиктивную переменную для каждого уровня каждой категориальной переменной. Sigma хранилища одно значение для каждого переменного предиктора, включая фиктивные переменные. Однако MATLAB не стандартизирует столбцы, которые содержат категориальные переменные.

Если вы устанавливаете 'Standardize',false когда вы обучаете использование классификатора SVM fitcsvm, затем Sigma пустой вектор ([]).

Типы данных: single | double

`W` — Веса наблюдения
числовой вектор

Это свойство доступно только для чтения.

Веса наблюдения раньше обучали классификатор SVM в виде n-by-1 числовой вектор. n является количеством наблюдений (см. NumObservations).

fitcsvm нормирует веса наблюдения, заданные в 'Weights' аргумент пары "имя-значение" так, чтобы элементы W в конкретном классе суммируют до априорной вероятности того класса.

Типы данных: single | double

`X` — Нестандартизированные предикторы
числовая матрица | таблица

Это свойство доступно только для чтения.

Нестандартизированные предикторы раньше обучали классификатор SVM в виде числовой матрицы или таблицы.

Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной.

MATLAB исключает наблюдения, содержащие по крайней мере одно отсутствующее значение, и удаляет соответствующие элементы из Y.

Типы данных: single | double

`Y` — Метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Метки класса раньше обучали классификатор SVM в виде категориального или символьного массива, логического или числового вектора или массива ячеек из символьных векторов. Y совпадающий тип данных как входной параметр Y из fitcsvm. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.)

Каждая строка Y представляет наблюдаемую классификацию соответствующей строки X.

MATLAB исключает элементы, содержащие отсутствующие значения, и удаляет соответствующие наблюдения из X.

Свойства элементов управления сходимости

`ConvergenceInfo` — Информация о сходимости
массив структур

Это свойство доступно только для чтения.

Информация о сходимости в виде массива структур.

Поле	Описание
`Converged`	Логический флаг, указывающий, сходился ли алгоритм (`1` указывает на сходимость).
`ReasonForConvergence`	Вектор символов, указывающий на критерий использование программного обеспечения, чтобы обнаружить сходимость.
`Gap`	Скалярный разрыв выполнимости между двойными и основными целевыми функциями.
`GapTolerance`	Скалярный допуск разрыва выполнимости. Установите эту погрешность, например, к `1e-2`, при помощи аргумента пары "имя-значение" `'GapTolerance',1e-2` из `fitcsvm`.
`DeltaGradient`	Достигнутое скаляром различие в градиенте между верхними и более низкими нарушителями
`DeltaGradientTolerance`	Скалярный допуск к различию в градиенте между верхними и более низкими нарушителями. Установите эту погрешность, например, к `1e-2`, при помощи аргумента пары "имя-значение" `'DeltaGradientTolerance',1e-2` из `fitcsvm`.
`LargestKKTViolation`	Максимальное скалярное значение нарушения Karush-Kuhn-Tucker (KKT).
`KKTTolerance`	Скалярный допуск к самому большому нарушению KKT. Установите эту погрешность, например, к `1e-3`, при помощи аргумента пары "имя-значение" `'KKTTolerance',1e-3` из `fitcsvm`.
`History`	Массив структур, содержащий информацию о сходимости в итерациях оптимизации набора. Поля: `NumIterations`: числовой вектор из индексов итерации, для которых программное обеспечение записывает информацию о сходимости `Gap`: числовой вектор из `Gap` значения в итерациях `DeltaGradient`: числовой вектор из `DeltaGradient` значения в итерациях `LargestKKTViolation`: числовой вектор из `LargestKKTViolation` значения в итерациях `NumSupportVectors`: числовой вектор, указывающий на количество векторов поддержки в итерациях `Objective`: числовой вектор из `Objective` значения в итерациях
`Objective`	Скалярное значение двойной целевой функции.

Типы данных: struct

`NumIterations` — Количество итераций
положительное целое число

Это свойство доступно только для чтения.

Количество итераций, требуемых стандартной программой оптимизации достигнуть сходимости в виде положительного целого числа.

Устанавливать предел для количества итераций к 1000, например, задайте 'IterationLimit',1000 когда вы обучаете использование классификатора SVM fitcsvm.

Типы данных: double

`ShrinkagePeriod` — Количество итераций между сокращениями активного набора
неотрицательное целое число

Это свойство доступно только для чтения.

Количество итераций между сокращениями активного набора в виде неотрицательного целого числа.

Установить период уменьшения на 1000, например, задайте 'ShrinkagePeriod',1000 когда вы обучаете использование классификатора SVM fitcsvm.

Типы данных: single | double

Свойства гипероптимизации параметров управления

`HyperparameterOptimizationResults` — Описание оптимизации перекрестной проверки гиперпараметров
`BayesianOptimization` возразите | таблица

Это свойство доступно только для чтения.

Описание оптимизации перекрестной проверки гиперпараметров в виде BayesianOptimization возразите или таблица гиперпараметров и присваиваемых значений. Это свойство непусто когда 'OptimizeHyperparameters' аргумент пары "имя-значение" fitcsvm непусто при создании. Значение HyperparameterOptimizationResults зависит от установки Optimizer поле в HyperparameterOptimizationOptions структура fitcsvm при создании, как описано в этой таблице.

Значение `Optimizer` Поле	Значение `HyperparameterOptimizationResults`
`'bayesopt'` (значение по умолчанию)	Объект класса `BayesianOptimization`
`'gridsearch'` или `'randomsearch'`	Таблица гиперпараметров используемые, наблюдаемые значения целевой функции (потеря перекрестной проверки), и ранг наблюдений от самого низкого (лучше всего) к (худшему) самому высокому

Функции объекта

`compact`	Уменьшайте размер модели машинного обучения
`compareHoldout`	Сравните точность двух моделей классификации с помощью новых данных
`crossval`	Перекрестный подтвердите модель машинного обучения
`discardSupportVectors`	Отбросьте векторы поддержки для линейного классификатора машины опорных векторов (SVM)
`edge`	Найдите ребро классификации для классификатора машины опорных векторов (SVM)
`fitPosterior`	Подходящие апостериорные вероятности для классификатора машины опорных векторов (SVM)
`incrementalLearner`	Преобразуйте бинарную модель машины опорных векторов (SVM) классификации в инкрементного ученика
`loss`	Найдите ошибку классификации для классификатора машины опорных векторов (SVM)
`margin`	Найдите поля классификации для классификатора машины опорных векторов (SVM)
`partialDependence`	Вычислите частичную зависимость
`plotPartialDependence`	Создайте графики отдельного условного ожидания (ICE) и частичный график зависимости (PDP)
`predict`	Классифицируйте наблюдения с помощью классификатора машины опорных векторов (SVM)
`resubEdge`	Ребро классификации перезамены
`lime`	Локальные поддающиеся толкованию объяснения модели агностические (LIME)
`resubLoss`	Потеря классификации перезамены
`resubMargin`	Поле классификации перезамены
`resubPredict`	Классифицируйте обучающие данные с помощью обученного классификатора
`resume`	Возобновите учебный классификатор машины опорных векторов (SVM)
`shapley`	Шепли оценивает
`testckfold`	Сравните точность двух моделей классификации повторной перекрестной проверкой

Примеры

свернуть все

Обучите классификатор SVM

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера. Удалите длины чашелистика и ширины, и все наблюдали ирисовые диафрагмы setosa.

load fisheriris
inds = ~strcmp(species,'setosa');
X = meas(inds,3:4);
y = species(inds);

Обучите классификатор SVM с помощью обработанного набора данных.

SVMModel = fitcsvm(X,y)

SVMModel = 
  ClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'versicolor'  'virginica'}
           ScoreTransform: 'none'
          NumObservations: 100
                    Alpha: [24x1 double]
                     Bias: -14.4149
         KernelParameters: [1x1 struct]
           BoxConstraints: [100x1 double]
          ConvergenceInfo: [1x1 struct]
          IsSupportVector: [100x1 logical]
                   Solver: 'SMO'


  Properties, Methods

SVMModel обученный ClassificationSVM классификатор. Отобразите свойства SVMModel. Например, чтобы определить порядок класса, используйте запись через точку.

classOrder = SVMModel.ClassNames

classOrder = 2x1 cell
    {'versicolor'}
    {'virginica' }

Первый класс ('versicolor') отрицательный класс и второе ('virginica') положительный класс. Можно изменить порядок класса во время обучения при помощи 'ClassNames' аргумент пары "имя-значение".

Постройте точечную диаграмму данных и окружите векторы поддержки.

sv = SVMModel.SupportVectors;
figure
gscatter(X(:,1),X(:,2),y)
hold on
plot(sv(:,1),sv(:,2),'ko','MarkerSize',10)
legend('versicolor','virginica','Support Vector')
hold off

Figure contains an axes object. The axes object contains 3 objects of type line. These objects represent versicolor, virginica, Support Vector.

Векторы поддержки являются наблюдениями, которые происходят на или вне их предполагаемых контуров класса.

Можно настроить контуры (и, поэтому, количество векторов поддержки) путем установки ограничения поля во время обучения с помощью 'BoxConstraint' аргумент пары "имя-значение".

Обучите и перекрестный подтвердите классификатор SVM

Скрипт Open Live Script

Загрузите ionosphere набор данных.

load ionosphere

Обучите и перекрестный подтвердите классификатор SVM. Стандартизируйте данные о предикторе и задайте порядок классов.

rng(1);  % For reproducibility
CVSVMModel = fitcsvm(X,Y,'Standardize',true,...
    'ClassNames',{'b','g'},'CrossVal','on')

CVSVMModel = 
  ClassificationPartitionedModel
    CrossValidatedModel: 'SVM'
         PredictorNames: {1x34 cell}
           ResponseName: 'Y'
        NumObservations: 351
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'b'  'g'}
         ScoreTransform: 'none'


  Properties, Methods

CVSVMModel ClassificationPartitionedModel перекрестный подтвержденный классификатор SVM. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку.

В качестве альтернативы можно перекрестный подтвердить обученный ClassificationSVM классификатор путем передачи его crossval.

Смотрите один из обученных сгибов с помощью записи через точку.

CVSVMModel.Trained{1}

ans = 
  CompactClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'b'  'g'}
           ScoreTransform: 'none'
                    Alpha: [78x1 double]
                     Bias: -0.2209
         KernelParameters: [1x1 struct]
                       Mu: [0.8888 0 0.6320 0.0406 0.5931 0.1205 0.5361 ... ]
                    Sigma: [0.3149 0 0.5033 0.4441 0.5255 0.4663 0.4987 ... ]
           SupportVectors: [78x34 double]
      SupportVectorLabels: [78x1 double]


  Properties, Methods

Каждым сгибом является CompactClassificationSVM классификатор, обученный на 90% данных.

Оцените ошибку обобщения.

genError = kfoldLoss(CVSVMModel)

genError = 0.1168

В среднем ошибка обобщения составляет приблизительно 12%.

Больше о

развернуть все

Ограничение поля

Ограничение поля является параметром, который управляет максимальным наказанием, наложенным на нарушающие поле наблюдения, который помогает предотвратить сверхподходящий (регуляризация).

Если вы увеличиваете ограничение поля, то классификатор SVM присваивает меньше векторов поддержки. Однако увеличение ограничения поля может привести к более длительным учебным временам.

Матрица грамма

Матрица Грамма набора векторов n {x ₁.., _xn; _xj ∊ R^p} n-by-n матрица с элементом (j, k) заданный как G (_xj, _xk) = <ϕ (_xj), ϕ (_xk)>, скалярное произведение преобразованных предикторов с помощью функции ядра ϕ.

Для нелинейного SVM алгоритм формирует матрицу Грамма использование строк данных о предикторе X. Двойная формализация заменяет скалярное произведение наблюдений в X с соответствующими элементами получившейся матрицы Грамма (названный “приемом ядра”). Следовательно, нелинейный SVM действует на преобразованном пробеле предиктора, чтобы найти отделяющуюся гиперплоскость.

Условия взаимозависимости Karush-Kuhn-Tucker

Условиями взаимозависимости KKT являются ограничения оптимизации, требуемые для оптимальных решений для нелинейного программирования.

В SVM условия взаимозависимости KKT

${\begin{cases} α_{j} [y_{j} f (x_{j}) - 1 + ξ_{j}] = 0 \\ ξ_{j} (C - α_{j}) = 0 \end{cases}$

для всего j = 1..., n, где $f (x_{j}) = ϕ (x_{j})' β + b,$ ϕ является функцией ядра (см. матрицу Грамма), и _ξj является слабой переменной. Если классы совершенно отделимы, то _ξj = 0 для всего j = 1..., n.

Изучение одного класса

Изучение одного класса или безнадзорный SVM, стремится разделять данные из источника на высоко-размерном пробеле предиктора (не исходный пробел предиктора) и является алгоритмом, используемым для определения выбросов.

Алгоритм напоминает алгоритм SVM для бинарной классификации. Цель состоит в том, чтобы минимизировать двойное выражение

$0.5 \sum_{j k} α_{j} α_{k} G (x_{j}, x_{k})$

относительно $α_{1}, ..., α_{n}$ при ограничениях

$\sum α_{j} = n ν$

и $0 \leq α_{j} \leq 1$ для всего j = 1..., n. Значение G (_xj, _xk) в своей стихии (j, k) матрицы Грамма.

Маленькое значение ν приводит к меньшему количеству векторов поддержки и, поэтому, сглаженный, грубый контур решения. Большое значение ν ведет, чтобы больше поддержать векторы и, поэтому, соблазнительный, гибкий контур решения. Оптимальное значение ν должно быть достаточно большим, чтобы получить сложность данных и достаточно маленький, чтобы не перетренироваться. Кроме того, 0 <ν ≤ 1.

Для получения дополнительной информации см. [5].

Вектор поддержки

Векторы поддержки являются наблюдениями, соответствующими строго положительным оценкам α ₁..., _αn.

Предпочтены классификаторы SVM, которые дают к меньшему количеству векторов поддержки для данного набора обучающих данных.

Машины опорных векторов для бинарной классификации

Бинарный алгоритм классификации SVM ищет оптимальную гиперплоскость, которая разделяет данные на два класса. Для отделимых классов оптимальная гиперплоскость максимизирует margin (пробел, который не содержит наблюдений), окружение себя, который создает контуры для положительных и отрицательных классов. Для неотделимых классов цель является тем же самым, но алгоритм налагает штраф на длину поля для каждого наблюдения, которое находится на неправильной стороне его контура класса.

Линейная функция счета SVM

$f (x) = x' β + b,$

где:

x является наблюдением (соответствующий строке X).
Векторный β содержит коэффициенты, которые задают ортогональный вектор к гиперплоскости (соответствующий Mdl.Beta). Для отделимых данных оптимальная граничная длина $2 / ‖ β ‖ .$
b является термином смещения (соответствующий Mdl.Bias).

Корень f (x) для конкретных коэффициентов задает гиперплоскость. Для конкретной гиперплоскости f (z) является расстоянием от точки z к гиперплоскости.

Алгоритм ищет максимальную граничную длину при хранении наблюдений в положительном (y = 1) и отрицательный (y = –1) классы отдельный.

Для отделимых классов цель состоит в том, чтобы минимизировать $‖ β ‖$ относительно β и b подвергают _yj f (_xj) ≥ 1, для всего j = 1.. N. Это - формализация primal для отделимых классов.
Для неотделимых классов алгоритм использует слабые переменные (_ξj), чтобы оштрафовать целевую функцию за наблюдения, которые пересекают граничный контур для их класса. _ξj = 0 для наблюдений, которые не пересекают граничный контур для их класса, в противном случае _ξj ≥ 0.
Цель состоит в том, чтобы минимизировать $0.5 {‖ β ‖}^{2} + C \sum ξ_{j}$ относительно β b и _ξj подвергают $y_{j} f (x_{j}) \geq 1 - ξ_{j}$ и $ξ_{j} \geq 0$ для всего j = 1.., n, и для ограничения поля положительной скалярной величины C. Это - основная формализация для неотделимых классов.

Алгоритм использует метод множителей Лагранжа, чтобы оптимизировать цель, которая вводит коэффициенты n α ₁..., _αn (соответствующий Mdl.Alpha). Двойные формализации для линейного SVM следующие:

Для отделимых классов минимизировать

$0.5 \sum_{j = 1}^{n} \sum_{k = 1}^{n} α_{j} α_{k} y_{j} y_{k} x_{j}' x_{k} - \sum_{j = 1}^{n} α_{j}$
относительно α ₁..., _αn согласно $\sum α_{j} y_{j} = 0$ , _αj ≥ 0 для всего j = 1..., n и условия взаимозависимости Karush-Kuhn-Tucker (KKT).
Для неотделимых классов цель эквивалентна для отделимых классов, за исключением дополнительного условия $0 \leq α_{j} \leq C$ для всего j = 1.. N.

Получившаяся функция счета

$\hat{f} (x) = \sum_{j = 1}^{n} {\hat{α}}_{j} y_{j} x' x_{j} + \hat{b} .$

$\hat{b}$ оценка смещения и ${\hat{α}}_{j}$ j th оценка вектора $\hat{α}$ , j = 1..., n. Записанный этот путь, функция счета свободна от оценки β в результате основной формализации.

Алгоритм SVM классифицирует новое наблюдение использование z $sign (\hat{f} (z)) .$

В некоторых случаях нелинейный контур разделяет классы. Nonlinear SVM работает на преобразованном пробеле предиктора, чтобы найти оптимальную, отделяющуюся гиперплоскость.

Двойная формализация для нелинейного SVM

$0.5 \sum_{j = 1}^{n} \sum_{k = 1}^{n} α_{j} α_{k} y_{j} y_{k} G (x_{j}, x_{k}) - \sum_{j = 1}^{n} α_{j}$

относительно α ₁..., _αn согласно $\sum α_{j} y_{j} = 0$ , $0 \leq α_{j} \leq C$ для всего j = 1.., n и условия взаимозависимости KKT. G (_xk, _xj) элементы матрицы Грамма. Получившаяся функция счета

$\hat{f} (x) = \sum_{j = 1}^{n} {\hat{α}}_{j} y_{j} G (x, x_{j}) + \hat{b} .$

Для получения дополнительной информации смотрите Машины опорных векторов Понимания, [1], и [3].

Алгоритмы

Для математической формулировки бинарного алгоритма классификации SVM смотрите Машины опорных векторов для Бинарной Классификации и Понимания Машин опорных векторов.
NaN, <undefined>, пустой символьный вектор (''), пустая строка (""), и <missing> значения указывают на отсутствующие значения. fitcsvm удаляет целые строки данных, соответствующих недостающему ответу. При вычислении общих масс (см. следующие маркеры), fitcsvm игнорирует любой вес, соответствующий наблюдению по крайней мере с одним недостающим предиктором. Это действие может привести к несбалансированным априорным вероятностям в проблемах сбалансированного класса. Следовательно, ограничения поля наблюдения не могут равняться BoxConstraint.
fitcsvm удаляет наблюдения, которые имеют нулевой вес или априорную вероятность.
Для изучения 2D класса, если вы задаете матрицу стоимости $C$ (см. Cost), затем обновления программного обеспечения априорные вероятности класса p (см. Prior) к _pc путем слияния штрафов, описанных в $C$ .
А именно, fitcsvm завершает эти шаги:
1. Вычислить $p_{c}^{*} = p' C .$
2. Нормируйте _pc^* так, чтобы обновленные априорные вероятности суммировали к 1.
  
  $p_{c} = \frac{1}{\sum_{j = 1}^{K} p_{c, j}^{*}} p_{c}^{*} .$
  K является количеством классов.
3. Сбросьте матрицу стоимости к значению по умолчанию
  
  $C = [\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}] .$
4. Удалите наблюдения из обучающих данных, соответствующих классам с нулевой априорной вероятностью.
Для изучения 2D класса, fitcsvm нормирует все веса наблюдения (см. Weights) суммировать к 1. Функция затем повторно нормирует нормированные веса, чтобы суммировать до обновленной априорной вероятности класса, которому принадлежит наблюдение. Таким образом, общая масса для наблюдения j в классе k

$w_{j}^{*} = \frac{w_{j}}{\sum_{\forall j \in Класс k} w_{j}} p_{c, k} .$
_wj является нормированным весом для наблюдения j; p _{c, k} является обновленной априорной вероятностью класса k (см. предыдущий маркер).
Для изучения 2D класса, fitcsvm присваивает ограничение поля каждому наблюдению в обучающих данных. Формула для ограничения поля наблюдения j

$C_{j} = n C_{0} w_{j}^{*} .$
n является размером обучающей выборки, C ₀ является начальным ограничением поля (см. 'BoxConstraint' аргумент пары "имя-значение"), и $w_{j}^{*}$ общая масса наблюдения j (см. предыдущий маркер).
Если вы устанавливаете 'Standardize',true и 'Cost', 'Prior', или 'Weights' аргумент пары "имя-значение", затем fitcsvm стандартизирует предикторы с помощью их соответствующих взвешенных средних и взвешенных стандартных отклонений. Таким образом, fitcsvm стандартизирует предиктор j (_xj) использование

$x_{j}^{*} = \frac{x_{j} - μ_{j}^{*}}{σ_{j}^{*}} .$
$μ_{j}^{*} = \frac{1}{\sum_{k} w_{k}^{*}} \sum_{k} w_{k}^{*} x_{j k} .$
_xjk является наблюдением k (строка) предиктора j (столбец).
${(σ_{j}^{*})}^{2} = \frac{v_{1}}{v_{1}^{2} - v_{2}} \sum_{k} w_{k}^{*} {(x_{j k} - μ_{j}^{*})}^{2} .$
$v_{1} = \sum_{j} w_{j}^{*} .$
$v_{2} = \sum_{j} {(w_{j}^{*})}^{2} .$
Примите тот p пропорция выбросов, которые вы ожидаете в обучающих данных, и что вы устанавливаете 'OutlierFraction',p.
- Для изучения одного класса программное обеспечение обучает термин смещения, таким образом что 100p% из наблюдений в обучающих данных имеют отрицательные баллы.
- Программное обеспечение реализует robust learning для изучения 2D класса. Другими словами, программное обеспечение пытается удалить 100p% из наблюдений, когда алгоритм оптимизации сходится. Удаленные наблюдения соответствуют градиентам, которые являются большими в величине.
Если ваши данные о предикторе содержат категориальные переменные, то программное обеспечение обычно использует полное фиктивное кодирование для этих переменных. Программное обеспечение создает одну фиктивную переменную для каждого уровня каждой категориальной переменной.
- PredictorNames свойство хранит один элемент для каждого из исходных имен переменного предиктора. Например, примите, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем PredictorNames 1 3 массив ячеек из символьных векторов, содержащий настоящие имена переменных предикторов.
- ExpandedPredictorNames свойство хранит один элемент для каждого из переменных предикторов, включая фиктивные переменные. Например, примите, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем ExpandedPredictorNames массив ячеек из символьных векторов 1 на 5, содержащий имена переменных предикторов и новых фиктивных переменных.
- Точно так же Beta свойство хранит один бета коэффициент для каждого предиктора, включая фиктивные переменные.
- SupportVectors свойство хранит значения предиктора для векторов поддержки, включая фиктивные переменные. Например, примите, что существуют векторы поддержки m и три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем SupportVectors n-by-5 матрица.
- X свойство хранит обучающие данные, как первоначально введено и не включает фиктивные переменные. Когда вход является таблицей, X содержит только столбцы, используемые в качестве предикторов.
Для предикторов, заданных в таблице, если какая-либо из переменных содержит упорядоченные (порядковые) категории, программное обеспечение использует порядковое кодирование для этих переменных.
- Поскольку переменная с k заказала уровни, программное обеспечение создает k – 1 фиктивная переменная. j th фиктивная переменная –1 для уровней до j, и +1 для уровней j + 1 через k.
- Имена фиктивных переменных сохранены в ExpandedPredictorNames свойство указывает на первый уровень со значением +1. Программное обеспечение хранит k – 1 дополнительное имя предиктора для фиктивных переменных, включая имена уровней 2, 3..., k.
Все решатели реализуют L 1 мягко-граничная минимизация.
Для изучения одного класса программное обеспечение оценивает множители Лагранжа, α ₁..., _αn, такой что

$\sum_{j = 1}^{n} α_{j} = n ν .$

Ссылки

[1] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы статистического изучения, второго выпуска. Нью-Йорк: Спрингер, 2008.

[2] Scholkopf, B., Дж. К. Платт, Дж. К. Шейв-Тейлор, А. Дж. Смола и Р. К. Уильямсон. “Оценивая Поддержку Высоко-размерного Распределения”. Нейронный Comput., Издание 13, Номер 7, 2001, стр 1443–1471.

[3] Christianini, N. и Дж. К. Шейв-Тейлор. Введение в машины опорных векторов и другое основанное на ядре изучение методов. Кембридж, Великобритания: Издательство Кембриджского университета, 2000.

[4] Scholkopf, B. и A. Смола. Изучение с ядрами: машины опорных векторов, регуляризация, оптимизация и вне, адаптивный расчет и машинное обучение. Кембридж, MA: нажатие MIT, 2002.

Расширенные возможности

Генерация кода C/C++
Генерация кода C и C++ с помощью MATLAB® Coder™.

Указания и ограничения по применению:

Для получения дополнительной информации смотрите Введение в Генерацию кода.

Темы

Введенный в R2014a

Документация

ClassificationSVM

Описание

Создание

Свойства

Свойства SVM

Alpha — Обученные коэффициенты классификатора числовой вектор

Beta — Линейные коэффициенты предиктора числовой вектор

Bias — Сместите термин скаляр

BoxConstraints — Ограничения поля числовой вектор

CacheInfo — Кэширование информации массив структур

IsSupportVector — Поддержите векторный индикатор логический вектор

KernelParameters — Параметры ядра массив структур

Nu — Параметр изучения одного класса положительная скалярная величина

OutlierFraction — Пропорция выбросов числовой скаляр

Solver — Стандартная программа оптимизации 'ISDA' | 'L1QP' | 'SMO'

SupportVectorLabels — Поддержите векторные метки класса s-by-1 числовой вектор

SupportVectors — Поддержите векторы s-by-p числовая матрица

Другие свойства классификации

CategoricalPredictors — Категориальные индексы предиктора вектор из положительных целых чисел | []

ClassNames — Уникальные метки класса категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Cost — Misclassification стоится числовая квадратная матрица

ExpandedPredictorNames — Расширенные имена предиктора массив ячеек из символьных векторов

Gradient — Значения градиента обучающих данных числовой вектор

ModelParameters — Параметры раньше обучали модель объект

Mu — Средние значения предиктора числовой вектор | []

NumObservations — Количество наблюдений числовой скаляр

PredictorNames — Имена переменного предиктора массив ячеек из символьных векторов

Prior — Априорные вероятности числовой вектор

ResponseName — Имя переменной отклика символьный вектор

RowsUsed — Строки используются в подборе кривой [] | логический вектор

ScoreTransform — Выиграйте преобразование вектор символов | указатель на функцию

Sigma — Стандартные отклонения предиктора [] (значение по умолчанию) | числовой вектор

W — Веса наблюдения числовой вектор

X — Нестандартизированные предикторы числовая матрица | таблица

Y — Метки класса категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Свойства элементов управления сходимости

ConvergenceInfo — Информация о сходимости массив структур

NumIterations — Количество итераций положительное целое число

ShrinkagePeriod — Количество итераций между сокращениями активного набора неотрицательное целое число

Свойства гипероптимизации параметров управления

HyperparameterOptimizationResults — Описание оптимизации перекрестной проверки гиперпараметров BayesianOptimization возразите | таблица

Функции объекта

Примеры

Обучите классификатор SVM

Обучите и перекрестный подтвердите классификатор SVM

Больше о

Ограничение поля

Матрица грамма

Условия взаимозависимости Karush-Kuhn-Tucker

Изучение одного класса

Вектор поддержки

Машины опорных векторов для бинарной классификации

Алгоритмы

Ссылки

Расширенные возможности

Генерация кода C/C++ Генерация кода C и C++ с помощью MATLAB® Coder™.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

`Alpha` — Обученные коэффициенты классификатора
числовой вектор

`Beta` — Линейные коэффициенты предиктора
числовой вектор

`Bias` — Сместите термин
скаляр

`BoxConstraints` — Ограничения поля
числовой вектор

`CacheInfo` — Кэширование информации
массив структур

`IsSupportVector` — Поддержите векторный индикатор
логический вектор

`KernelParameters` — Параметры ядра
массив структур

`Nu` — Параметр изучения одного класса
положительная скалярная величина

`OutlierFraction` — Пропорция выбросов
числовой скаляр

`Solver` — Стандартная программа оптимизации
`'ISDA'` | `'L1QP'` | `'SMO'`

`SupportVectorLabels` — Поддержите векторные метки класса
s-by-1 числовой вектор

`SupportVectors` — Поддержите векторы
s-by-p числовая матрица

`CategoricalPredictors` — Категориальные индексы предиктора
вектор из положительных целых чисел | `[]`

`ClassNames` — Уникальные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

`Cost` — Misclassification стоится
числовая квадратная матрица

`ExpandedPredictorNames` — Расширенные имена предиктора
массив ячеек из символьных векторов

`Gradient` — Значения градиента обучающих данных
числовой вектор

`ModelParameters` — Параметры раньше обучали модель
объект

`Mu` — Средние значения предиктора
числовой вектор | `[]`

`NumObservations` — Количество наблюдений
числовой скаляр

`PredictorNames` — Имена переменного предиктора
массив ячеек из символьных векторов

`Prior` — Априорные вероятности
числовой вектор

`ResponseName` — Имя переменной отклика
символьный вектор

`RowsUsed` — Строки используются в подборе кривой
`[]` | логический вектор

`ScoreTransform` — Выиграйте преобразование
вектор символов | указатель на функцию

`Sigma` — Стандартные отклонения предиктора
`[]` (значение по умолчанию) | числовой вектор

`W` — Веса наблюдения
числовой вектор

`X` — Нестандартизированные предикторы
числовая матрица | таблица

`Y` — Метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

`ConvergenceInfo` — Информация о сходимости
массив структур

`NumIterations` — Количество итераций
положительное целое число

`ShrinkagePeriod` — Количество итераций между сокращениями активного набора
неотрицательное целое число

`HyperparameterOptimizationResults` — Описание оптимизации перекрестной проверки гиперпараметров
`BayesianOptimization` возразите | таблица

Генерация кода C/C++
Генерация кода C и C++ с помощью MATLAB® Coder™.