ClassificationSVM

Машина вектора поддержки (SVM) для и бинарной классификации одного класса

Описание

ClassificationSVM является классификатором машины вектора поддержки (SVM) для изучения 2D класса и одного класса. Обученные классификаторы ClassificationSVM хранят данные тренировки, значения параметров, априорные вероятности, поддерживают векторы и алгоритмическую информацию о реализации. Используйте эти классификаторы, чтобы выполнить задачи, такие как подбор кривой счету к функции преобразования апостериорной вероятности (см. fitPosterior), и предсказание меток для новых данных (см. predict).

Создание

Создайте объект ClassificationSVM при помощи fitcsvm.

Свойства

развернуть все

Свойства SVM

`\alpha` Обученные коэффициенты классификатора
числовой вектор

Это свойство доступно только для чтения.

Обученные коэффициенты классификатора, заданные как s-by-1 числовой вектор. s является количеством векторов поддержки в обученном классификаторе, sum(Mdl.IsSupportVector).

Alpha содержит обученные коэффициенты классификатора от двойной проблемы, то есть, предполагаемых множителей Лагранжа. Если вы удаляете копии при помощи аргумента пары "имя-значение" RemoveDuplicates fitcsvm, то для данного набора дублирующихся наблюдений, которые являются векторами поддержки, Alpha содержит один коэффициент, соответствующий целому набору. That is, MATLAB^® приписывает ненулевой коэффициент одному наблюдению от набора копий и коэффициент 0 ко всем другим дублирующимся наблюдениям в наборе.

Типы данных: single | double

`\beta` Линейные коэффициенты предиктора
числовой вектор

Это свойство доступно только для чтения.

Линейные коэффициенты предиктора, заданные как числовой вектор. Длина Beta равна количеству предикторов, используемых, чтобы обучить модель.

MATLAB расширяет категориальные переменные в данных о предикторе с помощью полного фиктивного кодирования. Таким образом, MATLAB создает одну фиктивную переменную для каждого уровня каждой категориальной переменной. Beta хранит одно значение для каждой переменной прогноза, включая фиктивные переменные. Например, если существует три предиктора, один из которых является категориальной переменной с тремя уровнями, затем Beta является числовым вектором, содержащим пять значений.

Если KernelParameters.Function является 'linear', то счет классификации к наблюдению x

$f (x) = (x / s)' β + b .$

Mdl хранит β, b и s в свойствах Beta, Bias и KernelParameters.Scale, соответственно.

Чтобы оценить очки классификации вручную, необходимо сначала применить любые преобразования к данным о предикторе, которые были применены во время обучения. А именно, если вы задаете 'Standardize',true при использовании fitcsvm, затем необходимо стандартизировать данные о предикторе вручную при помощи среднего Mdl.Mu и стандартного отклонения Mdl.Sigma, и затем разделить результат на шкалу ядра в Mdl.KernelParameters.Scale.

Все функции SVM, такие как resubPredict и predict, применяют любое необходимое преобразование перед оценкой.

Если KernelParameters.Function не является 'linear', то Beta пуст ([]).

Типы данных: single | double

`Bias` — Сместите термин
скаляр

Это свойство доступно только для чтения.

Сместите термин, заданный как скаляр.

Типы данных: single | double

`BoxConstraints` — Ограничения поля
числовой вектор

Это свойство доступно только для чтения.

Ограничения поля, заданные как числовой вектор n-by-1 ограничения поля. n является количеством наблюдений в данных тренировки (см. свойство NumObservations).

Если вы удаляете копии при помощи аргумента пары "имя-значение" RemoveDuplicates fitcsvm, то для данного набора дублирующихся наблюдений, MATLAB суммирует ограничения поля и затем приписывает сумму одному наблюдению. MATLAB приписывает ограничения поля 0 ко всем другим наблюдениям в наборе.

Типы данных: single | double

`CacheInfo` — Кэширование информации
массив структур

Это свойство доступно только для чтения.

Кэширование информации, указанной как массив структур. Кэширующаяся информация содержит поля, описанные в этой таблице.

Поле	Описание
Размер	Размер кэша (в Мбайте), который программное обеспечение резервирует, чтобы обучить классификатор SVM. Для получения дополнительной информации смотрите `'CacheSize'`.
Алгоритм	Алгоритм кэширования, который программное обеспечение использует во время оптимизации. В настоящее время единственным доступным алгоритмом кэширования является `Queue`. Вы не можете установить алгоритм кэширования.

Отобразите поля CacheInfo при помощи записи через точку. Например, Mdl.CacheInfo.Size отображает значение размера кэша.

Типы данных: struct

`IsSupportVector` — Поддержите векторный индикатор
логический вектор

Это свойство доступно только для чтения.

Поддержите векторный индикатор, заданный как n-by-1 логический вектор, который отмечает, является ли соответствующее наблюдение в матрице данных предиктора Вектором Поддержки. n является количеством наблюдений в данных тренировки (см. NumObservations).

Если вы удаляете копии при помощи аргумента пары "имя-значение" RemoveDuplicates fitcsvm, то для данного набора дублирующихся наблюдений, которые являются векторами поддержки, IsSupportVector отмечает только одно наблюдение как вектор поддержки.

Типы данных: логический

`KernelParameters` — Параметры ядра
массив структур

Это свойство доступно только для чтения.

Параметры ядра, заданные как массив структур. Свойство параметров ядра содержит поля, перечисленные в этой таблице.

Поле	Описание
Функция	Функция ядра раньше вычисляла элементы матрицы Грамма. Для получения дополнительной информации смотрите `'KernelFunction'`.
Шкала	Масштабный коэффициент ядра раньше масштабировал все элементы данных о предикторе, на которых обучена модель. Для получения дополнительной информации смотрите `'KernelScale'`.

Чтобы отобразить значения KernelParameters, используйте запись через точку. Например, Mdl.KernelParameters.Scale отображает значение масштабного коэффициента ядра.

Программное обеспечение принимает KernelParameters как входные параметры и не изменяет их.

Типы данных: struct

`\nu` Параметр изучения одного класса
положительная скалярная величина

Это свойство доступно только для чтения.

Параметр изучения одного класса ν, заданный как положительная скалярная величина.

Типы данных: single | double

`OutlierFraction` — Пропорция выбросов
числовой скаляр

Это свойство доступно только для чтения.

Пропорция выбросов в данных тренировки, заданных в виде числа.

Типы данных: double

`Solver` — Стандартная программа оптимизации
`'ISDA'` | `'L1QP'` | `'SMO'`

Это свойство доступно только для чтения.

Стандартная программа оптимизации раньше обучала классификатор SVM, заданный как 'ISDA', 'L1QP' или 'SMO'. Для получения дополнительной информации смотрите 'Solver'.

`SupportVectorLabels` — Поддержите векторные метки класса
s-by-1 числовой вектор

Это свойство доступно только для чтения.

Поддержите векторные метки класса, заданные как s-by-1 числовой вектор. s является количеством векторов поддержки в обученном классификаторе, sum(Mdl.IsSupportVector).

Значение +1 в SupportVectorLabels указывает, что соответствующий вектор поддержки находится в положительном классе (ClassNames{2}). Значение –1 указывает, что соответствующий вектор поддержки находится в отрицательном классе (ClassNames{1}).

Если вы удаляете копии при помощи аргумента пары "имя-значение" RemoveDuplicates fitcsvm, то для данного набора дублирующихся наблюдений, которые являются векторами поддержки, SupportVectorLabels содержит одну уникальную метку вектора поддержки.

Типы данных: single | double

`SupportVectors` — Поддержите векторы
s-by-p числовая матрица

Это свойство доступно только для чтения.

Поддержите векторы в обученном классификаторе, заданном как s-by-p числовая матрица. s является количеством векторов поддержки в обученном классификаторе, sum(Mdl.IsSupportVector), и p является количеством переменных прогноза в данных о предикторе.

SupportVectors содержит строки данных о предикторе X, что MATLAB считает векторами поддержки. Если вы задаете 'Standardize',true, когда обучение классификатор SVM с помощью fitcsvm, то SupportVectors содержит стандартизированные строки X.

Если вы удаляете копии при помощи аргумента пары "имя-значение" RemoveDuplicates fitcsvm, то для данного набора дублирующихся наблюдений, которые являются векторами поддержки, SupportVectors содержит один уникальный вектор поддержки.

Типы данных: single | double

Другие свойства классификации

`CategoricalPredictors` — Категориальные индексы предиктора
вектор положительных целых чисел | `[]`

Это свойство доступно только для чтения.

Категориальные индексы предиктора, заданные как вектор положительных целых чисел. CategoricalPredictors содержит индексные значения, соответствующие столбцам данных о предикторе, которые содержат категориальные предикторы. Если ни один из предикторов не является категориальным, то это свойство пусто ([]).

Типы данных: single | double

`ClassNames` — Уникальные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Уникальные метки класса использовали в обучении модель, заданную как категориальное или символьный массив, логический или числовой вектор или массив ячеек из символьных векторов.

`Cost` — Misclassification стоится
числовая квадратная матрица

Это свойство доступно только для чтения.

Misclassification стоят, заданный как числовая квадратная матрица, где Cost(i,j) является стоимостью классификации точки в класс j, если его истинным классом является i.

Во время обучения обновлений программного обеспечения априорные вероятности путем слияния штрафов описаны в матрице стоимости.

Для изучения 2D класса Cost всегда имеет эту форму: Cost(i,j) = 1, если i ~= j и Cost(i,j) = 0, если i = j. Строки соответствуют истинному классу, и столбцы соответствуют предсказанному классу. Порядок строк и столбцов Cost соответствует порядку классов в ClassNames.
Для изучения одного класса, Cost = 0.

Для получения дополнительной информации см. Алгоритмы.

Типы данных: double

`ExpandedPredictorNames` — Расширенные имена предиктора
массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Расширенные имена предиктора, заданные как массив ячеек из символьных векторов.

Если модель использует фиктивное переменное кодирование для категориальных переменных, то ExpandedPredictorNames включает имена, которые описывают расширенные переменные. В противном случае ExpandedPredictorNames совпадает с PredictorNames.

Типы данных: cell

`Градиент` Значения градиента данных тренировки
числовой вектор

Это свойство доступно только для чтения.

Значения градиента данных тренировки, заданные как числовой вектор. Длина Gradient равна количеству наблюдений (см. NumObservations).

Типы данных: single | double

`ModelParameters` — Параметры раньше обучали модель
массив структур

Это свойство доступно только для чтения.

Параметры раньше обучали модель ClassificationSVM, заданную как массив структур. ModelParameters содержит значения параметров, такие как значения аргумента пары "имя-значение", используемые, чтобы обучить классификатор SVM. ModelParameters не содержит оцененные параметры.

Доступ к полям ModelParameters при помощи записи через точку. Например, получите доступ к начальным значениям для оценки Alpha при помощи Mdl.ModelParameters.Alpha.

Типы данных: struct

`\mu` Средние значения предиктора
числовой вектор | `[]`

Это свойство доступно только для чтения.

Средние значения предиктора, заданные как числовой вектор. Если вы задаете 'Standardize',1 или 'Standardize',true, когда вы обучаете классификатор SVM с помощью fitcsvm, то длина Mu равна количеству предикторов.

MATLAB расширяет категориальные переменные в данных о предикторе с помощью полного фиктивного кодирования. Таким образом, MATLAB создает одну фиктивную переменную для каждого уровня каждой категориальной переменной. Mu хранит одно значение для каждой переменной прогноза, включая фиктивные переменные. Однако MATLAB не стандартизирует столбцы, которые содержат категориальные переменные.

Если вы устанавливаете 'Standardize',false, когда вы обучаете классификатор SVM с помощью fitcsvm, то Mu является пустым вектором ([]).

Типы данных: single | double

`NumObservations` — Количество наблюдений
числовой скаляр

Это свойство доступно только для чтения.

Количество наблюдений в данных тренировки, хранимых в X и Y , заданных в виде числа.

Типы данных: single | double

`PredictorNames` — Имена переменной прогноза
массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Имена переменной прогноза, заданные как массив ячеек из символьных векторов. Порядок элементов PredictorNames соответствует порядку, в котором имена предиктора появляются в данных тренировки.

Типы данных: cell

`Prior` — Априорные вероятности
числовой вектор

Это свойство доступно только для чтения.

Априорные вероятности для каждого класса, заданного как числовой вектор. Порядок элементов Prior соответствует элементам Mdl.ClassNames.

Для изучения 2D класса, если вы задаете матрицу стоимости, затем обновления программного обеспечения априорные вероятности путем слияния штрафов, описанных в матрице стоимости.

Для получения дополнительной информации см. Алгоритмы.

Типы данных: single | double

`ResponseName` — Имя переменной отклика
символьный вектор

Это свойство доступно только для чтения.

Имя переменной отклика, заданное как вектор символов.

Типы данных: char

`RowsUsed` — Строки используются в подборе кривой
`[]` | логический вектор

Это свойство доступно только для чтения.

Строки исходных данных X, используемый в подборе кривой модели ClassificationSVM, заданной как логический вектор. Это свойство пусто, если все строки используются.

Типы данных: логический

`ScoreTransform` — Выиграйте преобразование
вектор символов | указатель на функцию

Выиграйте преобразование, заданное как вектор символов или указатель на функцию. ScoreTransform представляет встроенную функцию преобразования или указатель на функцию для преобразования предсказанных очков классификации.

Изменить функцию преобразования счета на function, например, запись через точку использования.

Для встроенной функции введите вектор символов.

Mdl.ScoreTransform = 'function';

Эта таблица описывает доступные встроенные функции.

Значение	Описание
`'doublelogit'`	1/(1 + e ^–2x)
`'invlogit'`	журнал (x / (1 – x))
`'ismax'`	Устанавливает счет к классу с самым большим счетом к `1` и устанавливает музыку ко всем другим классам к `0`
`'logit'`	1/(1 + e ^–x)
`'none'` или `'identity'`	x (никакое преобразование)
`'sign'`	– 1 для x <0 0 для x = 0 1 для x> 0
`'symmetric'`	2x – 1
`'symmetricismax'`	Устанавливает счет к классу с самым большим счетом к `1` и устанавливает музыку ко всем другим классам к `–1`
`'symmetriclogit'`	2/(1 + e ^–x) – 1

Для функции MATLAB или функции, которую вы задаете, введите ее указатель на функцию.
```
Mdl.ScoreTransform = @function;
```
function должен принять матрицу (исходные очки) и возвратить матрицу, одного размера (преобразованные очки).

Типы данных: char | function_handle

`\sigma` Стандартные отклонения предиктора
`[]` (значение по умолчанию) | числовой вектор

Это свойство доступно только для чтения.

Стандартные отклонения предиктора, заданные как числовой вектор.

Если вы задаете 'Standardize',true, когда вы обучаете классификатор SVM с помощью fitcsvm, то длина Sigma равна количеству переменных прогноза.

MATLAB расширяет категориальные переменные в данных о предикторе с помощью полного фиктивного кодирования. Таким образом, MATLAB создает одну фиктивную переменную для каждого уровня каждой категориальной переменной. Sigma хранит одно значение для каждой переменной прогноза, включая фиктивные переменные. Однако MATLAB не стандартизирует столбцы, которые содержат категориальные переменные.

Если вы устанавливаете 'Standardize',false, когда вы обучаете классификатор SVM с помощью fitcsvm, то Sigma является пустым вектором ([]).

Типы данных: single | double

`W` Веса наблюдения
`ones(n,1)` (значение по умолчанию) | числовой вектор

Это свойство доступно только для чтения.

Веса наблюдения раньше обучали классификатор SVM, заданный как n-by-1 числовой вектор. n является количеством наблюдений (см. NumObservations).

fitcsvm нормирует веса наблюдения, заданные в аргументе пары "имя-значение" 'Weights' так, чтобы элементы W в конкретном классе суммировали до априорной вероятности того класса.

Типы данных: single | double

`X` Нестандартизированные предикторы
числовая матрица | таблица

Это свойство доступно только для чтения.

Нестандартизированные предикторы раньше обучали классификатор SVM, заданный как числовая матрица или таблица.

Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одной переменной.

MATLAB исключает наблюдения, содержащие по крайней мере одно отсутствующее значение, и удаляет соответствующие элементы из Y.

Типы данных: single | double

`Y` Метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Это свойство доступно только для чтения.

Метки класса раньше обучали классификатор SVM, заданный как категориальное или символьный массив, логический или числовой вектор или массив ячеек из символьных векторов. Y является совпадающим типом данных как входным параметром Y fitcsvm. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.)

Каждая строка Y представляет наблюдаемую классификацию соответствующей строки X.

MATLAB исключает элементы, содержащие отсутствующие значения, и удаляет соответствующие наблюдения из X.

Свойства элементов управления сходимости

`ConvergenceInfo` — Информация о сходимости
массив структур

Это свойство доступно только для чтения.

Информация сходимости, указанная как массив структур.

Поле	Описание
`Converged`	Логический флаг, указывающий, сходился ли алгоритм (`1` указывает на сходимость).
`ReasonForConvergence`	Вектор символов, указывающий на критерий использование программного обеспечения, чтобы обнаружить сходимость.
`Gap`	Скалярный разрыв выполнимости между двойными и основными целевыми функциями.
`GapTolerance`	Скалярный допуск разрыва выполнимости. Установите этот допуск, например, к `1e-2`, при помощи аргумента пары "имя-значение" `'GapTolerance',1e-2` `fitcsvm`.
`DeltaGradient`	Достигнутое скаляром различие в градиенте между верхними и более низкими нарушителями
`DeltaGradientTolerance`	Скалярный допуск к различию в градиенте между верхними и более низкими нарушителями. Установите этот допуск, например, к `1e-2`, при помощи аргумента пары "имя-значение" `'DeltaGradientTolerance',1e-2` `fitcsvm`.
`LargestKKTViolation`	Максимальное скалярное значение нарушения Karush-Kuhn-Tucker (KKT).
`KKTTolerance`	Скалярный допуск к самому большому нарушению KKT. Установите этот допуск, например, к к, `1e-3`, при помощи аргумента пары "имя-значение" `'KKTTolerance',1e-3` `fitcsvm`.
`History`	Массив структур, содержащий информацию о сходимости в итерациях оптимизации набора. Поля: `'NumIterations' :` числовой вектор индексов итерации, для которых программное обеспечение записывает информацию о сходимости `Gap`: числовой вектор значений `Gap` в итерациях `DeltaGradient`: числовой вектор значений `DeltaGradient` в итерациях `LargestKKTViolation`: числовой вектор значений `LargestKKTViolation` в итерациях `NumSupportVectors`: числовой вектор, указывающий на количество векторов поддержки в итерациях `Цель:` числовой вектор значений `Objective` в итерациях
`Objective`	Скалярное значение двойной целевой функции.

Типы данных: struct

`'NumIterations'` Количество итераций
положительное целое число

Это свойство доступно только для чтения.

Количество итераций, требуемых стандартной программой оптимизации достигнуть сходимости, заданной как положительное целое число.

Чтобы установить предел для количества итераций к 1000, например, задают 'IterationLimit',1000, когда вы обучаете классификатор SVM с помощью fitcsvm.

Типы данных: double

`ShrinkagePeriod` — Количество итераций между сокращениями активного набора
неотрицательное целое число

Это свойство доступно только для чтения.

Количество итераций между сокращениями активного набора, заданного как неотрицательное целое число.

Чтобы установить период уменьшения на 1000, например, задают 'ShrinkagePeriod',1000, когда вы обучаете классификатор SVM с помощью fitcsvm.

Типы данных: single | double

Свойства гипероптимизации параметров управления

`HyperparameterOptimizationResults` — Описание оптимизации перекрестной проверки гиперпараметров
Объект `BayesianOptimization` | таблица

Это свойство доступно только для чтения.

Описание оптимизации перекрестной проверки гиперпараметров, заданных как объект BayesianOptimization или таблица гиперпараметров и присваиваемых значений. Это свойство непусто, когда аргумент пары "имя-значение" 'OptimizeHyperparameters' fitcsvm непуст при создании. Значение HyperparameterOptimizationResults зависит от установки поля Optimizer в структуре HyperparameterOptimizationOptions fitcsvm при создании, как описано в этой таблице.

Значение поля `Optimizer`	Значение `HyperparameterOptimizationResults`
`'bayesopt'` (значение по умолчанию)	Объект класса `BayesianOptimization`
`'gridsearch'` или `'randomsearch'`	Таблица гиперпараметров используемые, наблюдаемые значения целевой функции (потеря перекрестной проверки), и ранг наблюдений от самого низкого (лучше всего) к (худшему) самому высокому

Функции объекта

`compact`	Уменьшайте размер классификатора машины вектора поддержки (SVM)
`compareHoldout`	Сравните точность двух моделей классификации с помощью новых данных
`crossval`	Перекрестный подтвердите классификатор машины вектора поддержки (SVM)
`discardSupportVectors`	Отбросьте векторы поддержки для линейного классификатора машины вектора поддержки (SVM)
`edge`	Найдите ребро классификации для классификатора машины вектора поддержки (SVM)
`fitPosterior`	Подходящие апостериорные вероятности для классификатора машины вектора поддержки (SVM)
`loss`	Найдите ошибку классификации для классификатора машины вектора поддержки (SVM)
`margin`	Найдите поля классификации для классификатора машины вектора поддержки (SVM)
`predict`	Классифицируйте наблюдения с помощью классификатора машины вектора поддержки (SVM)
`resubEdge`	Найдите ребро классификации для классификатора машины вектора поддержки (SVM) перезаменой
`resubLoss`	Найдите потерю классификации для классификатора машины вектора поддержки (SVM) перезаменой
`resubMargin`	Найдите поля классификации для классификатора машины вектора поддержки (SVM) перезаменой
`resubPredict`	Классифицируйте наблюдения на классификатор машины вектора поддержки (SVM)
`resume`	Возобновите учебный классификатор машины вектора поддержки (SVM)

Примеры

свернуть все

Обучите классификатор SVM

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера. Удалите длины чашелистика и ширины, и все наблюдали ирисовые диафрагмы setosa.

load fisheriris
inds = ~strcmp(species,'setosa');
X = meas(inds,3:4);
y = species(inds);

Обучите классификатор SVM с помощью обработанного набора данных.

SVMModel = fitcsvm(X,y)

SVMModel = 
  ClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'versicolor'  'virginica'}
           ScoreTransform: 'none'
          NumObservations: 100
                    Alpha: [24x1 double]
                     Bias: -14.4149
         KernelParameters: [1x1 struct]
           BoxConstraints: [100x1 double]
          ConvergenceInfo: [1x1 struct]
          IsSupportVector: [100x1 logical]
                   Solver: 'SMO'


  Properties, Methods

SVMModel является обученным классификатором ClassificationSVM. Отобразите свойства SVMModel. Например, чтобы определить порядок класса, используйте запись через точку.

classOrder = SVMModel.ClassNames

classOrder = 2x1 cell array
    {'versicolor'}
    {'virginica' }

Первый класс ('versicolor') является отрицательным классом, и вторым ('virginica') является положительный класс. Можно изменить порядок класса во время обучения при помощи аргумента пары "имя-значение" 'ClassNames'.

Постройте точечную диаграмму данных и окружите векторы поддержки.

sv = SVMModel.SupportVectors;
figure
gscatter(X(:,1),X(:,2),y)
hold on
plot(sv(:,1),sv(:,2),'ko','MarkerSize',10)
legend('versicolor','virginica','Support Vector')
hold off

Векторы поддержки являются наблюдениями, которые происходят на или вне их предполагаемых контуров класса.

Можно настроить контуры (и, поэтому, количество векторов поддержки) путем установки ограничения поля во время обучения с помощью аргумента пары "имя-значение" 'BoxConstraint'.

Обучите и перекрестный подтвердите классификатор SVM

Скрипт Open Live Script

Загрузите набор данных ionosphere.

load ionosphere

Обучите и перекрестный подтвердите классификатор SVM. Стандартизируйте данные о предикторе и задайте порядок классов.

rng(1);  % For reproducibility
CVSVMModel = fitcsvm(X,Y,'Standardize',true,...
    'ClassNames',{'b','g'},'CrossVal','on')

CVSVMModel = 
  classreg.learning.partition.ClassificationPartitionedModel
    CrossValidatedModel: 'SVM'
         PredictorNames: {1x34 cell}
           ResponseName: 'Y'
        NumObservations: 351
                  KFold: 10
              Partition: [1x1 cvpartition]
             ClassNames: {'b'  'g'}
         ScoreTransform: 'none'


  Properties, Methods

CVSVMModel является ClassificationPartitionedModel перекрестный подтвержденный классификатор SVM. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку.

Также можно перекрестный подтвердить обученный классификатор ClassificationSVM путем передачи его crossval.

Осмотрите один из обученных сгибов с помощью записи через точку.

CVSVMModel.Trained{1}

ans = 
  classreg.learning.classif.CompactClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'b'  'g'}
           ScoreTransform: 'none'
                    Alpha: [78x1 double]
                     Bias: -0.2209
         KernelParameters: [1x1 struct]
                       Mu: [1x34 double]
                    Sigma: [1x34 double]
           SupportVectors: [78x34 double]
      SupportVectorLabels: [78x1 double]


  Properties, Methods

Каждый сгиб является классификатором CompactClassificationSVM, обученным на 90% данных.

Оцените ошибку обобщения.

genError = kfoldLoss(CVSVMModel)

genError = 0.1168

В среднем ошибка обобщения составляет приблизительно 12%.

Больше о

развернуть все

Ограничение поля

Ограничение поля является параметром, который управляет максимальным наказанием, наложенным на нарушающие поле наблюдения, который помогает предотвратить сверхподходящий (регуляризация).

Если вы увеличиваете ограничение поля, то классификатор SVM присваивает меньше векторов поддержки. Однако увеличение ограничения поля может привести к более длительным учебным временам.

Матрица грамма

Матрица Грамма набора векторов n {x ₁.., _xn; _xj ∊ ^Rp} является n-by-n матрица с элементом (j, k) заданный как G (_xj, _xk) = <ϕ (_xj), ϕ (_xk)>, скалярное произведение преобразованных предикторов с помощью функции ядра ϕ.

Для нелинейного SVM алгоритм формирует матрицу Грамма использование строк данных о предикторе X. Двойная формализация заменяет скалярное произведение наблюдений в X с соответствующими элементами получившейся матрицы Грамма (названный “приемом ядра”). Следовательно, нелинейный SVM действует на преобразованном пробеле предиктора, чтобы найти отделяющуюся гиперплоскость.

Условия взаимозависимости Karush-Kuhn-Tucker

Условия взаимозависимости KKT являются ограничениями оптимизации, требуемыми для оптимальных решений для нелинейного программирования.

В SVM условия взаимозависимости KKT

${\begin{cases} α_{j} [y_{j} f (x_{j}) - 1 + ξ_{j}] = 0 \\ ξ_{j} (C - α_{j}) = 0 \end{cases}$

для всего j = 1..., n, где $f (x_{j}) = ϕ (x_{j})' β + b,$ ϕ является функцией ядра (см. матрицу Грамма), и _ξj является слабой переменной. Если классы совершенно отделимы, то _ξj = 0 для всего j = 1..., n.

Изучение одного класса

Изучение одного класса или безнадзорный SVM, стремится разделять данные из источника на высоко-размерном пробеле предиктора (не исходный пробел предиктора) и является алгоритмом, используемым для определения выбросов.

Алгоритм напоминает алгоритм SVM для бинарной классификации. Цель состоит в том, чтобы минимизировать двойное выражение

$0.5 \sum_{j k} α_{j} α_{k} G (x_{j}, x_{k})$

относительно $α_{1}, ..., α_{n}$ Согласно

$\sum α_{j} = n ν$

и $0 \leq α_{j} \leq 1$ для всего j = 1..., n. Значение G (_xj, _xk) в своей стихии (j, k) матрицы Грамма.

Маленькое значение ν приводит к меньшему количеству векторов поддержки и, поэтому, сглаженный, грубый контур решения. Большое значение ν ведет, чтобы больше поддержать векторы и, поэтому, соблазнительный, гибкий контур решения. Оптимальное значение ν должно быть достаточно большим, чтобы получить сложность данных и достаточно маленький, чтобы не перетренироваться. Кроме того, 0 <ν ≤ 1.

Для получения дополнительной информации см. [5].

Вектор поддержки

Векторы поддержки являются наблюдениями, соответствующими строго положительным оценкам α ₁..., _αn.

Предпочтены классификаторы SVM, которые приводят к меньшему количеству векторов поддержки для данного набора обучающих данных.

Поддержите векторные машины для бинарной классификации

Бинарный алгоритм классификации SVM ищет оптимальную гиперплоскость, которая разделяет данные на два класса. Для отделимых классов оптимальная гиперплоскость максимизирует margin (пробел, который не содержит наблюдений), окружение себя, который создает контуры для положительных и отрицательных классов. Для неотделимых классов цель является тем же самым, но алгоритм налагает штраф на длину поля для каждого наблюдения, которое находится на неправильной стороне его контура класса.

Линейная функция счета SVM

$f (x) = x' β + b,$

где:

x является наблюдением (соответствующий строке X).
Векторный β содержит коэффициенты, которые задают ортогональный вектор к гиперплоскости (соответствующий Mdl.Beta). Для отделимых данных оптимальная граничная длина $2 / ‖ β ‖ .$
b является сроком смещения (соответствующий Mdl.Bias).

Корень f (x) для конкретных коэффициентов задает гиперплоскость. Для конкретной гиперплоскости f (z) является расстоянием от точки z к гиперплоскости.

Алгоритм ищет максимальную граничную длину при хранении наблюдений в положительном (y = 1) и отрицательный (y = –1) классы отдельный.

Для отделимых классов цель состоит в том, чтобы минимизировать $‖ β ‖$ относительно β и b подвергают _yj f (_xj) ≥ 1, для всего j = 1.. N. Это - формализация primal для отделимых классов.
Для неотделимых классов алгоритм использует слабые переменные (_ξj), чтобы оштрафовать целевую функцию за наблюдения, которые пересекают граничный контур для их класса. _ξj = 0 для наблюдений, которые не пересекают граничный контур для их класса, в противном случае _ξj ≥ 0.
Цель состоит в том, чтобы минимизировать $0.5 {‖ β ‖}^{2} + C \sum ξ_{j}$ относительно β b и _ξj подвергают $y_{j} f (x_{j}) \geq 1 - ξ_{j}$ и $ξ_{j} \geq 0$ для всего j = 1.., n, и для ограничения поля положительной скалярной величины C. Это - основная формализация для неотделимых классов.

Алгоритм использует метод множителей Лагранжа, чтобы оптимизировать цель, которая вводит коэффициенты n α ₁..., _αn (соответствующий Mdl.Alpha). Двойные формализации для линейного SVM следующие:

Для отделимых классов минимизировать

$0.5 \sum_{j = 1}^{n} \sum_{k = 1}^{n} α_{j} α_{k} y_{j} y_{k} x_{j}' x_{k} - \sum_{j = 1}^{n} α_{j}$
относительно α ₁..., _αn согласно $\sum α_{j} y_{j} = 0$ , _αj ≥ 0 для всего j = 1..., n и условия взаимозависимости Karush-Kuhn-Tucker (KKT).
Для неотделимых классов цель эквивалентна для отделимых классов, за исключением дополнительного условия $0 \leq α_{j} \leq C$ для всего j = 1.. N.

Получившаяся функция счета

$\hat{f} (x) = \sum_{j = 1}^{n} {\hat{α}}_{j} y_{j} x' x_{j} + \hat{b} .$

$\hat{b}$ оценка смещения и ${\hat{α}}_{j}$ j th оценка вектора $\hat{α}$ , j = 1..., n. Записанный этот путь, функция счета свободна от оценки β в результате основной формализации.

Алгоритм SVM классифицирует новое наблюдение использование z $знак (\hat{f} (z)) .$

В некоторых случаях нелинейный контур разделяет классы. Nonlinear SVM работает на преобразованном пробеле предиктора, чтобы найти оптимальную, отделяющуюся гиперплоскость.

Двойная формализация для нелинейного SVM

$0.5 \sum_{j = 1}^{n} \sum_{k = 1}^{n} α_{j} α_{k} y_{j} y_{k} G (x_{j}, x_{k}) - \sum_{j = 1}^{n} α_{j}$

относительно α ₁..., _αn согласно $\sum α_{j} y_{j} = 0$ , $0 \leq α_{j} \leq C$ для всего j = 1.., n и условия взаимозависимости KKT. G (_xk, _xj) элементы матрицы Грамма. Получившаяся функция счета

$\hat{f} (x) = \sum_{j = 1}^{n} {\hat{α}}_{j} y_{j} G (x, x_{j}) + \hat{b} .$

Для получения дополнительной информации смотрите Машины Вектора Поддержки Понимания, [1], и [3].

Алгоритмы

Для математической формулировки бинарного алгоритма классификации SVM смотрите Машины Вектора Поддержки для Бинарной Классификации и Понимающий Машины Вектора Поддержки.
NaN, <undefined>, пустой символьный вектор (''), пустая строка ("") и значения <missing> указывают на отсутствующие значения. fitcsvm удаляет целые строки данных, соответствующих недостающему ответу. При вычислении общих масс (см. следующие маркеры), fitcsvm игнорирует любой вес, соответствующий наблюдению по крайней мере с одним недостающим предиктором. Это действие может привести к несбалансированным априорным вероятностям в проблемах сбалансированного класса. Следовательно, ограничения поля наблюдения не могут равняться BoxConstraint.
fitcsvm удаляет наблюдения, которые имеют нулевой вес или априорную вероятность.
Для изучения 2D класса, если вы задаете матрицу стоимости $C$ (см. Cost), затем обновления программного обеспечения априорные вероятности класса p (см. Prior) к _pc путем слияния штрафов, описанных в $C$ .
А именно, fitcsvm завершает эти шаги:
1. Вычислить $p_{c}^{*} = p' C .$
2. Нормируйте _pc^* так, чтобы обновленные априорные вероятности суммировали к 1.
  
  $p_{c} = \frac{1}{\sum_{j = 1}^{K} p_{c, j}^{*}} p_{c}^{*} .$
  K является количеством классов.
3. Сбросьте матрицу стоимости к значению по умолчанию
  
  $C = [\begin{matrix} 0110 \end{matrix}] .$
4. Удалите наблюдения из данных тренировки, соответствующих классам с нулевой априорной вероятностью.
Для изучения 2D класса fitcsvm нормирует все веса наблюдения (см. Weights) суммировать к 1. Функция затем повторно нормирует нормированные веса, чтобы суммировать до обновленной априорной вероятности класса, которому принадлежит наблюдение. Таким образом, общая масса для наблюдения j в классе k

$w_{j}^{*} = \frac{w_{j}}{\sum_{\forall j \in Класс k} w_{j}} p_{c, k} .$
_wj является нормированным весом для наблюдения j; p _{c, k} является обновленной априорной вероятностью класса k (см. предыдущий маркер).
Для изучения 2D класса fitcsvm присваивает ограничение поля каждому наблюдению в данных тренировки. Формула для ограничения поля наблюдения j

$C_{j} = n C_{0} w_{j}^{*} .$
n является учебным объемом выборки, C ₀ является начальным ограничением поля (см. аргумент пары "имя-значение" 'BoxConstraint'), и $w_{j}^{*}$ общая масса наблюдения j (см. предыдущий маркер).
Если вы устанавливаете 'Standardize',true и 'Cost', 'Prior' или аргумент пары "имя-значение" 'Weights', то fitcsvm стандартизирует предикторы с помощью их соответствующих взвешенных средних и взвешенных стандартных отклонений. Таким образом, fitcsvm стандартизирует предиктор j (_xj) использование

$x_{j}^{*} = \frac{x_{j} - μ_{j}^{*}}{σ_{j}^{*}} .$
$μ_{j}^{*} = \frac{1}{\sum_{k} w_{k}^{*}} \sum_{k} w_{k}^{*} x_{j k} .$
_xjk является наблюдением k (строка) предиктора j (столбец).
${(σ_{j}^{*})}^{2} = \frac{v_{1}}{v_{}^{12} - v_{2}} \sum_{k} w_{k}^{*} {(x_{j k} - μ_{j}^{*})}^{2} .$
$v_{1} = \sum_{j} w_{j}^{*} .$
$v_{2} = \sum_{j} {(w_{j}^{*})}^{2} .$
Примите, что p является пропорцией выбросов, которые вы ожидаете в данных тренировки, и что вы устанавливаете 'OutlierFraction',p.
- Для изучения одного класса программное обеспечение обучает срок смещения, таким образом, что 100p % наблюдений в данных тренировки имеют отрицательные очки.
- Программное обеспечение реализует robust learning для изучения 2D класса. Другими словами, программное обеспечение пытается удалить 100p % наблюдений, когда алгоритм оптимизации сходится. Удаленные наблюдения соответствуют градиентам, которые являются большими в значении.
Если ваши данные о предикторе содержат категориальные переменные, то программное обеспечение обычно использует полное фиктивное кодирование для этих переменных. Программное обеспечение создает одну фиктивную переменную для каждого уровня каждой категориальной переменной.
- Свойство PredictorNames хранит один элемент для каждого из исходных имен переменной прогноза. Например, примите, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем PredictorNames 1 3 массив ячеек из символьных векторов, содержащий настоящие имена переменных прогноза.
- Свойство ExpandedPredictorNames хранит один элемент для каждой из переменных прогноза, включая фиктивные переменные. Например, примите, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем ExpandedPredictorNames является массивом ячеек из символьных векторов 1 на 5, содержащим имена переменных прогноза и новых фиктивных переменных.
- Точно так же свойство Beta хранит один бета коэффициент для каждого предиктора, включая фиктивные переменные.
- Свойство SupportVectors хранит значения предиктора для векторов поддержки, включая фиктивные переменные. Например, примите, что существуют векторы поддержки m и три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем SupportVectors является n-by-5 матрица.
- Свойство X хранит данные тренировки, как первоначально введено и не включает фиктивные переменные. Когда вход является таблицей, X содержит только столбцы, используемые в качестве предикторов.
Для предикторов, заданных в таблице, если какая-либо из переменных содержит упорядоченные (порядковые) категории, программное обеспечение использует порядковое кодирование для этих переменных.
- Поскольку переменная с k заказала уровни, программное обеспечение создает k – 1 фиктивная переменная. j th фиктивная переменная –1 для уровней до j, и +1 для уровней j + 1 через k.
- Имена фиктивных переменных, сохраненных в свойстве ExpandedPredictorNames, указывают на первый уровень со значением +1. Программное обеспечение хранит k – 1 дополнительное имя предиктора для фиктивных переменных, включая имена уровней 2, 3..., k.
Все решатели реализуют L 1 мягко-граничная минимизация.
Для изучения одного класса программное обеспечение оценивает множители Лагранжа, α ₁..., _αn, такой что

$\sum_{j = 1}^{n} α_{j} = n ν .$

Ссылки

[1] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы статистического изучения, второго выпуска. Нью-Йорк: Спрингер, 2008.

[2] Scholkopf, B., Дж. К. Платт, Дж. К. Шейв-Тейлор, А. Дж. Смола и Р. К. Уильямсон. “Оценивая Поддержку Высоко-размерного Распределения”. Нейронный Comput., Издание 13, Номер 7, 2001, стр 1443–1471.

[3] Christianini, N. и Дж. К. Шейв-Тейлор. Введение, чтобы поддержать векторные машины и другое основанное на ядре изучение методов. Кембридж, Великобритания: Издательство Кембриджского университета, 2000.

[4] Scholkopf, B. и A. Смола. Изучение с ядрами: поддержите векторные машины, регуляризацию, оптимизацию и вне, адаптивное вычисление и машинное обучение. Кембридж, MA: нажатие MIT, 2002.

Расширенные возможности

Генерация кода C/C++
Генерация кода C и C++ с помощью MATLAB® Coder™.

Указания и ограничения по применению:

predict и update функционируют генерация кода поддержки.
Когда вы обучаете модель SVM при помощи fitcsvm, следующие ограничения применяются.
- Значение входного параметра меток класса (Y) не может быть категориальным массивом.
- Генерация кода не поддерживает категориальные предикторы. Вы не можете снабдить данными тренировки в таблице, которая содержит логический вектор, символьный массив, категориальный массив, массив строк или массив ячеек из символьных векторов. Кроме того, вы не можете использовать аргумент пары "имя-значение" 'CategoricalPredictors'. Чтобы включать категориальные предикторы в модель, предварительно обработайте категориальные предикторы при помощи dummyvar прежде, чем соответствовать модели.
- Значение аргумента пары "имя-значение" 'ClassNames' не может быть категориальным массивом.
- Значение аргумента пары "имя-значение" 'ScoreTransform' не может быть анонимной функцией. Для генерации кода, который предсказывает апостериорные вероятности, данные новые наблюдения, передайте обученную модель SVM fitPosterior или fitSVMPosterior. Свойство ScoreTransform возвращенной модели содержит анонимную функцию, которая представляет счет функции апостериорной вероятности и сконфигурирована для генерации кода.

Для получения дополнительной информации смотрите Введение в Генерацию кода.

Документация

ClassificationSVM

Описание

Создание

Свойства

Свойства SVM

\alpha Обученные коэффициенты классификатора числовой вектор

\beta Линейные коэффициенты предиктора числовой вектор

Bias — Сместите термин скаляр

BoxConstraints — Ограничения поля числовой вектор

CacheInfo — Кэширование информации массив структур

IsSupportVector — Поддержите векторный индикатор логический вектор

KernelParameters — Параметры ядра массив структур

\nu Параметр изучения одного класса положительная скалярная величина

OutlierFraction — Пропорция выбросов числовой скаляр

Solver — Стандартная программа оптимизации 'ISDA' | 'L1QP' | 'SMO'

SupportVectorLabels — Поддержите векторные метки класса s-by-1 числовой вектор

SupportVectors — Поддержите векторы s-by-p числовая матрица

Другие свойства классификации

CategoricalPredictors — Категориальные индексы предиктора вектор положительных целых чисел | []

ClassNames — Уникальные метки класса категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Cost — Misclassification стоится числовая квадратная матрица

ExpandedPredictorNames — Расширенные имена предиктора массив ячеек из символьных векторов

Градиент Значения градиента данных тренировки числовой вектор

ModelParameters — Параметры раньше обучали модель массив структур

\mu Средние значения предиктора числовой вектор | []

NumObservations — Количество наблюдений числовой скаляр

PredictorNames — Имена переменной прогноза массив ячеек из символьных векторов

Prior — Априорные вероятности числовой вектор

ResponseName — Имя переменной отклика символьный вектор

RowsUsed — Строки используются в подборе кривой [] | логический вектор

ScoreTransform — Выиграйте преобразование вектор символов | указатель на функцию

\sigma Стандартные отклонения предиктора [] (значение по умолчанию) | числовой вектор

W Веса наблюдения ones(n,1) (значение по умолчанию) | числовой вектор

X Нестандартизированные предикторы числовая матрица | таблица

Y Метки класса категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Свойства элементов управления сходимости

ConvergenceInfo — Информация о сходимости массив структур

'NumIterations' Количество итераций положительное целое число

ShrinkagePeriod — Количество итераций между сокращениями активного набора неотрицательное целое число

Свойства гипероптимизации параметров управления

HyperparameterOptimizationResults — Описание оптимизации перекрестной проверки гиперпараметров Объект BayesianOptimization | таблица

Функции объекта

Примеры

Обучите классификатор SVM

Обучите и перекрестный подтвердите классификатор SVM

Больше о

Ограничение поля

Матрица грамма

Условия взаимозависимости Karush-Kuhn-Tucker

Изучение одного класса

Вектор поддержки

Поддержите векторные машины для бинарной классификации

Алгоритмы

Ссылки

Расширенные возможности

Генерация кода C/C++ Генерация кода C и C++ с помощью MATLAB® Coder™.

Смотрите также

Темы

Введенный в R2014a

Документация Statistics and Machine Learning Toolbox

Поддержка

`\alpha` Обученные коэффициенты классификатора
числовой вектор

`\beta` Линейные коэффициенты предиктора
числовой вектор

`Bias` — Сместите термин
скаляр

`BoxConstraints` — Ограничения поля
числовой вектор

`CacheInfo` — Кэширование информации
массив структур

`IsSupportVector` — Поддержите векторный индикатор
логический вектор

`KernelParameters` — Параметры ядра
массив структур

`\nu` Параметр изучения одного класса
положительная скалярная величина

`OutlierFraction` — Пропорция выбросов
числовой скаляр

`Solver` — Стандартная программа оптимизации
`'ISDA'` | `'L1QP'` | `'SMO'`

`SupportVectorLabels` — Поддержите векторные метки класса
s-by-1 числовой вектор

`SupportVectors` — Поддержите векторы
s-by-p числовая матрица

`CategoricalPredictors` — Категориальные индексы предиктора
вектор положительных целых чисел | `[]`

`ClassNames` — Уникальные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

`Cost` — Misclassification стоится
числовая квадратная матрица

`ExpandedPredictorNames` — Расширенные имена предиктора
массив ячеек из символьных векторов

`Градиент` Значения градиента данных тренировки
числовой вектор

`ModelParameters` — Параметры раньше обучали модель
массив структур

`\mu` Средние значения предиктора
числовой вектор | `[]`

`NumObservations` — Количество наблюдений
числовой скаляр

`PredictorNames` — Имена переменной прогноза
массив ячеек из символьных векторов

`Prior` — Априорные вероятности
числовой вектор

`ResponseName` — Имя переменной отклика
символьный вектор

`RowsUsed` — Строки используются в подборе кривой
`[]` | логический вектор

`ScoreTransform` — Выиграйте преобразование
вектор символов | указатель на функцию

`\sigma` Стандартные отклонения предиктора
`[]` (значение по умолчанию) | числовой вектор

`W` Веса наблюдения
`ones(n,1)` (значение по умолчанию) | числовой вектор

`X` Нестандартизированные предикторы
числовая матрица | таблица

`Y` Метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

`ConvergenceInfo` — Информация о сходимости
массив структур

`'NumIterations'` Количество итераций
положительное целое число

`ShrinkagePeriod` — Количество итераций между сокращениями активного набора
неотрицательное целое число

`HyperparameterOptimizationResults` — Описание оптимизации перекрестной проверки гиперпараметров
Объект `BayesianOptimization` | таблица

Генерация кода C/C++
Генерация кода C и C++ с помощью MATLAB® Coder™.