Классификатор вектора поддержки поезда (SVM) для одноклассной и двоичной классификации
fitcsvm обучает или перекрестно проверяет модель машины опорных векторов (SVM) для одноклассной и двухклассной (двоичной) классификации на низкоразмерном или умеренно-размерном наборе данных предиктора. fitcsvm поддерживает отображение данных предиктора с использованием функций ядра и поддерживает последовательную минимальную оптимизацию (SMO), итеративный алгоритм одиночных данных (ISDA) или L1 мягкую минимизацию запаса посредством квадратичного программирования для минимизации объективной функции.
Чтобы обучить линейную модель SVM для двоичной классификации на высокомерном наборе данных, то есть наборе данных, включающем множество переменных предиктора, используйте fitclinear вместо этого.
Для многоклассового обучения с комбинированными двоичными моделями SVM используйте выходные коды с исправлением ошибок (ECOC). Дополнительные сведения см. в разделе fitcecoc.
Для получения информации о модели регрессии SVM см. fitrsvm для низкоразмерных и умеренно-размерных наборов данных предиктора, или fitrlinear для высокоразмерных наборов данных.
Mdl = fitcsvm(Tbl,ResponseVarName)Mdl обучение с использованием данных выборки, содержащихся в таблице Tbl. ResponseVarName - имя переменной в Tbl содержит метки класса для классификации одного или двух классов.
Mdl = fitcsvm(___,Name,Value)
Загрузите набор данных радужки Фишера. Удалите длины и ширины чашелистиков и все наблюдаемые ирисы сетозы.
load fisheriris inds = ~strcmp(species,'setosa'); X = meas(inds,3:4); y = species(inds);
Обучение классификатора SVM с использованием обработанного набора данных.
SVMModel = fitcsvm(X,y)
SVMModel =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 100
Alpha: [24x1 double]
Bias: -14.4149
KernelParameters: [1x1 struct]
BoxConstraints: [100x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [100x1 logical]
Solver: 'SMO'
Properties, Methods
SVMModel является обученным ClassificationSVM классификатор. Отображение свойств SVMModel. Например, чтобы определить порядок классов, используйте точечную нотацию.
classOrder = SVMModel.ClassNames
classOrder = 2x1 cell
{'versicolor'}
{'virginica' }
Первый класс ('versicolor') - отрицательный класс, а второй ('virginica') - положительный класс. Порядок занятий можно изменить во время обучения с помощью 'ClassNames' аргумент пары имя-значение.
Постройте диаграмму рассеяния данных и обведите векторы поддержки.
sv = SVMModel.SupportVectors; figure gscatter(X(:,1),X(:,2),y) hold on plot(sv(:,1),sv(:,2),'ko','MarkerSize',10) legend('versicolor','virginica','Support Vector') hold off
Векторы поддержки представляют собой наблюдения, которые происходят на их оценочных границах классов или за их пределами.
Можно настроить границы (и, следовательно, количество векторов поддержки), установив ограничение рамки во время обучения с помощью 'BoxConstraint' аргумент пары имя-значение.
Загрузить ionosphere набор данных.
load ionosphere rng(1); % For reproducibility
Обучение классификатора SVM с использованием радиального базового ядра. Позволяет программному обеспечению найти значение масштаба для функции ядра. Стандартизируйте предикторы.
SVMModel = fitcsvm(X,Y,'Standardize',true,'KernelFunction','RBF',... 'KernelScale','auto');
SVMModel является обученным ClassificationSVM классификатор.
Перекрестная проверка классификатора SVM. По умолчанию программа использует десятикратную перекрестную проверку.
CVSVMModel = crossval(SVMModel);
CVSVMModel является ClassificationPartitionedModel перекрестно проверенный классификатор.
Оцените коэффициент неправильной классификации вне выборки.
classLoss = kfoldLoss(CVSVMModel)
classLoss = 0.0484
Коэффициент обобщения составляет примерно 5%.
Измените набор данных радужки Фишера, назначив все радужки одному классу. Определите отклонения в измененном наборе данных и подтвердите ожидаемую долю отклонений в наблюдениях.
Загрузите набор данных радужки Фишера. Удалите длины и ширину лепестков. Относитесь ко всем ирисам как к выходцам из одного класса.
load fisheriris
X = meas(:,1:2);
y = ones(size(X,1),1);Обучение классификатора SVM с использованием измененного набора данных. Предположим, что 5% наблюдений являются отклонениями. Стандартизируйте предикторы.
rng(1); SVMModel = fitcsvm(X,y,'KernelScale','auto','Standardize',true,... 'OutlierFraction',0.05);
SVMModel является обученным ClassificationSVM классификатор. По умолчанию программное обеспечение использует гауссово ядро для одноклассного обучения.
Постройте график наблюдений и границы принятия решения. Отметьте векторы поддержки и потенциальные отклонения.
svInd = SVMModel.IsSupportVector; h = 0.02; % Mesh grid step size [X1,X2] = meshgrid(min(X(:,1)):h:max(X(:,1)),... min(X(:,2)):h:max(X(:,2))); [~,score] = predict(SVMModel,[X1(:),X2(:)]); scoreGrid = reshape(score,size(X1,1),size(X2,2)); figure plot(X(:,1),X(:,2),'k.') hold on plot(X(svInd,1),X(svInd,2),'ro','MarkerSize',10) contour(X1,X2,scoreGrid) colorbar; title('{\bf Iris Outlier Detection via One-Class SVM}') xlabel('Sepal Length (cm)') ylabel('Sepal Width (cm)') legend('Observation','Support Vector') hold off
Граница, отделяющая отклонения от остальных данных, находится там, где значение контура равно 0.
Убедитесь, что доля наблюдений с отрицательными показателями в данных перекрестной проверки близка к 5%.
CVSVMModel = crossval(SVMModel); [~,scorePred] = kfoldPredict(CVSVMModel); outlierRate = mean(scorePred<0)
outlierRate = 0.0467
Создание графика рассеяния fisheriris набор данных. Обработка координат сетки на графике как новых наблюдений из распределения набора данных и поиск границ классов путем назначения координат одному из трех классов в наборе данных.
Загрузите набор данных радужки Фишера. Используйте длины и ширину лепестков в качестве предикторов.
load fisheriris
X = meas(:,3:4);
Y = species;Изучите график рассеяния данных.
figure gscatter(X(:,1),X(:,2),Y); h = gca; lims = [h.XLim h.YLim]; % Extract the x and y axis limits title('{\bf Scatter Diagram of Iris Measurements}'); xlabel('Petal Length (cm)'); ylabel('Petal Width (cm)'); legend('Location','Northwest');
Данные содержат три класса, один из которых линейно отделяется от других.
Для каждого класса:
Создать логический вектор (indx) указывает, является ли наблюдение членом класса.
Обучение классификатора SVM с использованием данных предиктора и indx.
Сохранение классификатора в ячейке массива ячеек.
Определите порядок классов.
SVMModels = cell(3,1); classes = unique(Y); rng(1); % For reproducibility for j = 1:numel(classes) indx = strcmp(Y,classes(j)); % Create binary classes for each classifier SVMModels{j} = fitcsvm(X,indx,'ClassNames',[false true],'Standardize',true,... 'KernelFunction','rbf','BoxConstraint',1); end
SVMModels представляет собой массив ячеек 3 на 1, каждая из которых содержит ClassificationSVM классификатор. Для каждой ячейки положительным классом является setosa, versicolor и virginica соответственно.
Определите тонкую сетку на графике и обработайте координаты как новые наблюдения из распределения обучающих данных. Оцените оценку новых наблюдений с использованием каждого классификатора.
d = 0.02; [x1Grid,x2Grid] = meshgrid(min(X(:,1)):d:max(X(:,1)),... min(X(:,2)):d:max(X(:,2))); xGrid = [x1Grid(:),x2Grid(:)]; N = size(xGrid,1); Scores = zeros(N,numel(classes)); for j = 1:numel(classes) [~,score] = predict(SVMModels{j},xGrid); Scores(:,j) = score(:,2); % Second column contains positive-class scores end
Каждая строка Scores содержит три балла. Индекс элемента с наибольшим баллом - это индекс класса, которому скорее всего принадлежит новое наблюдение класса.
Связывайте каждое новое наблюдение с классификатором, который дает ему максимальную оценку.
[~,maxScore] = max(Scores,[],2);
Цвет в областях графика на основе класса, к которому относится соответствующее новое наблюдение.
figure h(1:3) = gscatter(xGrid(:,1),xGrid(:,2),maxScore,... [0.1 0.5 0.5; 0.5 0.1 0.5; 0.5 0.5 0.1]); hold on h(4:6) = gscatter(X(:,1),X(:,2),Y); title('{\bf Iris Classification Regions}'); xlabel('Petal Length (cm)'); ylabel('Petal Width (cm)'); legend(h,{'setosa region','versicolor region','virginica region',... 'observed setosa','observed versicolor','observed virginica'},... 'Location','Northwest'); axis tight hold off
Автоматическая оптимизация гиперпараметров с помощью fitcsvm.
Загрузить ionosphere набор данных.
load ionosphereНайдите гиперпараметры, которые минимизируют пятикратные потери при перекрестной проверке, используя автоматическую оптимизацию гиперпараметров. Для воспроизводимости задайте случайное начальное число и используйте 'expected-improvement-plus' функция приобретения.
rng default Mdl = fitcsvm(X,Y,'OptimizeHyperparameters','auto', ... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName', ... 'expected-improvement-plus'))
|=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 1 | Best | 0.20513 | 17.44 | 0.20513 | 0.20513 | 64.836 | 0.0015729 | | 2 | Accept | 0.35897 | 0.14051 | 0.20513 | 0.21471 | 0.036335 | 5.5755 | | 3 | Best | 0.13105 | 6.5882 | 0.13105 | 0.14133 | 0.0022147 | 0.0023957 | | 4 | Accept | 0.35897 | 0.13433 | 0.13105 | 0.13109 | 5.1259 | 98.62 | | 5 | Accept | 0.13675 | 13.311 | 0.13105 | 0.13111 | 0.0011599 | 0.0010098 | | 6 | Accept | 0.13675 | 2.8439 | 0.13105 | 0.13119 | 0.0010151 | 0.0059137 | | 7 | Accept | 0.1339 | 8.3568 | 0.13105 | 0.13127 | 0.0010281 | 0.0027003 | | 8 | Accept | 0.13675 | 13.349 | 0.13105 | 0.13232 | 0.016269 | 0.0024597 | | 9 | Accept | 0.13105 | 10.731 | 0.13105 | 0.13137 | 0.0021526 | 0.0025081 | | 10 | Best | 0.12821 | 14.612 | 0.12821 | 0.12841 | 0.0086928 | 0.0010304 | | 11 | Accept | 0.12821 | 14.821 | 0.12821 | 0.12828 | 0.010039 | 0.0010077 | | 12 | Accept | 0.13675 | 14.12 | 0.12821 | 0.13162 | 0.0071238 | 0.0010245 | | 13 | Accept | 0.1339 | 14.844 | 0.12821 | 0.13179 | 0.0050166 | 0.0016385 | | 14 | Best | 0.11966 | 16.326 | 0.11966 | 0.12919 | 0.013746 | 0.0010181 | | 15 | Accept | 0.13105 | 15.514 | 0.11966 | 0.1294 | 0.025222 | 0.001012 | | 16 | Accept | 0.13105 | 15.825 | 0.11966 | 0.12958 | 0.024019 | 0.001013 | | 17 | Accept | 0.35897 | 0.12602 | 0.11966 | 0.12962 | 0.0010245 | 994.95 | | 18 | Accept | 0.13675 | 14.137 | 0.11966 | 0.12925 | 990.28 | 0.36736 | | 19 | Accept | 0.18234 | 17.057 | 0.11966 | 0.12917 | 949.33 | 0.082849 | | 20 | Accept | 0.1339 | 5.9498 | 0.11966 | 0.12914 | 979.17 | 1.3107 | |=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 21 | Accept | 0.14245 | 15.581 | 0.11966 | 0.13062 | 0.024598 | 0.0010041 | | 22 | Accept | 0.13675 | 11.356 | 0.11966 | 0.13058 | 907 | 0.70254 | | 23 | Accept | 0.35897 | 0.098898 | 0.11966 | 0.13062 | 999.82 | 995.02 | | 24 | Accept | 0.15385 | 0.10127 | 0.11966 | 0.13042 | 0.001002 | 0.30762 | | 25 | Accept | 0.12251 | 0.10992 | 0.11966 | 0.12275 | 0.0010105 | 0.056734 | | 26 | Accept | 0.1339 | 0.18927 | 0.11966 | 0.12251 | 0.021279 | 0.054708 | | 27 | Accept | 0.12821 | 0.13195 | 0.11966 | 0.12517 | 0.0010127 | 0.064566 | | 28 | Accept | 0.12821 | 0.11386 | 0.11966 | 0.12557 | 0.0010014 | 0.036667 | | 29 | Accept | 0.1339 | 0.10612 | 0.11966 | 0.12743 | 0.0010509 | 0.078319 | | 30 | Accept | 0.12251 | 0.14276 | 0.11966 | 0.12706 | 0.0030057 | 0.028009 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 283.5331 seconds
Total objective function evaluation time: 244.1554
Best observed feasible point:
BoxConstraint KernelScale
_____________ ___________
0.013746 0.0010181
Observed objective function value = 0.11966
Estimated objective function value = 0.13091
Function evaluation time = 16.3258
Best estimated feasible point (according to models):
BoxConstraint KernelScale
_____________ ___________
0.0010105 0.056734
Estimated objective function value = 0.12706
Estimated function evaluation time = 0.11003
Mdl =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'b' 'g'}
ScoreTransform: 'none'
NumObservations: 351
HyperparameterOptimizationResults: [1x1 BayesianOptimization]
Alpha: [117x1 double]
Bias: -2.6521
KernelParameters: [1x1 struct]
BoxConstraints: [351x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [351x1 logical]
Solver: 'SMO'
Properties, Methods
fitcsvm подготовка классификаторов SVM для одноклассных или двухклассных учебных приложений. Для обучения классификаторов SVM с использованием данных более двух классов используйте fitcecoc.
fitcsvm поддерживает низкоразмерные и умеренно-размерные наборы данных. Для высокоразмерных наборов данных используйте fitclinear вместо этого.
Если набор данных не велик, всегда старайтесь стандартизировать предикторы (см. Standardize). Стандартизация делает предикторы нечувствительными к масштабам, по которым они измеряются.
Рекомендуется выполнять перекрестную проверку с использованием KFold аргумент пары имя-значение. Результаты перекрестной проверки определяют, насколько хорошо классификатор SVM обобщается.
Для одноклассного обучения:
Параметр по умолчанию для аргумента пары имя-значение Alpha может привести к длительным тренировкам. Чтобы ускорить обучение, установите Alpha к вектору, в основном состоящему из 0s.
Задать аргумент пары имя-значение Nu к значению ближе к 0 для получения меньшего количества векторов поддержки и, следовательно, более гладкой, но грубой границы принятия решения.
Разреженность в векторах поддержки является желательным свойством классификатора SVM. Для уменьшения числа векторов поддержки установите BoxConstraint к большому значению. Это действие увеличивает время обучения.
Для оптимального времени обучения установите CacheSize насколько это позволяет ограничение памяти компьютера.
Если ожидается гораздо меньше векторов поддержки, чем наблюдений в обучающем наборе, то можно значительно ускорить сходимость, сжимая активный набор с помощью аргумента пары имя-значение 'ShrinkagePeriod'. Это хорошая практика, чтобы уточнить 'ShrinkagePeriod',1000.
Повторяющиеся наблюдения, которые находятся далеко от границы принятия решения, не влияют на сходимость. Однако лишь несколько дублирующих наблюдений, которые происходят вблизи границы принятия решения, могут значительно замедлить сходимость. Для ускорения сходимости укажите 'RemoveDuplicates',true если:
Набор данных содержит множество повторяющихся наблюдений.
Вы подозреваете, что несколько повторяющихся наблюдений попадают вблизи границы принятия решения.
Для ведения исходного набора данных во время обучения fitcsvm должен временно хранить отдельные наборы данных: исходный и без дубликатов наблюдений. Поэтому при указании true для наборов данных, содержащих несколько дубликатов, fitcsvm потребляет почти вдвое больше памяти исходных данных.
После обучения модели можно создать код C/C + +, который предсказывает метки для новых данных. Для создания кода C/C + + требуется Coder™ MATLAB. Дополнительные сведения см. в разделе Введение в создание кода .
Математическую формулировку алгоритма двоичной классификации SVM см. в разделе Поддержка векторных машин для двоичной классификации и понимание поддержки векторных машин.
NaN, <undefined>, пустой символьный вектор (''), пустая строка (""), и <missing> значения указывают на отсутствие значений. fitcsvm удаляет целые строки данных, соответствующие отсутствующему ответу. При вычислении общих весов (см. следующие маркеры), fitcsvm игнорирует любой вес, соответствующий наблюдению, по меньшей мере, с одним отсутствующим предиктором. Это действие может привести к несбалансированности предыдущих вероятностей в проблемах сбалансированного класса. Следовательно, ограничения поля наблюдения могут не совпадать BoxConstraint.
fitcsvm удаляет наблюдения, которые имеют нулевой вес или предшествующую вероятность.
Для двухклассного обучения, если указать матрицу затрат (см. Cost), то программное обеспечение обновляет класс предыдущих вероятностей p (см. Prior) к pc путем включения штрафов, описанных в .
В частности, fitcsvm выполняет следующие действия:
Вычислить
Нормализуйте pc * так, чтобы обновленные предыдущие вероятности были равны 1.
K - количество классов.
Сброс матрицы затрат до значения по умолчанию
].
Удалите наблюдения из учебных данных, соответствующих классам с нулевой предварительной вероятностью.
Для двухклассного обучения, fitcsvm нормализует все веса наблюдения (см. Weights) для суммирования в 1. Затем функция перенормирует нормализованные веса для суммирования обновленной предшествующей вероятности класса, к которому относится наблюдение. То есть общий вес для наблюдения j в классе k равен
.
wj - нормализованный вес для наблюдения j; pc, k - обновленная предшествующая вероятность класса k (см. предыдущий маркер).
Для двухклассного обучения, fitcsvm назначает ограничение поля для каждого наблюдения в данных обучения. Формула ограничения поля для наблюдения j
n - размер обучающей выборки, C0 является начальным ограничением поля (см. 'BoxConstraint' аргумент пары имя-значение), и - общий вес наблюдения j (см. предыдущий маркер).
Если установить 'Standardize',true и 'Cost', 'Prior', или 'Weights' аргумент пары имя-значение, затем fitcsvm стандартизирует предикторы, используя их соответствующие взвешенные средства и взвешенные стандартные отклонения. То есть fitcsvm стандартизирует предиктор j (xj) с использованием
xjk - наблюдение k (строка) предиктора j (столбец).
2.
2.
Предположим, что p - доля отклонений, которые ожидаются в данных обучения и которые устанавливаются 'OutlierFraction',p.
Для одноклассного обучения программное обеспечение обучает термин смещения таким образом, что 100p% наблюдений в данных обучения имеют отрицательные оценки.
Программное обеспечение реализует надежное обучение для двухклассного обучения. Другими словами, программное обеспечение пытается удалить 100p% наблюдений, когда алгоритм оптимизации сходится. Удаленные наблюдения соответствуют градиентам, которые являются большими по величине.
Если данные предиктора содержат категориальные переменные, то программное обеспечение обычно использует полную фиктивную кодировку для этих переменных. Программа создает одну фиктивную переменную для каждого уровня каждой категориальной переменной.
PredictorNames свойство сохраняет один элемент для каждого из исходных имен переменных предиктора. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Тогда PredictorNames является массивом ячеек 1 на 3 символьных векторов, содержащих исходные имена переменных предиктора.
ExpandedPredictorNames свойство сохраняет один элемент для каждой из переменных предиктора, включая фиктивные переменные. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Тогда ExpandedPredictorNames - клеточный массив символьных векторов, содержащий имена переменных предиктора и новых фиктивных переменных.
Аналогично, Beta свойство хранит один бета-коэффициент для каждого предиктора, включая фиктивные переменные.
SupportVectors свойство сохраняет предикторные значения для векторов поддержки, включая фиктивные переменные. Например, предположим, что существуют m векторов поддержки и три предиктора, один из которых является категориальной переменной с тремя уровнями. Тогда SupportVectors является матрицей n-by-5.
X свойство сохраняет данные обучения в качестве исходных данных и не включает фиктивные переменные. Если вводом является таблица, X содержит только столбцы, используемые в качестве предикторов.
Для предикторов, указанных в таблице, если какая-либо из переменных содержит упорядоченные (порядковые) категории, программное обеспечение использует кодировку порядковых номеров для этих переменных.
Для переменной с k упорядоченными уровнями программа создает k-1 фиктивных переменных. j-я фиктивная переменная равна -1 для уровней до j и + 1 для уровней j + 1-k.
Имена фиктивных переменных, сохраненных в ExpandedPredictorNames свойство указывает первый уровень со значением + 1. Программа сохраняет k-1 дополнительных предикторных имен для фиктивных переменных, включая имена уровней 2, 3,..., k.
Все решатели реализуют L1 минимизацию мягких полей.
Для одноклассного обучения программное обеспечение оценивает множители Лагранжа, α1,..., αn, такие, что
[1] Кристианини, Н. и Дж. К. Шаве-Тейлор. Введение в поддержку векторных машин и других методов обучения на основе ядра. Кембридж, Великобритания: Cambridge University Press, 2000.
[2] Вентилятор, R.-E., P.-H. Чен и К.-Ж. Лин. «Выбор рабочего набора с использованием информации второго порядка для тренировочных машин поддержки векторов». Журнал исследований машинного обучения, том 6, 2005, стр. 1889-1918.
[3] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения, второе издание. Нью-Йорк: Спрингер, 2008.
[4] Кекман В., Т. -М. Хуан и М. Фогт. «Итеративный алгоритм одиночных данных для обучения машин ядра из огромных наборов данных: теория и производительность». Поддержка векторных машин: теория и приложения. Под редакцией Липо Вана, 255-274. Берлин: Спрингер-Верлаг, 2005.
[5] Шолкопф, Б., Дж. С. Платт, Дж. С. Шаве-Тейлор, А. Дж. Смола и Р. К. Уильямсон. «Оценка поддержки высокоразмерного распределения». Нейронный компут., т. 13, номер 7, 2001, стр. 1443-1471.
[6] Шолкопф, Б. и А. Смола. Обучение с ядрами: поддержка векторных машин, регуляризация, оптимизация и далее, адаптивные вычисления и машинное обучение. Кембридж, Массачусетс: MIT Press, 2002.
ClassificationPartitionedModel | ClassificationSVM | CompactClassificationSVM | fitcecoc | fitclinear | fitSVMPosterior | predict | rng | quadprog (панель инструментов оптимизации)