Подбор модели машины опорных векторов
fitrsvm обучает или перекрестно проверяет регрессионую модель машины опорных векторов (SVM) на наборе данных предиктора с низкой по умеренную размерность. fitrsvm Поддержки отображения данных предиктора с помощью функций ядра и поддержек SMO, ISDA или L 1 минимизации мягких полей посредством квадратичного программирования для минимизации целевой функции.
Чтобы обучить линейную регрессионую модель SVM на высоко-размерном наборе данных, то есть наборах данных, которые включают много переменные, используйте fitrlinear вместо этого.
Для обучения модели SVM для двоичной классификации см. fitcsvm для наборов данных предиктора с низкой или умеренной размерностью, или fitclinear для высоко-размерных наборов данных.
Mdl = fitrsvm(Tbl,ResponseVarName)Mdl обучен с использованием значений предикторов в таблице Tbl и значений отклика в Tbl.ResponseVarName.
Mdl = fitrsvm(___,Name,Value)
Обучите регрессионную модель машины опорных векторов (SVM) с помощью выборочных данных, хранящихся в матрицах.
Загрузите carsmall набор данных.
load carsmall rng 'default' % For reproducibility
Задайте Horsepower и Weight как переменные предиктора (X) и MPG как переменная отклика (Y).
X = [Horsepower,Weight]; Y = MPG;
Обучите регрессионую модель SVM по умолчанию.
Mdl = fitrsvm(X,Y)
Mdl =
RegressionSVM
ResponseName: 'Y'
CategoricalPredictors: []
ResponseTransform: 'none'
Alpha: [75x1 double]
Bias: 57.3958
KernelParameters: [1x1 struct]
NumObservations: 93
BoxConstraints: [93x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [93x1 logical]
Solver: 'SMO'
Properties, Methods
Mdl является обученным RegressionSVM модель.
Проверьте модель на сходимость.
Mdl.ConvergenceInfo.Converged
ans = logical
0
0 указывает, что модель не сходилась.
Переобучите модель с помощью стандартизированных данных.
MdlStd = fitrsvm(X,Y,'Standardize',true)MdlStd =
RegressionSVM
ResponseName: 'Y'
CategoricalPredictors: []
ResponseTransform: 'none'
Alpha: [77x1 double]
Bias: 22.9131
KernelParameters: [1x1 struct]
Mu: [109.3441 2.9625e+03]
Sigma: [45.3545 805.9668]
NumObservations: 93
BoxConstraints: [93x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [93x1 logical]
Solver: 'SMO'
Properties, Methods
Проверьте модель на сходимость.
MdlStd.ConvergenceInfo.Converged
ans = logical
1
1 указывает, что модель действительно сходилась.
Вычислите среднюю квадратную ошибку реституции (в выборке) для новой модели.
lStd = resubLoss(MdlStd)
lStd = 17.0256
Обучите модель регрессии машины опорных векторов, используя данные abalone из репозитория машинного обучения UCI.
Загрузите данные и сохраните их в текущей папке с именем 'abalone.csv'.
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/abalone/abalone.data'; websave('abalone.csv',url);
Считайте данные в таблицу. Задайте имена переменных.
varnames = {'Sex'; 'Length'; 'Diameter'; 'Height'; 'Whole_weight';...
'Shucked_weight'; 'Viscera_weight'; 'Shell_weight'; 'Rings'};
Tbl = readtable('abalone.csv','Filetype','text','ReadVariableNames',false);
Tbl.Properties.VariableNames = varnames;
В выборочные данные содержится 4177 наблюдений. Все переменные предиктора непрерывны, кроме Sex, которая является категориальной переменной с возможными значениями 'M' (для мужчин), 'F' (для женщин), и 'I' (для младенцев). Цель состоит в том, чтобы предсказать количество звонков (хранящихся в Rings) на абалоне и определить ее возраст с помощью физических измерений.
Обучите регрессионую модель SVM, используя функцию Гауссова ядра с автоматической шкалой ядра. Стандартизируйте данные.
rng default % For reproducibility Mdl = fitrsvm(Tbl,'Rings','KernelFunction','gaussian','KernelScale','auto',... 'Standardize',true)
Mdl =
RegressionSVM
PredictorNames: {1×8 cell}
ResponseName: 'Rings'
CategoricalPredictors: 1
ResponseTransform: 'none'
Alpha: [3635×1 double]
Bias: 10.8144
KernelParameters: [1×1 struct]
Mu: [1×10 double]
Sigma: [1×10 double]
NumObservations: 4177
BoxConstraints: [4177×1 double]
ConvergenceInfo: [1×1 struct]
IsSupportVector: [4177×1 logical]
Solver: 'SMO'
Командное окно показывает, что Mdl является обученным RegressionSVM Модель и отображения список свойств.
Отображение свойств Mdl использование записи через точку. Для примера проверьте, сходилась ли модель и сколько итераций она завершила.
conv = Mdl.ConvergenceInfo.Converged iter = Mdl.NumIterations
conv =
logical
1
iter =
2759
Возвращенные результаты указывают, что модель сходилась после 2759 итераций.
Загрузите carsmall набор данных.
load carsmall rng 'default' % For reproducibility
Задайте Horsepower и Weight как переменные предиктора (X) и MPG как переменная отклика (Y).
X = [Horsepower Weight]; Y = MPG;
Перекрестная валидация двух регрессионных моделей SVM с помощью 5-кратной перекрестной валидации. Для обеих моделей задайте, чтобы стандартизировать предикторы. Для одной из моделей задайте, чтобы обучаться с использованием линейного ядра по умолчанию и Гауссова ядра для другой модели.
MdlLin = fitrsvm(X,Y,'Standardize',true,'KFold',5)
MdlLin =
RegressionPartitionedSVM
CrossValidatedModel: 'SVM'
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
NumObservations: 94
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
MdlGau = fitrsvm(X,Y,'Standardize',true,'KFold',5,'KernelFunction','gaussian')
MdlGau =
RegressionPartitionedSVM
CrossValidatedModel: 'SVM'
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
NumObservations: 94
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
MdlLin.Trained
ans=5×1 cell array
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
MdlLin и MdlGau являются RegressionPartitionedSVM перекрестно проверенные модели. The Trained свойство каждой модели является массивом ячеек 5 на 1 CompactRegressionSVM модели. Модели в камере хранят результаты обучения на 4 складках наблюдений и оставляют одну складку наблюдений.
Сравните ошибку обобщения моделей. В этом случае ошибка обобщения является несовпадающей среднеквадратичной ошибкой.
mseLin = kfoldLoss(MdlLin)
mseLin = 17.4417
mseGau = kfoldLoss(MdlGau)
mseGau = 16.7355
Регрессионная модель SVM, использующая Гауссовское ядро, работает лучше, чем у линейного ядра.
Создайте модель, подходящую для создания предсказаний путем передачи всего набора данных в fitrsvmи задайте все аргументы пары "имя-значение", которые привели к более эффективной модели. Однако не задайте какие-либо опции перекрестной проверки.
MdlGau = fitrsvm(X,Y,'Standardize',true,'KernelFunction','gaussian');
Чтобы предсказать MPG набора автомобилей, пройдите Mdl и таблицу, содержащую измерения лошадиных сил и веса автомобилей для predict.
В этом примере показано, как автоматически оптимизировать гиперпараметры с помощью fitrsvm. В примере используется carsmall данные.
Загрузите carsmall набор данных.
load carsmallЗадайте Horsepower и Weight как переменные предиктора (X) и MPG как переменная отклика (Y).
X = [Horsepower Weight]; Y = MPG;
Найдите гиперпараметры, которые минимизируют пятикратные потери при перекрестной проверке с помощью автоматической оптимизации гипероптимизации параметров управления.
Для воспроизводимости установите случайный seed и используйте 'expected-improvement-plus' функция сбора.
rng default Mdl = fitrsvm(X,Y,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName',... 'expected-improvement-plus'))
|====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 1 | Best | 6.8077 | 10.471 | 6.8077 | 6.8077 | 0.35664 | 0.043031 | 0.30396 | | 2 | Best | 2.9108 | 0.083136 | 2.9108 | 3.1259 | 70.67 | 710.65 | 1.6369 | | 3 | Accept | 4.1884 | 0.083016 | 2.9108 | 3.1211 | 14.367 | 0.0059144 | 442.64 | | 4 | Accept | 4.159 | 0.069749 | 2.9108 | 3.0773 | 0.0030879 | 715.31 | 2.6045 | | 5 | Best | 2.902 | 0.22042 | 2.902 | 2.9015 | 969.07 | 703.1 | 0.88614 | | 6 | Accept | 4.1884 | 0.057606 | 2.902 | 2.9017 | 993.93 | 919.26 | 22.16 | | 7 | Accept | 2.9307 | 0.084949 | 2.902 | 2.9018 | 219.88 | 613.28 | 0.015526 | | 8 | Accept | 2.9537 | 0.33784 | 2.902 | 2.9017 | 905.17 | 395.74 | 0.021914 | | 9 | Accept | 2.9073 | 0.061718 | 2.902 | 2.9017 | 24.242 | 647.2 | 0.17855 | | 10 | Accept | 2.9044 | 0.2384 | 2.902 | 2.9017 | 117.27 | 173.98 | 0.73387 | | 11 | Accept | 2.9035 | 0.062417 | 2.902 | 2.9016 | 1.3516 | 131.19 | 0.0093404 | | 12 | Accept | 4.0917 | 0.054662 | 2.902 | 2.902 | 0.012201 | 962.58 | 0.0092777 | | 13 | Accept | 2.9525 | 0.95828 | 2.902 | 2.902 | 77.38 | 65.508 | 0.0093299 | | 14 | Accept | 2.9352 | 0.085972 | 2.902 | 2.9019 | 21.591 | 166.43 | 0.035214 | | 15 | Accept | 2.9341 | 0.10187 | 2.902 | 2.9019 | 45.286 | 207.56 | 0.009379 | | 16 | Accept | 2.9104 | 0.069236 | 2.902 | 2.9018 | 0.064315 | 23.313 | 0.0093341 | | 17 | Accept | 2.9056 | 0.07306 | 2.902 | 2.9018 | 0.33909 | 40.311 | 0.053394 | | 18 | Accept | 2.9335 | 0.12493 | 2.902 | 2.8999 | 0.9904 | 41.169 | 0.0099688 | | 19 | Accept | 2.9885 | 0.062909 | 2.902 | 2.8994 | 0.0010647 | 32.9 | 0.013178 | | 20 | Accept | 4.1884 | 0.06077 | 2.902 | 2.9 | 0.0014524 | 1.9514 | 856.49 | |====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Accept | 2.904 | 0.083477 | 2.902 | 2.8835 | 88.487 | 405.92 | 0.44372 | | 22 | Accept | 2.9107 | 0.075228 | 2.902 | 2.8848 | 344.34 | 992 | 0.28418 | | 23 | Accept | 2.904 | 0.065833 | 2.902 | 2.8848 | 0.92028 | 70.985 | 0.52233 | | 24 | Accept | 2.9145 | 0.058443 | 2.902 | 2.8822 | 0.0011412 | 18.159 | 0.16652 | | 25 | Best | 2.8909 | 0.17477 | 2.8909 | 2.8848 | 0.7614 | 17.3 | 1.9075 | | 26 | Accept | 2.9188 | 0.10147 | 2.8909 | 2.8816 | 0.31049 | 18.301 | 0.35285 | | 27 | Accept | 2.9327 | 0.074353 | 2.8909 | 2.8811 | 0.015362 | 20.395 | 1.6596 | | 28 | Accept | 2.897 | 0.12567 | 2.8909 | 2.8811 | 3.3454 | 46.537 | 2.224 | | 29 | Accept | 4.1884 | 0.064233 | 2.8909 | 2.881 | 983.2 | 0.52308 | 910.91 | | 30 | Accept | 2.9167 | 0.085177 | 2.8909 | 2.8821 | 0.0011533 | 10.597 | 0.029731 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 45.8801 seconds
Total objective function evaluation time: 14.2709
Best observed feasible point:
BoxConstraint KernelScale Epsilon
_____________ ___________ _______
0.7614 17.3 1.9075
Observed objective function value = 2.8909
Estimated objective function value = 2.8957
Function evaluation time = 0.17477
Best estimated feasible point (according to models):
BoxConstraint KernelScale Epsilon
_____________ ___________ _______
88.487 405.92 0.44372
Estimated objective function value = 2.8821
Estimated function evaluation time = 0.10546
Mdl =
RegressionSVM
ResponseName: 'Y'
CategoricalPredictors: []
ResponseTransform: 'none'
Alpha: [86x1 double]
Bias: 46.2480
KernelParameters: [1x1 struct]
NumObservations: 93
HyperparameterOptimizationResults: [1x1 BayesianOptimization]
BoxConstraints: [93x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [93x1 logical]
Solver: 'SMO'
Properties, Methods
Оптимизация искала BoxConstraint, KernelScale, и Epsilon. Выходные выходы - это регрессия с минимальными предполагаемыми потерями перекрестной валидации.
fitrsvm поддерживает наборы данных с низкой - умеренной размерностью. Для высоко-размерного набора данных используйте fitrlinear вместо этого.
Если ваш набор данных не велик, всегда старайтесь стандартизировать предикторы (см Standardize). Стандартизация делает предикторы нечувствительными к шкалам, на которых они измеряются.
Рекомендуется проводить перекрестную валидацию с использованием KFold аргумент пары "имя-значение". Результаты перекрестной валидации определяют, насколько хорошо обобщается модель SVM.
Разреженность в поддерживающих векторах является желаемым свойством модели SVM. Чтобы уменьшить количество поддерживающих векторов, установите BoxConstraint аргумент пары "имя-значение" к большому значению. Это действие также увеличивает время обучения.
Для оптимального времени обучения установите CacheSize так же высоко, как позволяет предел памяти на вашем компьютере.
Если вы ожидаете гораздо меньше векторов поддержки, чем наблюдений в наборе обучающих данных, то можно значительно ускорить сходимость, сжав активное множество с помощью аргумента пары "имя-значение" 'ShrinkagePeriod'. Передовой практикой является использование 'ShrinkagePeriod',1000.
Дублирующие наблюдения, которые далеки от линии регрессии, не влияют на сходимость. Однако всего несколько повторяющихся наблюдений, которые происходят около линии регрессии, могут значительно замедлить сходимость. Чтобы ускорить сходимость, задайте 'RemoveDuplicates',true если:
Ваш набор данных содержит много повторяющихся наблюдений.
Вы подозреваете, что несколько повторяющихся наблюдений могут опуститься около линии регрессии.
Однако, чтобы сохранить исходный набор данных во время обучения, fitrsvm необходимо временно хранить отдельные наборы данных: оригинал и один без повторяющихся наблюдений. Поэтому, если вы задаете true для наборов данных, содержащих несколько дубликатов, тогда fitrsvm потребляет близкую к удвоенной память исходных данных.
После обучения модели можно сгенерировать код C/C + +, который предсказывает ответы для новых данных. Для генерации кода C/C + + требуется MATLAB Coder™. Для получения дополнительной информации смотрите Введение в генерацию кода.
Для математической формулировки линейных и нелинейных задач регрессии SVM и алгоритмов решателя, см. Понимание машины опорных векторов.
NaN, <undefined>, пустой символьный вектор (''), пустая строка (""), и <missing> значения указывают на отсутствующие значения данных. fitrsvm удаляет целые строки данных, соответствующих отсутствующему ответу. При нормализации весов, fitrsvm игнорирует любой вес, относящийся к наблюдению, по крайней мере, с одним отсутствующим предиктором. Следовательно, ограничения ящика наблюдений могут не равняться BoxConstraint.
fitrsvm удаляет наблюдения с нулевым весом.
Если вы задаете 'Standardize',true и 'Weights', затем fitrsvm стандартизирует предикторы с помощью их соответствующих взвешенных средств и взвешенных стандартных отклонений. То есть, fitrsvm стандартизирует предиктор j (xj), используя
xjk - k наблюдения (строка) предиктора j (столбец).
Если ваши данные предиктора содержат категориальные переменные, то программное обеспечение обычно использует полную фиктивную кодировку для этих переменных. Программа создает по одной фиктивной переменной для каждого уровня каждой категориальной переменной.
The PredictorNames свойство сохраняет по одному элементу для каждого из исходных имен переменных предиктора. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем PredictorNames - массив ячеек 1 на 3 из векторов символов, содержащий исходные имена переменных.
The ExpandedPredictorNames свойство сохраняет по одному элементу для каждой из переменных предиктора, включая фиктивные переменные. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем ExpandedPredictorNames - массив ячеек 1 на 5 из векторов символов, содержащий имена переменных-предикторов и новых фиктивных переменных.
Точно так же Beta свойство сохраняет один бета-коэффициент для каждого предиктора, включая фиктивные переменные.
The SupportVectors свойство сохраняет значения предиктора для поддерживающих векторов, включая фиктивные переменные. Например, предположим, что существует m векторов поддержки и три предиктора, один из которых является категориальной переменной с тремя уровнями. Затем SupportVectors является матрицей m -by-5.
The X свойство сохраняет обучающие данные как исходные входные. Он не включает фиктивные переменные. Когда вход является таблицей, X содержит только столбцы, используемые в качестве предикторов.
Для предикторов, заданных в таблице, если любая из переменных содержит упорядоченные (порядковые) категории, программа использует порядковую кодировку для этих переменных.
Для переменной, имеющей k упорядоченных уровней, программа создает k - 1 фиктивные переменные. Переменная j-го манекена является -1 для уровней до j и + 1 для уровней j + 1 до k.
Имена фиктивных переменных, хранящихся в ExpandedPredictorNames свойство указывает на первый уровень со значением + 1. Программное обеспечение хранит k - 1 дополнительные имена предикторов для фиктивных переменных, включая имена уровней 2, 3,..., k.
Все решатели реализуют L 1 минимизации мягких полей.
Позвольте p быть пропорцией выбросов, которые вы ожидаете в обучающих данных. Если вы задаете 'OutlierFraction',p, затем программное обеспечение реализует robust learning. Другими словами, программное обеспечение пытается удалить 100 p% наблюдений, когда алгоритм оптимизации сходится. Удаленные наблюдения соответствуют градиентам, которые являются большими по величине.
[1] Кларк, Д., З. Шретер, А. Адамс. «A Quantitative Comparison of Dystal and Backpropagation». представлено на Австралийской конференции по нейронным сетям, 1996.
[2] Вентилятор, R.-E., P.-H. Чен и К.-Ж. Lin. «Работа набора с использованием информации второго порядка для обучения машин опорных векторов». Journal of Машинного обучения Research, Vol 6, 2005, pp. 1889-1918.
[3] Кечман В., Т. -М. Хуан и М. Фогт. Итерационный алгоритм единичных данных для обучения машин ядра из огромных наборов данных: теория и эффективность. В машинах опорных векторов: теория и приложения. Под редакцией Липо Ван, 255-274. Берлин: Springer-Verlag, 2005.
[4] Лихман, M. UCI Machine Learning Repository, [http://archive.ics.uci.edu/ml]. Ирвин, Калифорнийский университет, Школа информации и компьютерных наук.
[5] Nash, W.J., T. L. Sellers, S. R. Talbot, A. J. Cawthorn, and W. B. Ford. "Популяционная биология Абалоне (виды Haliotis) в Тасмании. I. Blacklip Abalone (H. rubra) с Северного побережья и островов пролива Басс ". Деление морского рыболовства, технический доклад № 48, 1994 год.
[6] Waugh, S. «Extending and Benchmarking Cascade-Correlation: Extensions to the Cascade-Correlation Architecture and Benchmarking of Feed-Forward Supervied Neural Networds». Тасманийский университет, кафедра компьютерных наук, 1995 год.
CompactRegressionSVM | predict | RegressionPartitionedSVM | RegressionSVM