Подгонка модели опорной векторной машинной регрессии
fitrsvm обучает или перекрестно проверяет регрессионную модель машины опорных векторов (SVM) на наборе данных умеренно-размерного предиктора. fitrsvm поддерживает отображение данных предиктора с использованием функций ядра и поддерживает минимизацию мягкой границы SMO, ISDA или L1 посредством квадратичного программирования для минимизации целевой функции.
Чтобы обучить линейную регрессионную модель SVM на высокомерном наборе данных, то есть наборах данных, которые включают много переменных предиктора, используйте fitrlinear вместо этого.
Для получения информации о модели SVM для двоичной классификации см. раздел fitcsvm для наборов данных умеренно-размерных предикторов или fitclinear для высокоразмерных наборов данных.
Mdl = fitrsvm(Tbl,ResponseVarName)Mdl обучение с использованием значений предикторов в таблице Tbl и значения ответа в Tbl.ResponseVarName.
Mdl = fitrsvm(___,Name,Value)
Тренировка регрессионной модели машины опорных векторов (SVM) с использованием выборочных данных, хранящихся в матрицах.
Загрузить carsmall набор данных.
load carsmall rng 'default' % For reproducibility
Определить Horsepower и Weight в качестве переменных предиктора (X) и MPG в качестве переменной ответа (Y).
X = [Horsepower,Weight]; Y = MPG;
Обучение модели регрессии SVM по умолчанию.
Mdl = fitrsvm(X,Y)
Mdl =
RegressionSVM
ResponseName: 'Y'
CategoricalPredictors: []
ResponseTransform: 'none'
Alpha: [75x1 double]
Bias: 57.3958
KernelParameters: [1x1 struct]
NumObservations: 93
BoxConstraints: [93x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [93x1 logical]
Solver: 'SMO'
Properties, Methods
Mdl является обученным RegressionSVM модель.
Проверьте модель на сходимость.
Mdl.ConvergenceInfo.Converged
ans = logical
0
0 указывает, что модель не сходилась.
Переподготовка модели с использованием стандартизированных данных.
MdlStd = fitrsvm(X,Y,'Standardize',true)MdlStd =
RegressionSVM
ResponseName: 'Y'
CategoricalPredictors: []
ResponseTransform: 'none'
Alpha: [77x1 double]
Bias: 22.9131
KernelParameters: [1x1 struct]
Mu: [109.3441 2.9625e+03]
Sigma: [45.3545 805.9668]
NumObservations: 93
BoxConstraints: [93x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [93x1 logical]
Solver: 'SMO'
Properties, Methods
Проверьте модель на сходимость.
MdlStd.ConvergenceInfo.Converged
ans = logical
1
1 указывает, что модель действительно сошлась.
Вычислите среднеквадратичную ошибку повторного замещения (в выборке) для новой модели.
lStd = resubLoss(MdlStd)
lStd = 17.0256
Обучение модели регрессии машины с вектором поддержки с использованием данных abalone из репозитория машинного обучения UCI.
Загрузите данные и сохраните их в текущей папке с именем 'abalone.csv'.
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/abalone/abalone.data'; websave('abalone.csv',url);
Считывайте данные в таблицу. Укажите имена переменных.
varnames = {'Sex'; 'Length'; 'Diameter'; 'Height'; 'Whole_weight';...
'Shucked_weight'; 'Viscera_weight'; 'Shell_weight'; 'Rings'};
Tbl = readtable('abalone.csv','Filetype','text','ReadVariableNames',false);
Tbl.Properties.VariableNames = varnames;
Данные выборки содержат 4177 наблюдений. Все переменные предиктора непрерывны, за исключением Sex, которая является категориальной переменной с возможными значениями 'M' (для мужчин), 'F' (для женщин), и 'I' (для младенцев). Цель состоит в том, чтобы предсказать количество колец (сохраненных в Rings) на абалоне и определить его возраст с помощью физических измерений.
Обучение модели регрессии SVM с использованием гауссовой функции ядра с автоматическим масштабом ядра. Стандартизация данных.
rng default % For reproducibility Mdl = fitrsvm(Tbl,'Rings','KernelFunction','gaussian','KernelScale','auto',... 'Standardize',true)
Mdl =
RegressionSVM
PredictorNames: {1×8 cell}
ResponseName: 'Rings'
CategoricalPredictors: 1
ResponseTransform: 'none'
Alpha: [3635×1 double]
Bias: 10.8144
KernelParameters: [1×1 struct]
Mu: [1×10 double]
Sigma: [1×10 double]
NumObservations: 4177
BoxConstraints: [4177×1 double]
ConvergenceInfo: [1×1 struct]
IsSupportVector: [4177×1 logical]
Solver: 'SMO'
Окно команд показывает, что Mdl является обученным RegressionSVM и отображает список свойств.
Отображение свойств Mdl с использованием точечной нотации. Например, проверьте, сходилась ли модель и сколько итераций она выполнила.
conv = Mdl.ConvergenceInfo.Converged iter = Mdl.NumIterations
conv =
logical
1
iter =
2759
Возвращенные результаты показывают, что модель сошлась после 2759 итераций.
Загрузить carsmall набор данных.
load carsmall rng 'default' % For reproducibility
Определить Horsepower и Weight в качестве переменных предиктора (X) и MPG в качестве переменной ответа (Y).
X = [Horsepower Weight]; Y = MPG;
Перекрестная проверка двух регрессионных моделей SVM с использованием пятикратной перекрестной проверки. Для обеих моделей укажите, чтобы стандартизировать предикторы. Для одной из моделей укажите обучение с использованием линейного ядра по умолчанию, а для другой модели - гауссово ядро.
MdlLin = fitrsvm(X,Y,'Standardize',true,'KFold',5)
MdlLin =
RegressionPartitionedSVM
CrossValidatedModel: 'SVM'
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
NumObservations: 94
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
MdlGau = fitrsvm(X,Y,'Standardize',true,'KFold',5,'KernelFunction','gaussian')
MdlGau =
RegressionPartitionedSVM
CrossValidatedModel: 'SVM'
PredictorNames: {'x1' 'x2'}
ResponseName: 'Y'
NumObservations: 94
KFold: 5
Partition: [1x1 cvpartition]
ResponseTransform: 'none'
Properties, Methods
MdlLin.Trained
ans=5×1 cell array
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
{1x1 classreg.learning.regr.CompactRegressionSVM}
MdlLin и MdlGau являются RegressionPartitionedSVM перекрестно проверенные модели. Trained свойство каждой модели является массивом ячеек 5 на 1 CompactRegressionSVM модели. Модели в клетке хранят результаты обучения на 4 складках наблюдений и оставляют одну складку наблюдений.
Сравните ошибку обобщения моделей. В этом случае погрешность обобщения представляет собой погрешность со средним квадратом вне выборки.
mseLin = kfoldLoss(MdlLin)
mseLin = 17.4417
mseGau = kfoldLoss(MdlGau)
mseGau = 16.7355
Регрессионная модель SVM, использующая гауссово ядро, работает лучше, чем модель, использующая линейное ядро.
Создание модели, подходящей для прогнозирования, путем передачи всего набора данных в fitrsvmи укажите все аргументы пары имя-значение, которые дали модель с более высокой производительностью. Однако не указывайте параметры перекрестной проверки.
MdlGau = fitrsvm(X,Y,'Standardize',true,'KernelFunction','gaussian');
Чтобы предсказать МПГ комплекта автомобилей, проезжайте Mdl и таблицу, содержащую измерения лошадиных сил и веса автомобилей predict.
В этом примере показано, как оптимизировать гиперпараметры автоматически с помощью fitrsvm. В примере используется carsmall данные.
Загрузить carsmall набор данных.
load carsmallОпределить Horsepower и Weight в качестве переменных предиктора (X) и MPG в качестве переменной ответа (Y).
X = [Horsepower Weight]; Y = MPG;
Найдите гиперпараметры, которые минимизируют пятикратные потери при перекрестной проверке, используя автоматическую оптимизацию гиперпараметров.
Для воспроизводимости задайте случайное начальное число и используйте 'expected-improvement-plus' функция приобретения.
rng default Mdl = fitrsvm(X,Y,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName',... 'expected-improvement-plus'))
|====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 1 | Best | 6.8077 | 10.471 | 6.8077 | 6.8077 | 0.35664 | 0.043031 | 0.30396 | | 2 | Best | 2.9108 | 0.083136 | 2.9108 | 3.1259 | 70.67 | 710.65 | 1.6369 | | 3 | Accept | 4.1884 | 0.083016 | 2.9108 | 3.1211 | 14.367 | 0.0059144 | 442.64 | | 4 | Accept | 4.159 | 0.069749 | 2.9108 | 3.0773 | 0.0030879 | 715.31 | 2.6045 | | 5 | Best | 2.902 | 0.22042 | 2.902 | 2.9015 | 969.07 | 703.1 | 0.88614 | | 6 | Accept | 4.1884 | 0.057606 | 2.902 | 2.9017 | 993.93 | 919.26 | 22.16 | | 7 | Accept | 2.9307 | 0.084949 | 2.902 | 2.9018 | 219.88 | 613.28 | 0.015526 | | 8 | Accept | 2.9537 | 0.33784 | 2.902 | 2.9017 | 905.17 | 395.74 | 0.021914 | | 9 | Accept | 2.9073 | 0.061718 | 2.902 | 2.9017 | 24.242 | 647.2 | 0.17855 | | 10 | Accept | 2.9044 | 0.2384 | 2.902 | 2.9017 | 117.27 | 173.98 | 0.73387 | | 11 | Accept | 2.9035 | 0.062417 | 2.902 | 2.9016 | 1.3516 | 131.19 | 0.0093404 | | 12 | Accept | 4.0917 | 0.054662 | 2.902 | 2.902 | 0.012201 | 962.58 | 0.0092777 | | 13 | Accept | 2.9525 | 0.95828 | 2.902 | 2.902 | 77.38 | 65.508 | 0.0093299 | | 14 | Accept | 2.9352 | 0.085972 | 2.902 | 2.9019 | 21.591 | 166.43 | 0.035214 | | 15 | Accept | 2.9341 | 0.10187 | 2.902 | 2.9019 | 45.286 | 207.56 | 0.009379 | | 16 | Accept | 2.9104 | 0.069236 | 2.902 | 2.9018 | 0.064315 | 23.313 | 0.0093341 | | 17 | Accept | 2.9056 | 0.07306 | 2.902 | 2.9018 | 0.33909 | 40.311 | 0.053394 | | 18 | Accept | 2.9335 | 0.12493 | 2.902 | 2.8999 | 0.9904 | 41.169 | 0.0099688 | | 19 | Accept | 2.9885 | 0.062909 | 2.902 | 2.8994 | 0.0010647 | 32.9 | 0.013178 | | 20 | Accept | 4.1884 | 0.06077 | 2.902 | 2.9 | 0.0014524 | 1.9514 | 856.49 | |====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Accept | 2.904 | 0.083477 | 2.902 | 2.8835 | 88.487 | 405.92 | 0.44372 | | 22 | Accept | 2.9107 | 0.075228 | 2.902 | 2.8848 | 344.34 | 992 | 0.28418 | | 23 | Accept | 2.904 | 0.065833 | 2.902 | 2.8848 | 0.92028 | 70.985 | 0.52233 | | 24 | Accept | 2.9145 | 0.058443 | 2.902 | 2.8822 | 0.0011412 | 18.159 | 0.16652 | | 25 | Best | 2.8909 | 0.17477 | 2.8909 | 2.8848 | 0.7614 | 17.3 | 1.9075 | | 26 | Accept | 2.9188 | 0.10147 | 2.8909 | 2.8816 | 0.31049 | 18.301 | 0.35285 | | 27 | Accept | 2.9327 | 0.074353 | 2.8909 | 2.8811 | 0.015362 | 20.395 | 1.6596 | | 28 | Accept | 2.897 | 0.12567 | 2.8909 | 2.8811 | 3.3454 | 46.537 | 2.224 | | 29 | Accept | 4.1884 | 0.064233 | 2.8909 | 2.881 | 983.2 | 0.52308 | 910.91 | | 30 | Accept | 2.9167 | 0.085177 | 2.8909 | 2.8821 | 0.0011533 | 10.597 | 0.029731 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 45.8801 seconds
Total objective function evaluation time: 14.2709
Best observed feasible point:
BoxConstraint KernelScale Epsilon
_____________ ___________ _______
0.7614 17.3 1.9075
Observed objective function value = 2.8909
Estimated objective function value = 2.8957
Function evaluation time = 0.17477
Best estimated feasible point (according to models):
BoxConstraint KernelScale Epsilon
_____________ ___________ _______
88.487 405.92 0.44372
Estimated objective function value = 2.8821
Estimated function evaluation time = 0.10546
Mdl =
RegressionSVM
ResponseName: 'Y'
CategoricalPredictors: []
ResponseTransform: 'none'
Alpha: [86x1 double]
Bias: 46.2480
KernelParameters: [1x1 struct]
NumObservations: 93
HyperparameterOptimizationResults: [1x1 BayesianOptimization]
BoxConstraints: [93x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [93x1 logical]
Solver: 'SMO'
Properties, Methods
Поиск по оптимизации BoxConstraint, KernelScale, и Epsilon. Результатом является регрессия с минимальными оценочными потерями перекрестной проверки.
fitrsvm поддерживает низко- и умеренно-размерные наборы данных. Для набора высокоразмерных данных используйте fitrlinear вместо этого.
Если набор данных не велик, всегда старайтесь стандартизировать предикторы (см. Standardize). Стандартизация делает предикторы нечувствительными к масштабам, по которым они измеряются.
Рекомендуется выполнять перекрестную проверку с использованием KFold аргумент пары имя-значение. Результаты перекрестной проверки определяют, насколько хорошо обобщается модель SVM.
Разреженность в векторах поддержки является желательным свойством модели SVM. Чтобы уменьшить число векторов поддержки, установите BoxConstraint аргумент пары имя-значение для большого значения. Это действие также увеличивает время обучения.
Для оптимального времени обучения установите CacheSize насколько это позволяет ограничение памяти на компьютере.
Если ожидается гораздо меньше векторов поддержки, чем наблюдений в обучающем наборе, то можно значительно ускорить сходимость, сжимая активный набор с помощью аргумента пара имя-значение 'ShrinkagePeriod'. Рекомендуется использовать 'ShrinkagePeriod',1000.
Повторяющиеся наблюдения, которые находятся далеко от линии регрессии, не влияют на сходимость. Однако только несколько повторяющихся наблюдений, которые происходят вблизи линии регрессии, могут значительно замедлить сходимость. Для ускорения сходимости укажите 'RemoveDuplicates',true если:
Набор данных содержит множество повторяющихся наблюдений.
Вы подозреваете, что несколько повторяющихся наблюдений могут оказаться вблизи линии регрессии.
Однако для ведения исходного набора данных во время обучения fitrsvm должен временно хранить отдельные наборы данных: исходный и без дубликатов наблюдений. Поэтому при указании true для наборов данных, содержащих несколько дубликатов, fitrsvm потребляет почти вдвое больше памяти исходных данных.
После обучения модели можно создать код C/C + +, который предсказывает ответы на новые данные. Для создания кода C/C + + требуется Coder™ MATLAB. Дополнительные сведения см. в разделе Введение в создание кода.
Математическую формулировку задач линейной и нелинейной регрессии SVM и алгоритмов решателя см. в разделе Общие сведения о поддержке векторной машинной регрессии.
NaN, <undefined>, пустой символьный вектор (''), пустая строка (""), и <missing> значения указывают отсутствующие значения данных. fitrsvm удаляет целые строки данных, соответствующие отсутствующему ответу. При нормализации весов fitrsvm игнорирует любой вес, соответствующий наблюдению, по меньшей мере, с одним отсутствующим предиктором. Следовательно, ограничения поля наблюдения могут не совпадать BoxConstraint.
fitrsvm удаляет наблюдения, имеющие нулевой вес.
Если установить 'Standardize',true и 'Weights', то fitrsvm стандартизирует предикторы, используя их соответствующие взвешенные средства и взвешенные стандартные отклонения. То есть fitrsvm стандартизирует предиктор j (xj) с использованием
xjk - наблюдение k (строка) предиктора j (столбец).
2.
2.
Если данные предиктора содержат категориальные переменные, то программное обеспечение обычно использует полную фиктивную кодировку для этих переменных. Программа создает одну фиктивную переменную для каждого уровня каждой категориальной переменной.
PredictorNames свойство сохраняет один элемент для каждого из исходных имен переменных предиктора. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Тогда PredictorNames является массивом ячеек 1 на 3 символьных векторов, содержащих исходные имена переменных предиктора.
ExpandedPredictorNames свойство сохраняет один элемент для каждой из переменных предиктора, включая фиктивные переменные. Например, предположим, что существует три предиктора, один из которых является категориальной переменной с тремя уровнями. Тогда ExpandedPredictorNames - клеточный массив символьных векторов, содержащий имена переменных предиктора и новых фиктивных переменных.
Аналогично, Beta свойство хранит один бета-коэффициент для каждого предиктора, включая фиктивные переменные.
SupportVectors свойство сохраняет предикторные значения для векторов поддержки, включая фиктивные переменные. Например, предположим, что существуют m векторов поддержки и три предиктора, один из которых является категориальной переменной с тремя уровнями. Тогда SupportVectors является матрицей m-на-5.
X свойство сохраняет данные обучения в том виде, в каком они были первоначально введены. Он не включает фиктивные переменные. Если вводом является таблица, X содержит только столбцы, используемые в качестве предикторов.
Для предикторов, указанных в таблице, если какая-либо из переменных содержит упорядоченные (порядковые) категории, программное обеспечение использует кодировку порядковых номеров для этих переменных.
Для переменной, имеющей k упорядоченных уровней, программа создает k-1 фиктивных переменных. j-я фиктивная переменная равна -1 для уровней до j и + 1 для уровней j + 1-k.
Имена фиктивных переменных, сохраненных в ExpandedPredictorNames свойство указывает первый уровень со значением + 1. Программа сохраняет k-1 дополнительных предикторных имен для фиктивных переменных, включая имена уровней 2, 3,..., k.
Все решатели реализуют L1 минимизацию мягких полей.
Давайте p - доля отклонений, ожидаемая в данных обучения. Если установить 'OutlierFraction',p, то программное обеспечение реализует надежное обучение. Другими словами, программное обеспечение пытается удалить 100p% наблюдений, когда алгоритм оптимизации сходится. Удаленные наблюдения соответствуют градиентам, которые являются большими по величине.
[1] Кларк, Д., З. Шретер, А. Адамс. «A Quantificative Comparison of Dystal and Backpropagation» («Количественное сравнение кристалла и обратного распространения»), представленный Австралийской конференции по нейронным сетям, 1996 год.
[2] Вентилятор, R.-E., P.-H. Чен и К.-Ж. Лин. «Выбор рабочего набора с использованием информации второго порядка для тренировочных машин поддержки векторов». Журнал исследований машинного обучения, том 6, 2005, стр. 1889-1918.
[3] Кекман В., Т. -М. Хуан и М. Фогт. «Итеративный алгоритм одиночных данных для обучения машин ядра из огромных наборов данных: теория и производительность». В поддержке векторных машин: теория и приложения. Под редакцией Липо Вана, 255-274. Берлин: Спрингер-Верлаг, 2005.
[4] Лихман, M. UCI Machine Learning Repository, [http://archive.ics.uci.edu/ml]. Ирвин, Калифорния: Калифорнийский университет, Школа информации и компьютерных наук.
[5] Нэш, У. Джей, Т. Л. Селлерс, С. Р. Толбот, А. Дж. Коуторн и У. Б. Форд. "Популяционная биология Абалоне (вид Haliotis) в Тасмании. И. Блэклип Абалоне (Х. рубра) с Северного побережья и островов Бассова пролива ". Отдел морского рыболовства, Технический доклад № 48, 1994 год.
[6] Во, С. «Расширение и сравнительный анализ каскадной корреляции: расширение каскадно-корреляционной архитектуры и сравнительный анализ управляемых вперед искусственных нейронных сетей». Факультет компьютерных наук Тасманийского университета, 1995 год.
CompactRegressionSVM | predict | RegressionPartitionedSVM | RegressionSVM