Линейный шаблон ученика классификации
templateLinear
создает шаблон, подходящий для того, чтобы подбирать линейную модель классификации к высоко-размерным данным для проблем мультикласса.
Шаблон задает бинарную модель ученика, тип регуляризации и силу и решатель, среди прочего. После создания шаблона обучите модель путем передачи шаблона и данных к fitcecoc
.
возвращает линейный шаблон ученика классификации.t
= templateLinear()
Если вы задаете шаблон по умолчанию, то программное обеспечение использует значения по умолчанию во всех входных параметрах во время обучения.
возвращает шаблон с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Например, можно задать, чтобы реализовать логистическую регрессию, задать тип регуляризации или силу, или задать решатель, чтобы использовать в минимизации целевой функции.t
= templateLinear(Name,Value
)
Если вы отображаете t
в Командном окне затем все опции кажутся пустыми ([]
) кроме опций, что вы задаете аргументы пары "имя-значение" использования. Во время обучения программное обеспечение использует значения по умолчанию в пустых опциях.
Это - лучшая практика ориентировать вашу матрицу предиктора так, чтобы наблюдения соответствовали столбцам и задавать 'ObservationsIn','columns'
. В результате можно испытать значительное сокращение во время выполнения оптимизации.
Для лучшей точности оптимизации, если данные о предикторе являются высоко-размерными и Regularization
'ridge'
, установите любую из этих комбинаций для Solver
:
'sgd'
'asgd'
'dual'
если Learner
'svm'
{'sgd','lbfgs'}
{'asgd','lbfgs'}
{'dual','lbfgs'}
если Learner
'svm'
Другие комбинации могут привести к плохой точности оптимизации.
Для лучшей точности оптимизации, если данные о предикторе являются умеренными - через низко-размерный и Regularization
'ridge'
, установите Solver
к 'bfgs'
.
Если Regularization
'lasso'
, установите любую из этих комбинаций для Solver
:
'sgd'
'asgd'
'sparsa'
{'sgd','sparsa'}
{'asgd','sparsa'}
При выборе между SGD и ASGD, полагайте что:
SGD занимает меньше времени на итерацию, но требует, чтобы сходилось больше итераций.
ASGD требует, чтобы меньше итераций сходилось, но занимает больше времени на итерацию.
Если данные о предикторе имеют немного наблюдений, но много переменных предикторов, то:
Задайте 'PostFitBias',true
.
Для SGD или решателей ASGD, набор PassLimit
к положительному целому числу, которое больше 1, например, 5 или 10. Эта установка часто приводит к лучшей точности.
Для SGD и решателей ASGD, BatchSize
влияет на уровень сходимости.
Если BatchSize
слишком мал, затем программное обеспечение достигает минимума во многих итерациях, но вычисляет градиент на итерацию быстро.
Если BatchSize
является слишком большим, затем программное обеспечение достигает минимума в меньшем количестве итераций, но вычисляет градиент на итерацию медленно.
Большая скорость обучения (см. LearnRate
) сходимость ускорения к минимуму, но может привести к расхождению (то есть, переступив через минимум). Небольшие скорости обучения гарантируют сходимость минимуму, но могут вести, чтобы замедлить завершение.
Если Regularization
'lasso'
, затем экспериментируйте с различными значениями TruncationPeriod
. Например, установите TruncationPeriod
к 1
, 10, и затем
100
.
Для КПД программное обеспечение не стандартизирует данные о предикторе. Стандартизировать данные о предикторе (X
), войдите
X = bsxfun(@rdivide,bsxfun(@minus,X,mean(X,2)),std(X,0,2));
Код требует, чтобы вы ориентировали предикторы и наблюдения как строки и столбцы X
, соответственно. Кроме того, для экономики использования памяти код заменяет исходные данные о предикторе стандартизированные данные.
[1] Се, C. J. К. В. Чанг, К. Дж. Лин, С. С. Кирти и С. Сандарарэджэн. “Двойной Координатный Метод Спуска для Крупномасштабного Линейного SVM”. Продолжения 25-й Международной конференции по вопросам Машинного обучения, ICML ’08, 2001, стр 408–415.
[2] Лэнгфорд, J., Л. Ли и Т. Чжан. “Разреженное Дистанционное обучение Через Усеченный Градиент”. Дж. Мах. Учиться. Res., Издание 10, 2009, стр 777–801.
[3] Nocedal, J. и С. Дж. Райт. Числовая Оптимизация, 2-й редактор, Нью-Йорк: Спрингер, 2006.
[4] Шалев-Шварц, S., И. Зингер и Н. Сребро. “Pegasos: Основной Предполагаемый Решатель Подградиента для SVM”. Продолжения 24-й Международной конференции по вопросам Машинного обучения, ICML ’07, 2007, стр 807–814.
[5] Мастер, S. J. Р. Д. Ноуок и М. А. Т. Фигередо. “Разреженная Реконструкция Отделимым Приближением”. Сигнал сделки Proc., Издание 57, № 7, 2009, стр 2479–2493.
[6] Сяо, Лин. “Двойные Методы усреднения для Упорядоченного Стохастического Изучения и Онлайновой Оптимизации”. Дж. Мах. Учиться. Res., Издание 11, 2010, стр 2543–2596.
[7] Сюй, Вэй. “К Оптимальному Один Крупный масштаб Передачи Изучение с Усредненным Стохастическим Градиентным спуском”. CoRR, abs/1107.2490, 2011.