Лассо - метод регуляризации. Использовать lassoglm кому:
Уменьшите количество предикторов в обобщенной линейной модели.
Идентифицируйте важные предикторы.
Выберите среди избыточных предикторов.
Получите оценки усадки с потенциально более низкими прогнозирующими ошибками, чем обычные наименьшие квадраты.
Эластичная сетка является связанным методом. Используйте его, когда у вас есть несколько сильно коррелированных переменных. lassoglm обеспечивает упругую сетевую регуляризацию, когда вы устанавливаете Alpha Пара "имя-значение" на число, строго лежащее между 0 и 1.
Для получения дополнительной информации о лассо и упругих сетевых расчетах и алгоритмах, см. Обобщенную линейную модель Лассо и упругую сетку. Для обсуждения обобщенных линейных моделей смотрите Что такое обобщенные линейные модели?.
Lasso является методом регуляризации для оценки обобщенных линейных моделей. Лассо включает штрафной термин, который ограничивает размер предполагаемых коэффициентов. Поэтому он напоминает Ridge Regression. Лассо является shrinkage estimator: он генерирует оценки коэффициентов, которые смещены, чтобы быть маленькими. Тем не менее, оценщик lasso может иметь меньшую ошибку, чем обычный максимальный оценщик правдоподобия, когда вы применяете его к новым данным.
В отличие от регрессии гребня, когда срок штрафа увеличивается, метод лассо устанавливает больше коэффициентов в нуль. Это означает, что оценка lasso является меньшей моделью с меньшим количеством предикторов. Таким образом, лассо является альтернативой ступенчатой регрессии и другим методам выбора модели и уменьшения размерности.
Elastic net является связанным методом. Эластичная сеть сродни гибриду регрессии гребня и регуляризации лассо. Как и лассо, эластичная сеть может генерировать уменьшенные модели путем генерации нулевых коэффициентов. Эмпирические исследования показывают, что метод упругой сети может превзойти лассо на данных с высоко коррелированными предикторами.
Для неотрицательного значения λ, lassoglm решает задачу
Функция Deviance в этом уравнении является отклонением модели к откликам с помощью β перехвата 0 и коэффициентов предиктора β. Формула для Deviance зависит от distr параметр, который вы поставляете в lassoglm. Минимизация λ -пенализованного отклонения эквивалентна максимизации λ -пенализованной логарифмической правдоподобности.
N - количество наблюдений.
λ является неотрицательным параметром регуляризации, соответствующим одному значению Lambda.
Параметрами β 0 и β являются скаляр и вектор длины p, соответственно.
Когда λ увеличивается, количество ненулевых компонентов β уменьшается.
Задача lasso включает в себя L1 норма β, противопоставленная алгоритму упругой сети.
Для α строго между 0 и 1 и неотрицательной λ, упругая сеть решает задачу
где
Эластичная сеть такая же, как и лассо, когда α = 1. Для других значений α срок штрафа Pα (β) интерполируется между L1 норма β и квадратов L2 норма β. Когда α сжимается к 0, эластичная сеть приближается ridge регрессия.
[1] Tibshirani, R. Regression Shrinkage and Selection through the Lasso. Журнал Королевского статистического общества, серия B, том 58, № 1, стр. 267-288, 1996.
[2] Цзоу, Х. и Т. Хасти. Регуляризация и выбор переменных через упругую сеть. Журнал Королевского статистического общества, серия B, том 67, № 2, стр. 301-320, 2005.
[3] Фридман, Дж., Р. Тибширани и Т. Хасти. Пути регуляризации для обобщенных линейных моделей через спуск координат. Журнал статистического программного обеспечения, том 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения, 2-е издание. Спрингер, Нью-Йорк, 2008.
[5] McCullagh, P., and J. A. Nelder. Обобщенные линейные модели, 2-е издание. Chapman & Hall/CRC Press, 1989.