Лассо - это метод регуляризации. Использовать lassoglm кому:
Уменьшите число предикторов в обобщенной линейной модели.
Определите важные предикторы.
Выберите один из избыточных предикторов.
Производить оценки усадки с потенциально более низкими прогностическими ошибками, чем обычные наименьшие квадраты.
Эластичная сетка является родственной техникой. Используйте его при наличии нескольких сильно коррелированных переменных. lassoglm обеспечивает эластичную регуляризацию сетки при установке Alpha пара имя-значение к числу строго между 0 и 1.
Дополнительные сведения о вычислениях и алгоритмах лассо и упругой сетки см. в разделе Обобщенная линейная модель Лассо (Generalized Linear Model) и Упругая сетка (Elastic Net). Обсуждение обобщенных линейных моделей см. в разделе Что такое обобщенные линейные модели?.
Лассо - это метод регуляризации для оценки обобщенных линейных моделей. Lasso включает штрафной термин, который ограничивает размер оцененных коэффициентов. Поэтому он напоминает Риджевую регрессию. Лассо является оценщиком усадки: он генерирует оценки коэффициентов, которые смещены, чтобы быть маленькими. Тем не менее, оценка лассо может иметь меньшую ошибку, чем обычная оценка максимального правдоподобия, когда вы применяете ее к новым данным.
В отличие от риджевой регрессии, по мере увеличения штрафного члена, метод лассо устанавливает больше коэффициентов в ноль. Это означает, что оценщик лассо является меньшей моделью с меньшим количеством предикторов. По существу, лассо является альтернативой ступенчатой регрессии и другим способам выбора модели и уменьшения размерности.
Эластичная сетка является родственной техникой. Эластичная сетка сродни гибриду регрессии гребня и регуляризации лассо. Подобно лассо, эластичная сетка может генерировать уменьшенные модели путем генерации нулевых коэффициентов. Эмпирические исследования показывают, что метод упругой сетки может превосходить лассо по данным с сильно коррелированными предикторами.
Для неотрицательного значения λ, lassoglm решает проблему
+λ∑j=1p'βj|).
Функция Deviance в этом уравнении является отклонением модели, подгоняемой под отклики с использованием перехвата β0 и коэффициентов предиктора β. Формула отклонения зависит от distr параметр, который вы предоставляете lassoglm. Минимизация λ-пенализованного отклонения эквивалентна максимизации λ-пенализованного логарифма.
N - количество наблюдений.
λ - неотрицательный параметр регуляризации, соответствующий одному значению Lambda.
Параметры β0 и β являются скаляром и вектором длины p соответственно.
По мере увеличения λ количество ненулевых компонентов β уменьшается.
Проблема лассо включает в себя L1 норму β, что контрастирует с алгоритмом упругой сетки.
Для α строго между 0 и 1 и неотрицательным λ упругая сетка решает проблему
λ Pα (β)),
где
2βj2 + α 'βj |).
Эластичная сетка такая же, как у лассо, когда α = 1. Для других значений α штрафной член Pα (β) интерполируется между L1 нормой β и квадратной L2 нормой β. Когда α сжимается к 0, эластичная сетка приближаетсяridge регрессия.
[1] Тибширани, R. Регрессионная усадка и отбор через Лассо. Журнал Королевского статистического общества, серия B, том 58, № 1, стр. 267 - 288, 1996.
[2] Зоу, Х. и Т. Хасти. Регуляризация и выбор переменных через эластичную сетку. Журнал Королевского статистического общества, серия В, том 67, № 2, стр. 301 - 320, 2005.
[3] Фридман, Дж., Р. Тибширани и Т. Хасти. Пути регуляризации для обобщенных линейных моделей через спуск по координатам. Журнал статистического программного обеспечения, том 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения, 2-е издание. Спрингер, Нью-Йорк, 2008.
[5] Маккалла, П. и Дж. А. Нелдер. Обобщенные линейные модели, 2-е издание. Chapman & Hall/CRC Press, 1989.