Лассо является методом регуляризации. Используйте lassoglm для:
Сократите количество предикторов в обобщенной линейной модели.
Идентифицируйте важные предикторы.
Выберите среди избыточных предикторов.
Произведите оценки уменьшения с потенциально ниже прогнозирующими ошибками, чем обычные наименьшие квадраты.
Эластичная сеть является связанным методом. Используйте его, когда у вас будет несколько очень коррелированых переменных. lassoglm обеспечивает эластичную сетевую регуляризацию, когда вы устанавливаете пару "имя-значение" Alpha на номер строго между 0 и 1.
Для получения дополнительной информации о лассо и эластичных сетевых вычислениях и алгоритмах, смотрите Обобщенное Линейное Образцовое Лассо и Эластичную Сеть. Для обсуждения обобщенных линейных моделей смотрите то, Что Обобщено Линейные Модели?.
Lasso является методом регуляризации для оценки обобщенных линейных моделей. Лассо включает термин штрафа, который ограничивает размер предполагаемых коэффициентов. Поэтому это напоминает Гребенчатую Регрессию. Лассо является shrinkage estimator: это генерирует содействующие оценки, которые смещаются, чтобы быть маленькими. Тем не менее, средство оценки лассо может иметь меньшую ошибку, чем обычное средство оценки наибольшего правдоподобия, когда вы применяете его к новым данным.
В отличие от гребенчатой регрессии, когда термин штрафа увеличивается, метод лассо обнуляет больше коэффициентов. Это означает, что средство оценки лассо является меньшей моделью с меньшим количеством предикторов. По сути, лассо является альтернативой пошаговой регрессии и другому образцовому выбору и методам сокращения размерности.
Elastic net является связанным методом. Эластичная сеть сродни гибриду гребенчатой регрессии и регуляризации лассо. Как лассо, эластичная сеть может сгенерировать упрощенные модели путем генерации коэффициентов с нулевым знаком. Эмпирические исследования предполагают, что эластичный сетевой метод может превзойти лассо по характеристикам на данных с очень коррелироваными предикторами.
Для неотрицательного значения λ lassoglm решает проблему
Функциональное Отклонение в этом уравнении является отклонением образцовой подгонки к ответам с помощью прерывания β 0 и коэффициенты предиктора β. Формула для Отклонения зависит от параметра distr, который вы предоставляете к lassoglm. При минимизации λ - оштрафованное отклонение эквивалентно максимизации λ - оштрафовал loglikelihood.
N является количеством наблюдений.
λ является неотрицательным параметром регуляризации, соответствующим одному значению Lambda.
Параметры β 0 и β являются скаляром и вектором длины p, соответственно.
Когда λ увеличивается, количество ненулевых компонентов уменьшений β.
Проблема лассо включает L 1 норма β, как контрастируется с эластичным сетевым алгоритмом.
Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает проблему
где
Эластичная сеть совпадает с лассо когда α = 1. Для других значений α термин штрафа Pα (β) интерполирует между L 1 норму β и L в квадрате 2 нормы β. Когда α уменьшается к 0, эластичные сетевые подходы регрессия ridge.
[1] Tibshirani, R. Уменьшение регрессии и Выбор через Лассо. Журнал Королевского Статистического Общества, Серий B, Издания 58, № 1, стр 267–288, 1996.
[2] Цзоу, H. и Т. Хэсти. Регуляризация и Выбор переменной через Эластичную Сеть. Журнал Королевского Статистического Общества, Серий B, Издания 67, № 2, стр 301–320, 2005.
[3] Фридман, J., Р. Тибширэни и Т. Хэсти. Пути к регуляризации для Обобщенных Линейных Моделей через Координатный Спуск. Журнал Статистического программного обеспечения, Издания 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, 2-го выпуска. Спрингер, Нью-Йорк, 2008.
[5] Маккуллаг, P. и Дж. А. Нелдер. Обобщенные Линейные Модели, 2-й выпуск. Chapman & Hall/CRC Press, 1989.