Лассо является методом регуляризации. Использование lassoglm к:
Сократите количество предикторов в обобщенной линейной модели.
Идентифицируйте важные предикторы.
Выберите среди избыточных предикторов.
Произведите оценки уменьшения с потенциально ниже прогнозирующими ошибками, чем обычные наименьшие квадраты.
Эластичная сеть является связанным методом. Используйте его, когда у вас будет несколько очень коррелированых переменных. lassoglm обеспечивает эластичную сетевую регуляризацию, когда вы устанавливаете Alpha пара "имя-значение" к номеру строго между 0 и 1.
Для получения дополнительной информации о лассо и эластичных сетевых расчетах и алгоритмах, смотрите Обобщенное линейное Лассо Модели и Эластичную Сеть. Для обсуждения обобщенных линейных моделей смотрите то, Что Обобщенные линейные Модели?.
Lasso является методом регуляризации для оценки обобщенных линейных моделей. Лассо включает термин штрафа, который ограничивает размер предполагаемых коэффициентов. Поэтому это напоминает Гребенчатую Регрессию. Лассо является shrinkage estimator: это генерирует содействующие оценки, которые смещаются, чтобы быть малыми. Тем не менее, средство оценки лассо может иметь меньшую ошибку, чем обычное средство оценки наибольшего правдоподобия, когда вы применяете его к новым данным.
В отличие от гребенчатой регрессии, когда термин штрафа увеличивается, метод лассо обнуляет больше коэффициентов. Это означает, что средство оценки лассо является меньшей моделью с меньшим количеством предикторов. По сути, лассо является альтернативой ступенчатой регрессии и другому выбору модели и методам сокращения размерности.
Elastic net является связанным методом. Эластичная сеть сродни гибриду гребенчатой регрессии и регуляризации лассо. Как лассо, эластичная сеть может сгенерировать упрощенные модели путем генерации коэффициентов с нулевым знаком. Эмпирические исследования предполагают, что эластичный сетевой метод может превзойти лассо по характеристикам на данных с очень коррелироваными предикторами.
Для неотрицательного значения λ, lassoglm решает задачу
Функциональное Отклонение в этом уравнении является отклонением подгонки модели к ответам с помощью точки пересечения β 0 и коэффициенты предиктора β. Формула для Отклонения зависит от distr параметр вы предоставляете к lassoglm. Минимизация λ - оштрафованное отклонение эквивалентна максимизации λ - оштрафованная логарифмическая правдоподобность.
N является количеством наблюдений.
λ является неотрицательным параметром регуляризации, соответствующим одному значению Lambda.
Параметры β 0 и β являются скаляром и вектором из длины p, соответственно.
Когда λ увеличивается, количество ненулевых компонентов уменьшений β.
Проблема лассо включает L1 норма β, как контрастируется с эластичным сетевым алгоритмом.
Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает задачу
где
Эластичная сеть совпадает с лассо когда α = 1. Для других значений α термин штрафа Pα (β) интерполирует между L1 норма β и L в квадрате2 норма β. Когда α уменьшается к 0, эластичные сетевые подходы ridge регрессия.
[1] Tibshirani, R. Уменьшение регрессии и Выбор через Лассо. Журнал Королевского Статистического Общества, Серий B, Издания 58, № 1, стр 267–288, 1996.
[2] Цзоу, H. и Т. Хэсти. Регуляризация и Выбор переменной через Эластичную Сеть. Журнал Королевского Статистического Общества, Серий B, Издания 67, № 2, стр 301–320, 2005.
[3] Фридман, J., Р. Тибширэни и Т. Хэсти. Пути к регуляризации для Обобщенных линейных Моделей через Координатный Спуск. Журнал Статистического программного обеспечения, Издания 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, 2-го выпуска. Спрингер, Нью-Йорк, 2008.
[5] Маккуллаг, P. и Дж. А. Нелдер. Обобщенные линейные Модели, 2-й выпуск. Chapman & Hall/CRC Press, 1989.
