Лассо является методом регуляризации. Используйте lasso для:
Сократите количество предикторов в модели регрессии.
Идентифицируйте важные предикторы.
Выберите среди избыточных предикторов.
Произведите оценки уменьшения с потенциально ниже прогнозирующими ошибками, чем обычные наименьшие квадраты.
Эластичная сеть является связанным методом. Используйте эластичную сеть, когда у вас будет несколько очень коррелированых переменных. lasso обеспечивает эластичную сетевую регуляризацию, когда вы устанавливаете пару "имя-значение" Alpha на номер строго между 0 и 1.
Смотрите лассо и эластичные сетевые детали.
Для регуляризации лассо ансамблей регрессии смотрите regularize.
Лассо является методом регуляризации для выполнения линейной регрессии. Лассо включает термин штрафа, который ограничивает размер предполагаемых коэффициентов. Поэтому это напоминает гребенчатую регрессию. Лассо является shrinkage estimator: это генерирует содействующие оценки, которые смещаются, чтобы быть маленькими. Тем не менее, средство оценки лассо может иметь меньшую среднеквадратическую ошибку, чем обычное средство оценки наименьших квадратов, когда вы применяете его к новым данным.
В отличие от гребенчатой регрессии, когда термин штрафа увеличивается, лассо обнуляет больше коэффициентов. Это означает, что средство оценки лассо является меньшей моделью с меньшим количеством предикторов. По сути, лассо является альтернативой пошаговой регрессии и другому образцовому выбору и методам сокращения размерности.
Эластичная сеть является связанным методом. Эластичная сеть является гибридом гребенчатой регрессии и регуляризации лассо. Как лассо, эластичная сеть может сгенерировать упрощенные модели путем генерации коэффициентов с нулевым знаком. Эмпирические исследования предположили, что эластичный сетевой метод может превзойти лассо по характеристикам на данных с очень коррелироваными предикторами.
Метод lasso решает эту проблему регуляризации. Для данного значения λ, неотрицательного параметра, lasso решает проблему
N является количеством наблюдений.
yi является ответом при наблюдении i.
xi является данными, вектором значений p при наблюдении i.
λ является положительным параметром регуляризации, соответствующим одному значению Lambda.
Параметры β 0 и β являются скаляром и p - вектор соответственно.
Когда λ увеличивается, количество ненулевых компонентов уменьшений β.
Проблема лассо включает L 1 норма β, как контрастируется с эластичным сетевым алгоритмом.
Метод elastic net решает эту проблему регуляризации. Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает проблему
где
Эластичная сеть совпадает с лассо когда α = 1. Когда α уменьшается к 0, эластичные сетевые подходы регрессия ridge. Для других значений α термин штрафа Pα (β) интерполирует между L 1 норму β и L в квадрате 2 нормы β.
[1] Tibshirani, R. Уменьшение регрессии и выбор через лассо. Журнал Королевского Статистического Общества, Серий B, Vol 58, № 1, стр 267–288, 1996.
[2] Цзоу, H. и Т. Хэсти. Регуляризация и выбор переменной через эластичную сеть. Журнал Королевского Статистического Общества, Серий B, Издания 67, № 2, стр 301–320, 2005.
[3] Фридман, J., Р. Тибширэни и Т. Хэсти. Пути к регуляризации для обобщенных линейных моделей через координатный спуск. Журнал Статистического программного обеспечения, Vol 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, 2-го выпуска. Спрингер, Нью-Йорк, 2008.
