Ловите арканом и эластичная сеть

Что такое лассо и эластичная сеть?

Лассо является методом регуляризации. Используйте lasso для:

  • Сократите количество предикторов в модели регрессии.

  • Идентифицируйте важные предикторы.

  • Выберите среди избыточных предикторов.

  • Произведите оценки уменьшения с потенциально ниже прогнозирующими ошибками, чем обычные наименьшие квадраты.

Эластичная сеть является связанным методом. Используйте эластичную сеть, когда у вас будет несколько очень коррелированых переменных. lasso обеспечивает эластичную сетевую регуляризацию, когда вы устанавливаете пару "имя-значение" Alpha на номер строго между 0 и 1.

Смотрите лассо и эластичные сетевые детали.

Для регуляризации лассо ансамблей регрессии смотрите regularize.

Ловите арканом и эластичные сетевые детали

Обзор лассо и эластичной сети

Лассо является методом регуляризации для выполнения линейной регрессии. Лассо включает термин штрафа, который ограничивает размер предполагаемых коэффициентов. Поэтому это напоминает гребенчатую регрессию. Лассо является shrinkage estimator: это генерирует содействующие оценки, которые смещаются, чтобы быть маленькими. Тем не менее, средство оценки лассо может иметь меньшую среднеквадратическую ошибку, чем обычное средство оценки наименьших квадратов, когда вы применяете его к новым данным.

В отличие от гребенчатой регрессии, когда термин штрафа увеличивается, лассо обнуляет больше коэффициентов. Это означает, что средство оценки лассо является меньшей моделью с меньшим количеством предикторов. По сути, лассо является альтернативой пошаговой регрессии и другому образцовому выбору и методам сокращения размерности.

Эластичная сеть является связанным методом. Эластичная сеть является гибридом гребенчатой регрессии и регуляризации лассо. Как лассо, эластичная сеть может сгенерировать упрощенные модели путем генерации коэффициентов с нулевым знаком. Эмпирические исследования предположили, что эластичный сетевой метод может превзойти лассо по характеристикам на данных с очень коррелироваными предикторами.

Определение лассо

Метод lasso решает эту проблему регуляризации. Для данного значения λ, неотрицательного параметра, lasso решает проблему

minβ0,β(12Ni=1N(yiβ0xiTβ)2+λj=1p|βj|).

  • N является количеством наблюдений.

  • yi является ответом при наблюдении i.

  • xi является данными, вектором значений p при наблюдении i.

  • λ является положительным параметром регуляризации, соответствующим одному значению Lambda.

  • Параметры β 0 и β являются скаляром и p - вектор соответственно.

Когда λ увеличивается, количество ненулевых компонентов уменьшений β.

Проблема лассо включает L 1 норма β, как контрастируется с эластичным сетевым алгоритмом.

Определение эластичной сети

Метод elastic net решает эту проблему регуляризации. Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает проблему

minβ0,β(12Ni=1N(yiβ0xiTβ)2+λPα(β)),

где

Pα(β)=(1α)2β22+αβ1=j=1p((1α)2βj2+α|βj|).

Эластичная сеть совпадает с лассо когда α = 1. Когда α уменьшается к 0, эластичные сетевые подходы регрессия ridge. Для других значений α термин штрафа (β) интерполирует между L 1 норму β и L в квадрате 2 нормы β.

Ссылки

[1] Tibshirani, R. Уменьшение регрессии и выбор через лассо. Журнал Королевского Статистического Общества, Серий B, Vol 58, № 1, стр 267–288, 1996.

[2] Цзоу, H. и Т. Хэсти. Регуляризация и выбор переменной через эластичную сеть. Журнал Королевского Статистического Общества, Серий B, Издания 67, № 2, стр 301–320, 2005.

[3] Фридман, J., Р. Тибширэни и Т. Хэсти. Пути к регуляризации для обобщенных линейных моделей через координатный спуск. Журнал Статистического программного обеспечения, Vol 33, № 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, 2-го выпуска. Спрингер, Нью-Йорк, 2008.

Для просмотра документации необходимо авторизоваться на сайте