Ловите арканом и эластичная сеть

Что такое лассо и эластичная сеть?

Лассо является методом регуляризации. Использование lasso к:

Сократите количество предикторов в модели регрессии.
Идентифицируйте важные предикторы.
Выберите среди избыточных предикторов.
Произведите оценки уменьшения с потенциально ниже прогнозирующими ошибками, чем обычные наименьшие квадраты.

Эластичная сеть является связанным методом. Используйте эластичную сеть, когда у вас будет несколько очень коррелированых переменных. lasso обеспечивает эластичную сетевую регуляризацию, когда вы устанавливаете Alpha пара "имя-значение" к номеру строго между 0 и 1.

Смотрите лассо и эластичные сетевые детали.

Для регуляризации лассо ансамблей регрессии смотрите regularize.

Ловите арканом и эластичные сетевые детали

Обзор лассо и эластичной сети

Лассо является методом регуляризации для выполнения линейной регрессии. Лассо включает термин штрафа, который ограничивает размер предполагаемых коэффициентов. Поэтому это напоминает гребенчатую регрессию. Лассо является shrinkage estimator: это генерирует содействующие оценки, которые смещаются, чтобы быть малыми. Тем не менее, средство оценки лассо может иметь меньшую среднеквадратическую ошибку, чем обычное средство оценки наименьших квадратов, когда вы применяете его к новым данным.

В отличие от гребенчатой регрессии, когда термин штрафа увеличивается, лассо обнуляет больше коэффициентов. Это означает, что средство оценки лассо является меньшей моделью с меньшим количеством предикторов. По сути, лассо является альтернативой ступенчатой регрессии и другому выбору модели и методам сокращения размерности.

Эластичная сеть является связанным методом. Эластичная сеть является гибридом гребенчатой регрессии и регуляризации лассо. Как лассо, эластичная сеть может сгенерировать упрощенные модели путем генерации коэффициентов с нулевым знаком. Эмпирические исследования предположили, что эластичный сетевой метод может превзойти лассо по характеристикам на данных с очень коррелироваными предикторами.

Определение лассо

Метод lasso решает эту задачу регуляризации. Для данного значения λ, неотрицательного параметра, lasso решает задачу

$\min_{β_{0}, β} (\frac{1}{2 N} \sum_{i = 1}^{N} {(y_{i} - β_{0} - x_{i}^{T} β)}^{2} + λ \sum_{j = 1}^{p} | β_{j} |) .$

N является количеством наблюдений.
_yi является ответом при наблюдении i.
_xi является данными, вектором из значений p при наблюдении i.
λ является положительным параметром регуляризации, соответствующим одному значению Lambda.
Параметры β ₀ и β являются скаляром и p - вектор соответственно.

Когда λ увеличивается, количество ненулевых компонентов уменьшений β.

Проблема лассо включает L ¹ норма β, как контрастируется с эластичным сетевым алгоритмом.

Определение эластичной сети

Метод elastic net решает эту задачу регуляризации. Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает задачу

$\min_{β_{0}, β} (\frac{1}{2 N} \sum_{i = 1}^{N} {(y_{i} - β_{0} - x_{i}^{T} β)}^{2} + λ P_{α} (β)),$

где

$P_{α} (β) = \frac{(1 - α)}{2} {‖ β ‖}_{2}^{2} + α {‖ β ‖}_{1} = \sum_{j = 1}^{p} (\frac{(1 - α)}{2} β_{j}^{2} + α | β_{j} |) .$

Эластичная сеть совпадает с лассо когда α = 1. Когда α уменьшается к 0, эластичные сетевые подходы ridge регрессия. Для других значений α термин штрафа _Pα (β) интерполирует между L ¹ норму β и L в квадрате ² нормы β.

Ссылки

[1] Tibshirani, R. "Уменьшение регрессии и выбор через лассо". Журнал Королевского Статистического Общества, Серий B, Vol 58, № 1, стр 267–288, 1996.

[2] Цзоу, H. и Т. Хэсти. "Регуляризация и выбор переменной через эластичную сеть". Журнал Королевского Статистического Общества, Серий B, Издания 67, № 2, стр 301–320, 2005.

[3] Фридман, J., Р. Тибширэни и Т. Хэсти. "Пути к регуляризации для обобщенных линейных моделей через координатный спуск". Журнал Статистического программного обеспечения, Vol 33, № 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, 2-го выпуска. Спрингер, Нью-Йорк, 2008.

Документация