Лассо является методом регуляризации. Использование lasso
к:
Сократите количество предикторов в модели регрессии.
Идентифицируйте важные предикторы.
Выберите среди избыточных предикторов.
Произведите оценки уменьшения с потенциально ниже прогнозирующими ошибками, чем обычные наименьшие квадраты.
Эластичная сеть является связанным методом. Используйте эластичную сеть, когда у вас будет несколько очень коррелированых переменных. lasso
обеспечивает эластичную сетевую регуляризацию, когда вы устанавливаете Alpha
пара "имя-значение" к номеру строго между 0
и 1
.
Смотрите лассо и эластичные сетевые детали.
Для регуляризации лассо ансамблей регрессии смотрите regularize
.
Лассо является методом регуляризации для выполнения линейной регрессии. Лассо включает термин штрафа, который ограничивает размер предполагаемых коэффициентов. Поэтому это напоминает гребенчатую регрессию. Лассо является shrinkage estimator: это генерирует содействующие оценки, которые смещаются, чтобы быть малыми. Тем не менее, средство оценки лассо может иметь меньшую среднеквадратическую ошибку, чем обычное средство оценки наименьших квадратов, когда вы применяете его к новым данным.
В отличие от гребенчатой регрессии, когда термин штрафа увеличивается, лассо обнуляет больше коэффициентов. Это означает, что средство оценки лассо является меньшей моделью с меньшим количеством предикторов. По сути, лассо является альтернативой ступенчатой регрессии и другому выбору модели и методам сокращения размерности.
Эластичная сеть является связанным методом. Эластичная сеть является гибридом гребенчатой регрессии и регуляризации лассо. Как лассо, эластичная сеть может сгенерировать упрощенные модели путем генерации коэффициентов с нулевым знаком. Эмпирические исследования предположили, что эластичный сетевой метод может превзойти лассо по характеристикам на данных с очень коррелироваными предикторами.
Метод lasso решает эту задачу регуляризации. Для данного значения λ, неотрицательного параметра, lasso
решает задачу
N является количеством наблюдений.
yi является ответом при наблюдении i.
xi является данными, вектором из значений p при наблюдении i.
λ является положительным параметром регуляризации, соответствующим одному значению Lambda
.
Параметры β 0 и β являются скаляром и p - вектор соответственно.
Когда λ увеличивается, количество ненулевых компонентов уменьшений β.
Проблема лассо включает L 1 норма β, как контрастируется с эластичным сетевым алгоритмом.
Метод elastic net решает эту задачу регуляризации. Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает задачу
где
Эластичная сеть совпадает с лассо когда α = 1. Когда α уменьшается к 0, эластичные сетевые подходы ridge
регрессия. Для других значений α термин штрафа Pα (β) интерполирует между L 1 норму β и L в квадрате 2 нормы β.
[1] Tibshirani, R. Уменьшение регрессии и выбор через лассо. Журнал Королевского Статистического Общества, Серий B, Vol 58, № 1, стр 267–288, 1996.
[2] Цзоу, H. и Т. Хэсти. Регуляризация и выбор переменной через эластичную сеть. Журнал Королевского Статистического Общества, Серий B, Издания 67, № 2, стр 301–320, 2005.
[3] Фридман, J., Р. Тибширэни и Т. Хэсти. Пути к регуляризации для обобщенных линейных моделей через координатный спуск. Журнал Статистического программного обеспечения, Vol 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, 2-го выпуска. Спрингер, Нью-Йорк, 2008.
fitrlinear
| lasso
| lassoglm
| lassoPlot
| ridge