Ловите арканом регуляризацию обобщенных линейных моделей

Что такое Обобщенная линейная Регуляризация Лассо Модели?

Лассо является методом регуляризации. Использование lassoglm к:

  • Сократите количество предикторов в обобщенной линейной модели.

  • Идентифицируйте важные предикторы.

  • Выберите среди избыточных предикторов.

  • Произведите оценки уменьшения с потенциально ниже прогнозирующими ошибками, чем обычные наименьшие квадраты.

Эластичная сеть является связанным методом. Используйте его, когда у вас будет несколько очень коррелированых переменных. lassoglm обеспечивает эластичную сетевую регуляризацию, когда вы устанавливаете Alpha пара "имя-значение" к номеру строго между 0 и 1.

Для получения дополнительной информации о лассо и эластичных сетевых расчетах и алгоритмах, смотрите Обобщенное линейное Лассо Модели и Эластичную Сеть. Для обсуждения обобщенных линейных моделей смотрите то, Что Обобщенные линейные Модели?.

Обобщенное линейное лассо модели и эластичная сеть

Обзор лассо и эластичной сети

Lasso является методом регуляризации для оценки обобщенных линейных моделей. Лассо включает термин штрафа, который ограничивает размер предполагаемых коэффициентов. Поэтому это напоминает Гребенчатую Регрессию. Лассо является shrinkage estimator: это генерирует содействующие оценки, которые смещаются, чтобы быть малыми. Тем не менее, средство оценки лассо может иметь меньшую ошибку, чем обычное средство оценки наибольшего правдоподобия, когда вы применяете его к новым данным.

В отличие от гребенчатой регрессии, когда термин штрафа увеличивается, метод лассо обнуляет больше коэффициентов. Это означает, что средство оценки лассо является меньшей моделью с меньшим количеством предикторов. По сути, лассо является альтернативой ступенчатой регрессии и другому выбору модели и методам сокращения размерности.

Elastic net является связанным методом. Эластичная сеть сродни гибриду гребенчатой регрессии и регуляризации лассо. Как лассо, эластичная сеть может сгенерировать упрощенные модели путем генерации коэффициентов с нулевым знаком. Эмпирические исследования предполагают, что эластичный сетевой метод может превзойти лассо по характеристикам на данных с очень коррелироваными предикторами.

Определение лассо для обобщенных линейных моделей

Для неотрицательного значения λ, lassoglm решает задачу

minβ0,β(1NОтклонение(β0,β)+λj=1p|βj|).

  • Функциональное Отклонение в этом уравнении является отклонением подгонки модели к ответам с помощью точки пересечения β 0 и коэффициенты предиктора β. Формула для Отклонения зависит от distr параметр вы предоставляете к lassoglm. Минимизация λ - оштрафованное отклонение эквивалентна максимизации λ - оштрафованная логарифмическая правдоподобность.

  • N является количеством наблюдений.

  • λ является неотрицательным параметром регуляризации, соответствующим одному значению Lambda.

  • Параметры β 0 и β являются скаляром и вектором из длины p, соответственно.

Когда λ увеличивается, количество ненулевых компонентов уменьшений β.

Проблема лассо включает L 1 норма β, как контрастируется с эластичным сетевым алгоритмом.

Определение эластичной сети для обобщенных линейных моделей

Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает задачу

minβ0,β(1NОтклонение(β0,β)+λPα(β)),

где

Pα(β)=(1α)2β22+αβ1=j=1p((1α)2βj2+α|βj|).

Эластичная сеть совпадает с лассо когда α = 1. Для других значений α термин штрафа (β) интерполирует между L 1 норму β и L в квадрате 2 нормы β. Когда α уменьшается к 0, эластичные сетевые подходы ridge регрессия.

Ссылки

[1] Tibshirani, R. Уменьшение регрессии и Выбор через Лассо. Журнал Королевского Статистического Общества, Серий B, Издания 58, № 1, стр 267–288, 1996.

[2] Цзоу, H. и Т. Хэсти. Регуляризация и Выбор переменной через Эластичную Сеть. Журнал Королевского Статистического Общества, Серий B, Издания 67, № 2, стр 301–320, 2005.

[3] Фридман, J., Р. Тибширэни и Т. Хэсти. Пути к регуляризации для Обобщенных линейных Моделей через Координатный Спуск. Журнал Статистического программного обеспечения, Издания 33, № 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, 2-го выпуска. Спрингер, Нью-Йорк, 2008.

[5] Маккуллаг, P. и Дж. А. Нелдер. Обобщенные линейные Модели, 2-й выпуск. Chapman & Hall/CRC Press, 1989.

Для просмотра документации необходимо авторизоваться на сайте