exponenta event banner

Байесовская линейная регрессия

Линейная регрессия является статистическим инструментом, используемым для:

  • Изучите линейные зависимости или влияния предикторных или объяснительных переменных на переменные ответа.

  • Прогнозировать или прогнозировать будущие ответы с учетом будущих данных предиктора.

Модель множественной линейной регрессии (MLR)

yt = xtβ + αt.

Для времени t = 1,...,T:

  • yt - наблюдаемый ответ.

  • xt - вектор строки 1-by- (p + 1) наблюдаемых значений p предикторов. Чтобы разместить пересечение модели, x1t = 1 для всех t.

  • β - вектор (p + 1) -by-1-столбца коэффициентов регрессии, соответствующих переменным, составляющим столбцы xt.

  • δ t - случайное возмущение, которое имеет среднее значение ноль и Cov (λ) = Λ. В общем, Λ - это симметрическая, положительная определенная матрица T-by-T. Для простоты предположим, что возмущения некоррелированы и имеют общую дисперсию, то есть Λ = start2IT × T.

Значения β представляют ожидаемый предельный вклад соответствующих предикторов в yt. Когда предиктор xj увеличивается на одну единицу, ожидается, что y увеличится на βj единиц, предполагая, что все другие переменные остаются фиксированными. δ t - случайная разница между истинным и ожидаемым откликом в момент времени t.

Классический и байесовский анализы

Чтобы изучить линейные влияния предикторов на отклик, или построить прогностическую MLR, необходимо сначала оценить параметры β и start2. Частые статистики используют классический подход к оценке, то есть рассматривают параметры как фиксированные, но неизвестные величины. Популярные инструменты оценки частотности включают наименьшие квадраты и максимальную вероятность. Если возмущения являются независимыми, гомоскедастическими и гауссовыми или нормальными, то наименьшие квадраты и максимальная вероятность дают эквивалентные оценки. Выводы, такие как доверительные интервалы на оценках параметров или интервалы прогнозирования, основаны на распределении возмущений. Дополнительные сведения о частотном подходе к анализу MLR см. в разделе Регрессия временных рядов I: Линейные модели или [6], гл. 3. Большинство инструментов в Econometrics Toolbox™ являются частыми.

Байесовский подход к оценке и выводам моделей MLR рассматривает β и start2 как случайные величины, а не фиксированные, неизвестные величины. В общем, целью байесовского анализа является обновление вероятностных распределений параметров путем включения информации о параметрах из наблюдения данных. Перед выборкой данных имеются некоторые представления о совместном распределении параметров. После выборки вы объединяете вероятность, вызванную распределением данных, с вашими предыдущими убеждениями, чтобы составить совместное условное распределение параметров, заданных данными. Особенности и функции результирующего распределения являются основой для оценки и вывода.

Основные байесовские компоненты анализа

Одной из основных целей байесовского анализа является вычисление или выборка из заднего распределения (или заднего). Задним является распределение параметров, обновленных с помощью (или заданных) данных, и состоит из этих величин:

  • Функция правдоподобия - информация, которую образец предоставляет о параметрах. Если взять случайную выборку, то вероятность для MLR равна

    (β, start2 | y, x) =∏t=1TP (yt 'xt, β, start2).

    P (yt 'xt, β, start2) - функция плотности условной вероятности yt, заданная параметрами и индуцированная условным распределением αt. Обычно xt - фиксированное количество. Если нарушения независимы, гомоскедастические и гауссовы, то

    (β, start2 | y, x) =∏t=1Tϕ (yt; xtβ, start2).

    (yt; xtβ, start2) - гауссова плотность вероятности со средним значением xtβ и дисперсией start2, оцениваемая при yt.

  • Предыдущие распределения (или приоры) по параметрам - распределение параметров, которое предполагается перед наблюдением за данными. Навязывание предварительных допущений распределения параметрам имеет преимущество перед частотным анализом: приоры позволяют включить знания о модели перед просмотром данных. Можно управлять уверенностью в своих знаниях о параметре, корректируя предыдущее отклонение. Указание высокого отклонения означает, что вы очень мало знаете о параметре, и вы хотите взвесить информацию в данных о параметрах более сильно. Указание низкой дисперсии подразумевает высокую уверенность в ваших знаниях о параметре, и вы хотите учесть эти знания в анализе.

    На практике приоры используются для удобства, а не для следования мнению исследователя о фактическом распределении параметров. Например, можно выбрать приоры так, чтобы соответствующее апостериорное распределение находилось в одном семействе распределений. Эти предшествующие и задние пары называются сопряженными распределениями. Однако выбор приоров может повлиять на оценку и вывод, поэтому следует выполнить анализ чувствительности с оценкой.

    Приоры могут содержать параметры, называемые гиперпараметрами, которые могут иметь сами распределения вероятностей. Такие модели называются иерархическими байесовскими моделями.

    Для MLR предшествующие распределения обычно обозначаются как λ (β) и λ (λ 2). Популярным выбором является нормально-обратно-гамма-сопряжённая модель, в которой λ (β 'start2) является многомерным гауссовым или многомерным нормальным распределением, а (λ 2) - обратным гамма-распределением.

Можно содержать совместное апостериорное распределение β и start2 с помощью Правила Байеса, то есть

δ (β, λ 2 | y, x) = λ (β) λ (λ 2) (β, start2 | y, x) ∫β,σ2π (β) λ (start2) (β, start2 | y, x) dβdσ2∝π (β) δ (start2) ℓ (β, start2 | y, x).

Если β зависит от start2, то его предшествующую следует заменить на λ (β 'start2). Знаменателем является распределение отклика, заданного предикторами, и он становится константой после наблюдения y. Поэтому задняя часть часто записывается как пропорциональная числителю.

Апостериор похож на любое другое совместное распределение вероятности случайных величин, и он содержит всю информацию, известную о параметрах после включения данных. Оценки и выводы параметров основаны главным образом на интегралах функций параметров по отношению к заднему распределению.

Апостериорная оценка и вывод

Задняя оценка и вывод включают интегрирование функций параметров относительно задней. Популярные оценки и выводы для параметров MLR включают в себя следующее:

  • Ожидаемое значение β, указанное в данных, равно

    β ^ = E (β 'y, x) =∫β,σ2βπ (β,

    Эта величина обеспечивает естественную интерпретацию и является оценщиком минимальной среднеквадратичной ошибки (MSE), то есть минимизирует E [(β ^ β) 2 | y, x]. Медиана, режим или квантиль могут быть оценщиками Байеса относительно других потерь.

  • Максимальная априорная оценка (MAP) - значение параметра, которое максимизирует апостериорное распределение.

  • Учитывая данные, прогнозируемый ответ y ^ предсказателя x ^ является случайной величиной с задним прогнозирующим распределением.

    δ (y ^ | y, x, x ^) =∫β,σ2f (y ^ | β, λ, x ^) λ (β,

    Эту величину можно рассматривать как условное ожидаемое значение распределения вероятности y по отношению к заднему распределению параметров.

  • 95% доверительный интервал на β (или достоверный интервал) - набор S так, что P (β ∊ S 'y, x) = 0,95. Это уравнение дает бесконечно много интервалов, включая:

    • Равный интервал, который является интервалом (L, U), таким, что P < L 'y, x) = 0,025 и P (β > U' y, x) = 0,025.

    • Область наибольшей задней плотности (HPD), которая является самым узким интервалом (или интервалами), дающим заданную вероятность. Он обязательно содержит наибольшие задние значения.

    В отличие от интерпретации частотных доверительных интервалов, интерпретация байесовских доверительных интервалов такова, что, учитывая данные, вероятность того, что случайный β находится в интервале (интервалах) S, равна 0,95. Эта интерпретация интуитивно понятна, что является преимуществом байесовских доверительных интервалов по сравнению с частотными доверительными интервалами.

  • Предельные задние вероятности включения переменных, также называемые вероятностями режима, являются результатом реализации стохастического выбора переменных поиска (SSVS) и указывают, являются ли прогнозирующие переменные незначительными или избыточными в байесовской модели линейной регрессии. В SSVS β имеет многомерное, двухкомпонентное распределение гауссовой смеси. Оба компонента имеют среднее нулевое значение, но один компонент имеет большую дисперсию, а другой компонент имеет малую дисперсию. Незначительные предикторы, вероятно, будут близки к нулю; следовательно, они из компонента с небольшой дисперсией. SSVS-выборки из пространства 2p + 1 перестановок модели, каждая перестановка включает или исключает коэффициент, а модели с наибольшей задней плотностью дискретизируются чаще. Вероятности режимов получаются из отобранных моделей.

Методы интегрирования зависят от функциональной формы произведения λ (β) λ (start2) (β, start2 | y, x) и интегранда, например, h (β, start2).

  • Если произведение образует ядро известного распределения вероятностей, то интегралы h (β, start2) по отношению к заднему могут быть аналитически прослеживаемыми. Известные ядра часто возникают при выборе приоров и потомков для образования сопряжённых пар. В этих случаях первые несколько моментов распределения обычно известны, и оценки основаны на них. Для получения подробной информации об аналитически отслеживаемых задних распределениях, предлагаемых структурой байесовской модели линейной регрессии в Econometrics Toolbox, см. Аналитически отслеживаемые апостериоры.

  • В противном случае необходимо использовать методы численного интегрирования для вычисления интегралов h (β, start2) относительно задних распределений. При определенных условиях можно реализовать числовую интеграцию с помощью выборки Monte Carlo или Markov chain Monte Carlo (MCMC).

    • Для выполнения оценки Монте-Карло из распределения вероятностей извлекается множество выборок, к каждому розыгрышу применяется соответствующая функция (h (β, start2) - множитель в функции), а результирующие розыгрыши усредняются для аппроксимации интеграла. Популярная методика Монте-Карло - выборка важности ресамплинга [6].

    • MCMC реализуется, когда вы не знаете распределения вероятности до константы, или вы знаете условные распределения всех параметров по крайней мере до константы. Популярные методы MCMC включают выборку Гиббса [2], алгоритм Метрополиса-Гастингса [5] и выборку среза [9].

    Для получения подробной информации о задней оценке байесовской модели линейной регрессии в Econometrics Toolbox, когда задняя часть трудноразрешима, см. Аналитически трудноразрешимые задние части.

Аналитически отслеживаемые апостериоры

Байесовская структура линейной регрессии в Econometrics Toolbox предлагает несколько предыдущих спецификаций модели, которые дают аналитически прослеживаемые, сопряженные маргинальные или условные апостериоры. Эта таблица идентифицирует предыдущие модели и их соответствующие апостериоры. При передаче предыдущей модели и данных estimateMATLAB ® использует эти формулы. Когда программное обеспечение конструирует апостериоры, оно предполагает, что данные ответа yt, t = 1,...,T, являются случайной выборкой из гауссова распределения со средним значением xtβ и дисперсией start2.

Предшествующий объект моделиУголовное прошлоеПредельные апостериорыУсловные апостериоры
conjugateblm

β 'start2 ~ Np + 1 (λ, σ2V) .start2 ~ IG (A, B).

β и start2 независимы.

β'y, x~tp+1 ((V−1+X′X) −1 [(X′X) β^ + V−1μ], 2B−1 + (y−Xβ^) (y−Xβ^) + (β^−μ) [V + (X′X) −1] −1 (β^−μ) 2A+T, 2A+T).σ2|y, x~IG (A+T2, [B−1+12 (y−Xβ^) (y−Xβ^) +12 (β^−μ) [V + (X′X) −1] −1 (β^−μ)] −1).

β 'start2, y, x ~ Np + 1 ((V−1+X′X) 1 [(X′X) β ^ + V ], start2 (V−1+X′X) 1) .start2 | β, y, x ~ IG (A + T + p + 12, [B 1 + 12 (y − Xβ) ′ (y − Xβ) + 12 (β − λ) ′ V
semiconjugateblm

β 'start2 ~ Np + 1 (λ, V) .start2 ~ IG (A, B).

β и start2 являются зависимыми.

Аналитически труднореализуемый

β "start2, y, x ~ Np + 1 ((V−1+σ−2X′X) 1 [λ 2 (X′X) β ^ + V ], (V−1+X′X) 1) .start2 | β, y, x ~ IG (A + T2, [B − 1 + 12 (y − Xβ) ′ (y − Xβ)] − 1).

diffuseblm

Совместное предыдущее pdf

fβ,σ2(β,σ2)∝1σ2.

β 'y, x ~ tp + 1 (β ^, (y ^) (y ^) T p 1 (X′X) 1, T p 1) .start2 | y, x ~ IG (T − p − 12, [12 (y − Xβ ^) ′ (y − Xβ ^)] − 1).

β 'start2, y, x ~ Np + 1 (β ^, start2 (X′X) 1) .start2 | β, y, x ~ IG (T2, [12 (y − Xβ) ′ (y − Xβ)] − 1).

mixconjugateblm

γ = {γ 1,..., γ p + 1} ~ p (γ). ∀j, γj∈{0,1}. ∀j, βj '

Хотя предельные апостериоры являются аналитически отслеживаемыми, MATLAB рассматривает их как трудноразрешимые для масштабируемости (см. [1]).

Аналитически прослеживается, если γ j и γ k независимы, для всех jk

γj j, σ2, X, y~Bernoulli (ajaj+bj); j=1..., p+1. j, aj=P (γj=1) ϕ (0, σ2Vj1 ). j, bj=P (γj=0) ϕ (0, σ2Vj2 ).β 'σ2, γ, X, y~Np+1 ((V ∗−1+X′X) −1X′Y, σ2 (V ∗−1+X′X) −1).σ2 , X, y~IG (A+T+p+12, [B−1+12 (y−Xβ) (y−Xβ) +12β ′ V ∗−1β]−1).

mixsemiconjugateblm

γ = {γ 1,..., γ p + 1} ~ p (γ). ∀j, γj∈{0,1}. ∀j, βj '

Аналитически труднореализуемый

Аналитически прослеживается, если γ j и γ k независимы, для всех jk

γj j, σ2, X, y~Bernoulli (ajaj+bj); j=1..., p+1. j, aj=P (γj=1) ϕ (0, Vj1 ). j, bj=P (γj=0) ϕ (0, Vj2 ).β 'σ2, γ, X, y~Np+1 ((V ∗−1 +σ−2X′X) −1X′Y, (V ∗−1 +σ−2X′X) −1).σ2 , X, y~IG (A+T2, [B−1+12 (y−Xβ) ′ (y−Xβ)] −1).

lassoblm

βj 'start2, λ ~ Лаплас (0, λ/λ); j = 0,.., p.start2 ~ IG (A, B).

Коэффициенты независимы, априори.

Аналитически труднореализуемый

1ψj 'βj, σ2, λ ~ InvGaussian (σλ / |βj |,λ2); j=1..., p+1. D=diag (ψ1..., ψp+1)'σ2, λ, X, y, ψ ~ Np+1 ((X′X+D) −1X′y, σ2 (X′X+D) −1).σ2 , X, y, ψ ~ IG (A+T+p+12, [B−1+12 (y−Xβ) (y−Xβ) +12β ′ Dβ]−1).

В таблице:

  • Np + 1 (m, Λ) обозначает (p + 1) -мерное многомерное нормальное распределение, где m - среднее (a (p + 1) -by-1 вектор), а Λ - дисперсию (a (p + 1) -by- (p + 1) симметричную, положительную определённую матрицу).

  • IG (A, B) обозначает обратное гамма-распределение с формой A > 0 и шкалой B > 0. PDF-файла IG (A, B):

    f (x; A, B) = (A) BAx A − 1e − 1xB.

  • X является T-by- (p + 1) матрицей данных предсказателя, то есть xjk является наблюдением j предсказателя k. Первый столбец полностью состоит из столбцов для перехвата.

  • y - T-by-1 вектор ответов.

  • tp+1 (m, Σ) обозначает (p + 1) - размерное многомерное t распределение, где m - местоположение, Σ - масштаб, и ν - степени свободы.

  • β ^ = (X′X) −1X′y, то есть оценка наименьших квадратов β.

  • V * j1 - предыдущий коэффициент дисперсии (mixconjugate) или отклонение (mixsemiconjugate) βj, когда γ j = 1, и V * j2 является его предыдущим коэффициентом дисперсии или дисперсией, когда γ j = 0.

  • V * - (p + 1) -by- (p + 1) диагональная матрица, а элемент j, j - γ jV * j1 + (1 - γ j) V * j2.

  • mixconjugateblm и mixsemiconjugateblm модели поддерживают предыдущие средние спецификации для β, отличные от нулевого вектора по умолчанию для обоих компонентов модели гауссовой смеси. Если изменить предыдущее среднее β по умолчанию, то соответствующие условные апостериорные распределения включают предшествующие средства так же, как условные апостериорные распределения conjugateblm и semiconjugateblm модели включают предыдущие средства.

  • λ - фиксированный параметр усадки лассо.

  • InvGaussian (m, v) обозначает обратный гауссов (Wald) со средним значением m и формой v.

Неразрешимые с точки зрения анализа апостериоры

Байесовская структура линейной регрессии в Econometrics Toolbox предлагает несколько предыдущих спецификаций модели, которые дают аналитически трудноразрешимые, но гибкие, маргинальные и условные апостериоры. Эта таблица идентифицирует предыдущие модели и методы выборки Монте-Карло, которые MATLAB использует для выполнения задней оценки, моделирования и вывода при передаче предыдущей модели и данных в estimate, simulate, или forecast.

Предшествующий объект моделиУголовное прошлоеМетодика моделирования для краевого заднего отделаМетодика моделирования для условного заднего
semiconjugateblm

β 'start2 ~ Np + 1 (λ, V) .start2 ~ IG (A, B).

β и start2 являются зависимыми.

Пробоотборник Гиббса [2]Условный задний является аналитически прослеживаемым
empiricalblmХарактеризуется извлечениями из соответствующих предыдущих распределенийПовторная выборка важности выборки [4]Не поддерживается
customblmХарактеризуется сочетанием pdf. в объявленной функции
  • Гамильтонианский образец Монте-Карло [8]

  • Пробоотборник Random Walk Metropolis [7]

  • Пробоотборник срезов [9]

  • Гамильтонианский образец Монте-Карло

  • Выборка Random Walk Metropolis

  • Пробоотборник срезов

mixconjugateblm

γ = {γ 1,..., γ p + 1} ~ p (γ). ∀j, γj∈{0,1}. ∀j, βj '

Пробоотборник Гиббса [1]Условный задний является аналитически прослеживаемым
mixsemiconjugateblm

γ = {γ 1,..., γ p + 1} ~ p (γ). ∀j, γj∈{0,1}. ∀j, βj '

Пробоотборник Гиббса [1]Условный задний является аналитически прослеживаемым
lassoblm

βj 'start2, λ ~ Лаплас (0, λ/λ); j = 0,.., p.start2 ~ IG (A, B).

Коэффициенты независимы, априори.

Пробоотборник Гиббса [10] Условный задний является аналитически прослеживаемым

Ссылки

[1] Джордж, Э. И. и Р. Э. Маккаллох. «Выбор переменной с помощью выборки Гиббса». Журнал Американской статистической ассоциации. т. 88, № 423, 1993, стр. 881-889.

[2] Гельфанд, А. Э. и А. Ф. М. Смит. «Подходы на основе выборки к расчету предельных плотностей». Журнал Американской статистической ассоциации. Том 85, 1990, стр. 398-409.

[3] Гельман, А., Дж. Б. Карлин, Х. С. Стерн и Д. Б. Рубин. Байесовский анализ данных, 2-й. Эд. Бока Ратон, FL: Chapman & Hall/CRC, 2004.

[4] Гордон, N. J., Д. Дж. Салмонд и А. Ф. М. Смит. «Новый подход к нелинейной/негауссовой байесовской оценке состояния». Процедуры IEEE F по радиолокационной и сигнальной обработке. Том 140, 1993, стр. 107-113.

[5] Гастингс, В. К. «Методы выборки Монте-Карло с использованием цепей Маркова и их применений». Биометрика. Том 57, 1970, стр. 97-109.

[6] Марин, Дж. М. и К. П. Роберт. Байесовская основа: практический подход к вычислительной байесовской статистике. Нью-Йорк: Springer Science + Business Media, LLC, 2007 .

[7] Метрополис, Н., А. В. Розенблут, М. Н. Розенблут, А. Х. Теллер и Э. Теллер. «Уравнения вычислений состояний с помощью быстродействующей вычислительной машины». Дж. Хим. физ. т. 21, 1953, с. 1087-1091.

[8] Нил, Р. М. «MCMC с использованием гамильтоновой динамики». В С. Бруксе, А. Гельмане, Г. Джонсе и X.-L. Мэн (ред.) Справочник Марковской цепи Монте-Карло. Бока Ратон, ФЛ: Чепмен энд Холл/КПР, 2011.

[9] Нил, Р. М. «Проба ломтиков». Анналы статистики. Том 31, 2003, стр. 705-767.

[10] Парк, T. и Г. Казелла. «Байесовский Лассо.» Журнал Американской статистической ассоциации. т. 103, № 482, 2008, стр. 681-686.

См. также

| | | | | | |

Связанные темы