Линейная регрессия является статистическим инструментом, используемым для:
Изучите линейные зависимости или влияния предикторных или объяснительных переменных на переменные ответа.
Прогнозировать или прогнозировать будущие ответы с учетом будущих данных предиктора.
Модель множественной линейной регрессии (MLR)
αt.
Для времени t = 1,...,T:
yt - наблюдаемый ответ.
xt - вектор строки 1-by- (p + 1) наблюдаемых значений p предикторов. Чтобы разместить пересечение модели, x1t = 1 для всех t.
β - вектор (p + 1) -by-1-столбца коэффициентов регрессии, соответствующих переменным, составляющим столбцы xt.
δ t - случайное возмущение, которое имеет среднее значение ноль и Cov (λ) = Λ. В общем, Λ - это симметрическая, положительная определенная матрица T-by-T. Для простоты предположим, что возмущения некоррелированы и имеют общую дисперсию, то есть Λ = start2IT × T.
Значения β представляют ожидаемый предельный вклад соответствующих предикторов в yt. Когда предиктор xj увеличивается на одну единицу, ожидается, что y увеличится на βj единиц, предполагая, что все другие переменные остаются фиксированными. δ t - случайная разница между истинным и ожидаемым откликом в момент времени t.
Чтобы изучить линейные влияния предикторов на отклик, или построить прогностическую MLR, необходимо сначала оценить параметры β и start2. Частые статистики используют классический подход к оценке, то есть рассматривают параметры как фиксированные, но неизвестные величины. Популярные инструменты оценки частотности включают наименьшие квадраты и максимальную вероятность. Если возмущения являются независимыми, гомоскедастическими и гауссовыми или нормальными, то наименьшие квадраты и максимальная вероятность дают эквивалентные оценки. Выводы, такие как доверительные интервалы на оценках параметров или интервалы прогнозирования, основаны на распределении возмущений. Дополнительные сведения о частотном подходе к анализу MLR см. в разделе Регрессия временных рядов I: Линейные модели или [6], гл. 3. Большинство инструментов в Econometrics Toolbox™ являются частыми.
Байесовский подход к оценке и выводам моделей MLR рассматривает β и start2 как случайные величины, а не фиксированные, неизвестные величины. В общем, целью байесовского анализа является обновление вероятностных распределений параметров путем включения информации о параметрах из наблюдения данных. Перед выборкой данных имеются некоторые представления о совместном распределении параметров. После выборки вы объединяете вероятность, вызванную распределением данных, с вашими предыдущими убеждениями, чтобы составить совместное условное распределение параметров, заданных данными. Особенности и функции результирующего распределения являются основой для оценки и вывода.
Одной из основных целей байесовского анализа является вычисление или выборка из заднего распределения (или заднего). Задним является распределение параметров, обновленных с помощью (или заданных) данных, и состоит из этих величин:
Функция правдоподобия - информация, которую образец предоставляет о параметрах. Если взять случайную выборку, то вероятность для MLR равна
, β, start2).
start2) - функция плотности условной вероятности yt, заданная параметрами и индуцированная условным распределением αt. Обычно xt - фиксированное количество. Если нарушения независимы, гомоскедастические и гауссовы, то
xtβ, start2).
(yt; xtβ, start2) - гауссова плотность вероятности со средним значением xtβ и дисперсией start2, оцениваемая при yt.
Предыдущие распределения (или приоры) по параметрам - распределение параметров, которое предполагается перед наблюдением за данными. Навязывание предварительных допущений распределения параметрам имеет преимущество перед частотным анализом: приоры позволяют включить знания о модели перед просмотром данных. Можно управлять уверенностью в своих знаниях о параметре, корректируя предыдущее отклонение. Указание высокого отклонения означает, что вы очень мало знаете о параметре, и вы хотите взвесить информацию в данных о параметрах более сильно. Указание низкой дисперсии подразумевает высокую уверенность в ваших знаниях о параметре, и вы хотите учесть эти знания в анализе.
На практике приоры используются для удобства, а не для следования мнению исследователя о фактическом распределении параметров. Например, можно выбрать приоры так, чтобы соответствующее апостериорное распределение находилось в одном семействе распределений. Эти предшествующие и задние пары называются сопряженными распределениями. Однако выбор приоров может повлиять на оценку и вывод, поэтому следует выполнить анализ чувствительности с оценкой.
Приоры могут содержать параметры, называемые гиперпараметрами, которые могут иметь сами распределения вероятностей. Такие модели называются иерархическими байесовскими моделями.
Для MLR предшествующие распределения обычно обозначаются как λ (β) и λ (λ 2). Популярным выбором является нормально-обратно-гамма-сопряжённая модель, в которой λ (β 'start2) является многомерным гауссовым или многомерным нормальным распределением, а (λ 2) - обратным гамма-распределением.
Можно содержать совместное апостериорное распределение β и start2 с помощью Правила Байеса, то есть
dβdσ2∝π (β) δ (start2) ℓ (β, start2 | y, x).
Если β зависит от start2, то его предшествующую следует заменить на λ (β 'start2). Знаменателем является распределение отклика, заданного предикторами, и он становится константой после наблюдения y. Поэтому задняя часть часто записывается как пропорциональная числителю.
Апостериор похож на любое другое совместное распределение вероятности случайных величин, и он содержит всю информацию, известную о параметрах после включения данных. Оценки и выводы параметров основаны главным образом на интегралах функций параметров по отношению к заднему распределению.
Задняя оценка и вывод включают интегрирование функций параметров относительно задней. Популярные оценки и выводы для параметров MLR включают в себя следующее:
Ожидаемое значение β, указанное в данных, равно
,
Эта величина обеспечивает естественную интерпретацию и является оценщиком минимальной среднеквадратичной ошибки (MSE), то есть минимизирует | y, x]. Медиана, режим или квантиль могут быть оценщиками Байеса относительно других потерь.
Максимальная априорная оценка (MAP) - значение параметра, которое максимизирует апостериорное распределение.
Учитывая данные, прогнозируемый ответ ^ предсказателя ^ является случайной величиной с задним прогнозирующим распределением.
(β,
Эту величину можно рассматривать как условное ожидаемое значение распределения вероятности y по отношению к заднему распределению параметров.
95% доверительный интервал на β (или достоверный интервал) - набор S так, что P (β ∊ S 'y, x) = 0,95. Это уравнение дает бесконечно много интервалов, включая:
Равный интервал, который является интервалом (L, U), таким, что P (β < L 'y, x) = 0,025 и P (β > U' y, x) = 0,025.
Область наибольшей задней плотности (HPD), которая является самым узким интервалом (или интервалами), дающим заданную вероятность. Он обязательно содержит наибольшие задние значения.
В отличие от интерпретации частотных доверительных интервалов, интерпретация байесовских доверительных интервалов такова, что, учитывая данные, вероятность того, что случайный β находится в интервале (интервалах) S, равна 0,95. Эта интерпретация интуитивно понятна, что является преимуществом байесовских доверительных интервалов по сравнению с частотными доверительными интервалами.
Предельные задние вероятности включения переменных, также называемые вероятностями режима, являются результатом реализации стохастического выбора переменных поиска (SSVS) и указывают, являются ли прогнозирующие переменные незначительными или избыточными в байесовской модели линейной регрессии. В SSVS β имеет многомерное, двухкомпонентное распределение гауссовой смеси. Оба компонента имеют среднее нулевое значение, но один компонент имеет большую дисперсию, а другой компонент имеет малую дисперсию. Незначительные предикторы, вероятно, будут близки к нулю; следовательно, они из компонента с небольшой дисперсией. SSVS-выборки из пространства 2p + 1 перестановок модели, каждая перестановка включает или исключает коэффициент, а модели с наибольшей задней плотностью дискретизируются чаще. Вероятности режимов получаются из отобранных моделей.
Методы интегрирования зависят от функциональной формы произведения start2 | y, x) и интегранда, например, h (β, start2).
Если произведение образует ядро известного распределения вероятностей, то интегралы h (β, start2) по отношению к заднему могут быть аналитически прослеживаемыми. Известные ядра часто возникают при выборе приоров и потомков для образования сопряжённых пар. В этих случаях первые несколько моментов распределения обычно известны, и оценки основаны на них. Для получения подробной информации об аналитически отслеживаемых задних распределениях, предлагаемых структурой байесовской модели линейной регрессии в Econometrics Toolbox, см. Аналитически отслеживаемые апостериоры.
В противном случае необходимо использовать методы численного интегрирования для вычисления интегралов h (β, start2) относительно задних распределений. При определенных условиях можно реализовать числовую интеграцию с помощью выборки Monte Carlo или Markov chain Monte Carlo (MCMC).
Для выполнения оценки Монте-Карло из распределения вероятностей извлекается множество выборок, к каждому розыгрышу применяется соответствующая функция (h (β, start2) - множитель в функции), а результирующие розыгрыши усредняются для аппроксимации интеграла. Популярная методика Монте-Карло - выборка важности ресамплинга [6].
MCMC реализуется, когда вы не знаете распределения вероятности до константы, или вы знаете условные распределения всех параметров по крайней мере до константы. Популярные методы MCMC включают выборку Гиббса [2], алгоритм Метрополиса-Гастингса [5] и выборку среза [9].
Для получения подробной информации о задней оценке байесовской модели линейной регрессии в Econometrics Toolbox, когда задняя часть трудноразрешима, см. Аналитически трудноразрешимые задние части.
Байесовская структура линейной регрессии в Econometrics Toolbox предлагает несколько предыдущих спецификаций модели, которые дают аналитически прослеживаемые, сопряженные маргинальные или условные апостериоры. Эта таблица идентифицирует предыдущие модели и их соответствующие апостериоры. При передаче предыдущей модели и данных estimateMATLAB ® использует эти формулы. Когда программное обеспечение конструирует апостериоры, оно предполагает, что данные ответа yt, t = 1,...,T, являются случайной выборкой из гауссова распределения со средним значением xtβ и дисперсией start2.
| Предшествующий объект модели | Уголовное прошлое | Предельные апостериоры | Условные апостериоры |
|---|---|---|---|
conjugateblm |
IG (A, B). β и start2 независимы. |
(X′X) −1] −1 (β^−μ)] −1).
| + 12 (y − Xβ) ′ (y − Xβ) + 12 (β − λ) ′ V |
semiconjugateblm |
IG (A, B). β и start2 являются зависимыми. | Аналитически труднореализуемый |
A + T2, [B − 1 + 12 (y − Xβ) ′ (y − Xβ)] − 1).
|
diffuseblm | Совместное предыдущее pdf |
~ IG (T − p − 12, [12 (y − Xβ ^) ′ (y − Xβ ^)] − 1).
|
[12 (y − Xβ) ′ (y − Xβ)] − 1).
|
mixconjugateblm |
'
| Хотя предельные апостериоры являются аналитически отслеживаемыми, MATLAB рассматривает их как трудноразрешимые для масштабируемости (см. [1]). | Аналитически прослеживается, если γ j и γ k независимы, для всех j ≠ k +12β ′ V ∗−1β]−1). |
mixsemiconjugateblm |
'
| Аналитически труднореализуемый | Аналитически прослеживается, если γ j и γ k независимы, для всех j ≠ k ′ (y−Xβ)] −1). |
lassoblm |
IG (A, B). Коэффициенты независимы, априори. | Аналитически труднореализуемый |
+12β ′ Dβ]−1).
|
В таблице:
Np + 1 (m, Λ) обозначает (p + 1) -мерное многомерное нормальное распределение, где m - среднее (a (p + 1) -by-1 вектор), а Λ - дисперсию (a (p + 1) -by- (p + 1) симметричную, положительную определённую матрицу).
IG (A, B) обозначает обратное гамма-распределение с формой A > 0 и шкалой B > 0. PDF-файла IG (A, B):
A − 1e − 1xB.
X является T-by- (p + 1) матрицей данных предсказателя, то есть xjk является наблюдением j предсказателя k. Первый столбец полностью состоит из столбцов для перехвата.
y - T-by-1 вектор ответов.
tp+1 (m, Σ,ν) обозначает (p + 1) - размерное многомерное t распределение, где m - местоположение, Σ - масштаб, и ν - степени свободы.
−1X′y, то есть оценка наименьших квадратов β.
V * j1 - предыдущий коэффициент дисперсии (mixconjugate) или отклонение (mixsemiconjugate) βj, когда γ j = 1, и V * j2 является его предыдущим коэффициентом дисперсии или дисперсией, когда γ j = 0.
V * - (p + 1) -by- (p + 1) диагональная матрица, а элемент j, j - γ jV * j1 + (1 - γ j) V * j2.
mixconjugateblm и mixsemiconjugateblm модели поддерживают предыдущие средние спецификации для β, отличные от нулевого вектора по умолчанию для обоих компонентов модели гауссовой смеси. Если изменить предыдущее среднее β по умолчанию, то соответствующие условные апостериорные распределения включают предшествующие средства так же, как условные апостериорные распределения conjugateblm и semiconjugateblm модели включают предыдущие средства.
λ - фиксированный параметр усадки лассо.
InvGaussian (m, v) обозначает обратный гауссов (Wald) со средним значением m и формой v.
Байесовская структура линейной регрессии в Econometrics Toolbox предлагает несколько предыдущих спецификаций модели, которые дают аналитически трудноразрешимые, но гибкие, маргинальные и условные апостериоры. Эта таблица идентифицирует предыдущие модели и методы выборки Монте-Карло, которые MATLAB использует для выполнения задней оценки, моделирования и вывода при передаче предыдущей модели и данных в estimate, simulate, или forecast.
| Предшествующий объект модели | Уголовное прошлое | Методика моделирования для краевого заднего отдела | Методика моделирования для условного заднего |
|---|---|---|---|
semiconjugateblm |
IG (A, B). β и start2 являются зависимыми. | Пробоотборник Гиббса [2] | Условный задний является аналитически прослеживаемым |
empiricalblm | Характеризуется извлечениями из соответствующих предыдущих распределений | Повторная выборка важности выборки [4] | Не поддерживается |
customblm | Характеризуется сочетанием pdf. в объявленной функции |
| |
mixconjugateblm |
'
| Пробоотборник Гиббса [1] | Условный задний является аналитически прослеживаемым |
mixsemiconjugateblm |
'
| Пробоотборник Гиббса [1] | Условный задний является аналитически прослеживаемым |
lassoblm |
IG (A, B). Коэффициенты независимы, априори. | Пробоотборник Гиббса [10] | Условный задний является аналитически прослеживаемым |
[1] Джордж, Э. И. и Р. Э. Маккаллох. «Выбор переменной с помощью выборки Гиббса». Журнал Американской статистической ассоциации. т. 88, № 423, 1993, стр. 881-889.
[2] Гельфанд, А. Э. и А. Ф. М. Смит. «Подходы на основе выборки к расчету предельных плотностей». Журнал Американской статистической ассоциации. Том 85, 1990, стр. 398-409.
[3] Гельман, А., Дж. Б. Карлин, Х. С. Стерн и Д. Б. Рубин. Байесовский анализ данных, 2-й. Эд. Бока Ратон, FL: Chapman & Hall/CRC, 2004.
[4] Гордон, N. J., Д. Дж. Салмонд и А. Ф. М. Смит. «Новый подход к нелинейной/негауссовой байесовской оценке состояния». Процедуры IEEE F по радиолокационной и сигнальной обработке. Том 140, 1993, стр. 107-113.
[5] Гастингс, В. К. «Методы выборки Монте-Карло с использованием цепей Маркова и их применений». Биометрика. Том 57, 1970, стр. 97-109.
[6] Марин, Дж. М. и К. П. Роберт. Байесовская основа: практический подход к вычислительной байесовской статистике. Нью-Йорк: Springer Science + Business Media, LLC, 2007 .
[7] Метрополис, Н., А. В. Розенблут, М. Н. Розенблут, А. Х. Теллер и Э. Теллер. «Уравнения вычислений состояний с помощью быстродействующей вычислительной машины». Дж. Хим. физ. т. 21, 1953, с. 1087-1091.
[8] Нил, Р. М. «MCMC с использованием гамильтоновой динамики». В С. Бруксе, А. Гельмане, Г. Джонсе и X.-L. Мэн (ред.) Справочник Марковской цепи Монте-Карло. Бока Ратон, ФЛ: Чепмен энд Холл/КПР, 2011.
[9] Нил, Р. М. «Проба ломтиков». Анналы статистики. Том 31, 2003, стр. 705-767.
[10] Парк, T. и Г. Казелла. «Байесовский Лассо.» Журнал Американской статистической ассоциации. т. 103, № 482, 2008, стр. 681-686.
bayeslm | conjugateblm | customblm | diffuseblm | empiricalblm | estimate | forecast | semiconjugateblm