Байесовская линейная регрессия

Линейная регрессия является статистическим инструментом, используемым для:

Исследуйте линейные зависимости или влияния predictor или explanatory переменных на переменные response.
Прогнозируйте или прогнозируйте будущие ответы, учитывая будущие данные предиктора.

Модель multiple linear regression (MLR) является

$y_{t} = x_{t} β + ε_{t} .$

Для времен t = 1,..., T:

_yt - наблюдаемая реакция.
_xt является 1-бай- (p + 1) вектором-строкой наблюдаемых значений p предикторов. Чтобы разместить точку пересечения модели, _x1 t = 1 для всех t.
β является (p + 1) -на-1 вектор-столбец коэффициентов регрессии, соответствующих переменным, которые составляют столбцы _xt.
_εt - это случайное нарушение порядка, которое имеет среднее значение нуля и Cov (ε) = Ω. В целом Ω является T -by T симметричной, положительно определенной матрицей. Для простоты предположим, что нарушения порядка являются некоррелированными и имеют общее отклонение, то есть Ω = σ²<reservedrangesplaceholder2> <reservedrangesplaceholder1> × <reservedrangesplaceholder0>.

Значения β представляют ожидаемые предельные вклады соответствующих предикторов в _yt. Когда _xj предиктора увеличивается на один модуль, ожидается, что y увеличится на _βj модулей, если предположить, что все другие переменные сохранены фиксированными. _εt - это случайное различие между истинным и ожидаемым откликом в момент t.

Классический и байесовский анализы

Чтобы изучить линейные влияния предикторов на ответ или создать прогнозирующий MLR, вы должны сначала оценить параметры β и σ². Frequentist статистики используют классический подход к оценке, то есть рассматривают параметры как фиксированные, но неизвестные величины. Популярные инструменты оценки частота включают наименьшие квадраты и максимальную правдоподобность. Если нарушения порядка являются независимыми, гомоскедастическими и Гауссовыми или нормальными, то наименьшие квадраты и максимальная вероятность дают эквивалентные оценки. Выводы, такие как доверительные интервалы на оценках параметра или интервалы предсказания, основаны на распределении нарушений порядка. Для получения дополнительной информации о частотном подходе к анализу MLR, смотрите Регрессия временных рядов I: Линейные модели или [6], ч. 3. Большинство инструментов в Econometrics Toolbox™ являются частыми.

Bayesian подход к оценке и выводу моделей MLR лечит β и σ² как случайные переменные, а не фиксированные, неизвестные величины. В целом, цель байесовского анализа состоит в том, чтобы обновить распределения вероятностей параметров путем включения информации о параметрах от наблюдения данных. До выборки данных у вас есть некоторые убеждения относительно совместного распределения параметров. После выборки вы комбинируете вероятность, вызванную распределением данных, с вашими предыдущими убеждениями, чтобы составить совместное условное распределение параметров, заданных данными. Признаки и функции полученного распределения являются базисом для оценки и вывода.

Основные компоненты байесовского анализа

Одной из основных целей байесовского анализа является вычисление, или выборка из, posterior distribution (или posterior). Апостериорным является распределение параметров, обновленных с помощью (или заданных) данных, и состоит из этих величин:

A likelihood function - информация, которую предоставляет выборка о параметрах. Если вы берете случайную выборку, то вероятность для MLR это

$ℓ (β, σ^{2} | y, x) = \prod_{t = 1}^{T} P (y_{t} | x_{t}, β, σ^{2}) .$
$P (y_{t} | x_{t}, β, σ^{2})$ - функция условной плотности вероятностей _yt заданная параметрами и вызванная условным распределением _εt. Обычно _xt является фиксированной величиной. Если нарушения порядка независимы, гомоскедастичны и гауссовы, то

$ℓ (β, σ^{2} | y, x) = \prod_{t = 1}^{T} ϕ (y_{t}; x_{t} β, σ^{2}) .$
ϕ (_yt; _xtβ, σ²) - Гауссова плотность вероятностей со средней _xtβ и отклонением σ², оцениваемый в _yt.
Prior distributions (или priors) на параметрах - Распределение параметров, которые вы предполагаете перед наблюдением данных. Наложение предварительных допущений о распределении на параметры имеет преимущество перед частотным анализом: priors позволяет включать знания о модели перед просмотром данных. Вы можете контролировать доверие в своих знаниях о параметре, скорректировав предыдущее отклонение. Установка высокого отклонения означает, что вы очень мало знаете о параметре, и вы хотите взвесить информацию в данных о параметрах более сильно. Установка низкого отклонения подразумевает высокое доверие в ваших знаниях о параметре, и вы хотите принять во внимание эти знания в анализе.
На практике вы используете априоры для удобства, а не следуете мнению исследователя о фактическом распределении параметров. Например, можно выбрать априоры, чтобы соответствующее апостериорное распределение находилось в одном семействе распределений. Эти предшествующие-апостериорные пары называются conjugate распределениями. Однако выбор априоров может повлиять на оценку и вывод, поэтому вы должны выполнить анализ чувствительности с оценкой.
Priors может содержать параметры, называемые hyperparameters, которые могут иметь распределения вероятностей себя. Такие модели называются hierarchical Bayesian models.
Для MLR предыдущие распределения обычно обозначаются как π (β) и π (σ²). Популярным выбором является normal-inverse-gamma conjugate model, в которой π (β | σ²) - многомерное Гауссово или многомерное нормальное распределение и π (σ²) - обратный гамма- распределение.

Можно содержать апостериорное распределение β и σ² использование правила Байеса, то есть,

$π (β, σ^{2} | y, x) = \frac{π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x)}{\int_{β, σ^{2}} π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x) d β d σ^{2}} \propto π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x) .$

Если β зависит от σ², затем его предыдущий должен быть заменен на π (β | σ²). Знаменатель является распределением отклика, заданным предикторами, и он становится константой после того, как вы наблюдаете y. Поэтому апостериор часто записывается как пропорциональный числителю.

Апостериор подобен любому другому совместному распределению вероятностей случайных переменных, и он содержит всю информацию, известную о параметрах после включения данных. Оценки и выводы параметров основаны в основном на интегралах функций параметров относительно апостериорного распределения.

Апостериорная оценка и вывод

Апостериорная оценка и вывод включают интегрирование функций параметров относительно апостериорной. Популярные оценки и выводы для параметров MLR включают следующее:

Ожидаемое значение β, заданное как данные,

$\hat{β} = E (β | y, x) = \int_{β, σ^{2}} β π (β, σ^{2} | y, x) d β d σ^{2} .$
Эта величина обеспечивает естественную интерпретацию и является оценщиком минимальной средней квадратичной невязки (MSE), то есть минимизирует $E [{(\hat{β} - β)}^{2} | y, x] .$ Медиана, режим или квантиль могут быть оценщиками Байеса относительно других потерь.
The maximum a priori estimate (MAP) - значение параметра, которое максимизирует апостериорное распределение.
Учитывая данные, предсказанный ответ $\hat{y}$ предиктора $\hat{x}$ является случайной переменной со posterior predictive distribution

$π (\hat{y} | y, x, \hat{x}) = \int_{β, σ^{2}} f (\hat{y} | β, σ, \hat{x}) π (β, σ^{2} | y, x) d β d σ^{2} .$
Можно просмотреть эту величину как условное ожидаемое значение распределения вероятностей y относительно апостериорного распределения параметров.
95%-й доверительный интервал на β (или credible interval) - установил S, таким образом что P (β ∊ <reservedrangesplaceholder2> | y, x) = 0.95. Это уравнение дает бесконечно много интервалов, включая:
- Equitailed interval, который является интервалом (L, U) таким образом что P (β <L | y, x) = 0.025 и P (β> U | y, x) = 0.025.
- Highest posterior density (HPD) область, которая является самым узким интервалом (или интервалами), получая заданную вероятность. Он обязательно содержит самые большие апостериорные значения.
В отличие от интерпретации частотных доверительных интервалов, интерпретация байесовских доверительных интервалов заключается в том, что, учитывая данные, вероятность того, что случайная β находится в S интервалов (интервалов ) (ов), составляет 0,95. Эта интерпретация интуитивно понятна, что является преимуществом байесовских доверительных интервалов по сравнению с частотными доверительными интервалами.
Маргинальные апостериорные вероятности включения переменных, также называемые вероятностями режима, являются результатом реализации выбора стохастической поисковой переменной (SSVS) и указывают, являются ли переменные предиктора незначительными или избыточными в байесовской линейной регрессионой модели. В SSVS β имеет многомерное, двухкомпонентное гауссовское распределение смеси. Оба компонента имеют среднее значение нуля, но один компонент имеет большое отклонение, а другой компонент имеет небольшое отклонение. Незначительные предикторы, вероятно, будут близки к нулю; поэтому они из компонента с малым отклонением. SSVS выборок из пространства 2^{p + 1} сочетания модели, каждое сочетание включает или исключает коэффициент, и модели с самой высокой апостериорной плотностью дискретизируются чаще. Вероятности режима получают из выборочных моделей.

Методы интегрирования зависят от функциональной формы продукта $π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x)$ и интегранд, для примера, h (β, σ²).

Если продукт формирует ядро известного распределения вероятностей, то интегралы h (β, σ²) относительно апостериорной может быть аналитически отслеживаемым. Известные ядра часто возникают, когда вы выбираете априоры и апостериоры, чтобы сформировать сопряженные пары. В этих случаях обычно известны первые несколько моментов распределения, и оценки основаны на них. Для получения дополнительной информации об аналитически отслеживаемых апостериорных распределениях, предлагаемых байесовскими линейными регрессиоными моделями среды в Econometrics Toolbox, см. «Аналитически отслеживаемые апостериоры».
В противном случае необходимо использовать численное интегрирование методы, чтобы вычислить интегралы h (β, σ²) относительно апостериорных распределений. При определенные обстоятельства можно реализовать численное интегрирование с помощью Monte Carlo или Markov chain Monte Carlo (MCMC) выборки.
- Чтобы выполнить оценку Монте-Карло, вы рисуете много выборок из распределения вероятностей, применяйте соответствующую функцию к каждому рисунку (h (β, σ²) является фактором в функции), и среднее значение получившихся рисунков для аппроксимации интеграла. Популярным методом Монте-Карло является повторная выборка важности [6].
- Вы реализуете MCMC, когда не знаете распределения вероятностей до константы, или знаете условные распределения всех параметров, по крайней мере, до константы. Популярные методы MCMC включают выборку Гиббса [2], алгоритм Metropolis-Hastings [5] и выборку среза [9].
Для получения дополнительной информации о апостериорной оценке байесовской модели линейной регрессии в Econometrics Toolbox, когда апостериор неразрешим, см. «Аналитически неразрешимые апостериоры».

Аналитически отслеживаемые апостериоры

Байесовская линейная регрессионная среда в Econometrics Toolbox предлагает несколько предшествующих спецификаций модели, которые дают аналитически отслеживаемые, сопряженные маргинальные или условные апостериоры. Эта таблица идентифицирует предыдущие модели и их соответствующих апостериоров. Когда вы передаете предыдущую модель и данные estimate, MATLAB^® использует эти формулы. Когда программное обеспечение создает апостериоры, оно принимает, что данные отклика _yt, t = 1,..., T, является случайной выборкой из Гауссова распределения со средними _xtβ и отклонением σ².

Предварительные Объекты модели	Уголовное прошлое	Маргинальные апостериоры	Условные апостериоры
`conjugateblm`	$\begin{array}{l} β \| σ^{2} ~ N_{p + 1} (μ, σ^{2} V) . \\ σ^{2} ~ I G (A, B) . \end{array}$ β и σ² являются независимыми.	$\begin{array}{l} β \| y, x ~ t_{p + 1} ({(V^{- 1} + X' X)}^{- 1} [(X' X) \hat{β} + V^{- 1} μ], \frac{2 B^{- 1} + {(y - X \hat{β})}^{'} (y - X \hat{β}) + {(\hat{β} - μ)}^{'} {[V + {(X' X)}^{- 1}]}^{- 1} (\hat{β} - μ)}{2 A + T}, 2 A + T) . \\ σ^{2} \| y, x ~ I G (A + \frac{T}{2}, {[B^{- 1} + \frac{1}{2} {(y - X \hat{β})}^{'} (y - X \hat{β}) + \frac{1}{2} {(\hat{β} - μ)}^{'} {[V + {(X' X)}^{- 1}]}^{- 1} (\hat{β} - μ)]}^{- 1}) . \end{array}$	$\begin{array}{l} β \| σ^{2}, y, x ~ N_{p + 1} ({(V^{- 1} + X' X)}^{- 1} [(X' X) \hat{β} + V^{- 1} μ], σ^{2} {(V^{- 1} + X' X)}^{- 1}) . \\ σ^{2} \| β, y, x ~ I G (A + \frac{T + p + 1}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β) + \frac{1}{2} {(β - μ)}^{'} V^{- 1} (β - μ)]}^{- 1}) . \end{array}$
`semiconjugateblm`	$\begin{array}{l} β \| σ^{2} ~ N_{p + 1} (μ, V) . \\ σ^{2} ~ I G (A, B) . \end{array}$ β и σ² являются зависимыми.	Аналитически неразрешимый	$\begin{array}{l} β \| σ^{2}, y, x ~ N_{p + 1} ({(V^{- 1} + σ^{- 2} X' X)}^{- 1} [σ^{- 2} (X' X) \hat{β} + V^{- 1} μ], {(V^{- 1} + X' X)}^{- 1}) . \\ σ^{2} \| β, y, x ~ I G (A + \frac{T}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β)]}^{- 1}) . \end{array}$
`diffuseblm`	Соединение предшествующее PDF $f_{β, σ^{2}} (β, σ^{2}) \propto \frac{1}{σ^{2}} .$	$\begin{array}{l} β \| y, x ~ t_{p + 1} (\hat{β}, \frac{{(y - X \hat{β})}^{'} (y - X \hat{β})}{T - p - 1} {(X^{'} X)}^{- 1}, T - p - 1) . \\ σ^{2} \| y, x ~ I G (\frac{T - p - 1}{2}, {[\frac{1}{2} {(y - X \hat{β})}^{'} (y - X \hat{β})]}^{- 1}) . \end{array}$	$\begin{array}{l} β \| σ^{2}, y, x ~ N_{p + 1} (\hat{β}, σ^{2} {(X^{'} X)}^{- 1}) . \\ σ^{2} \| β, y, x ~ I G (\frac{T}{2}, {[\frac{1}{2} {(y - X β)}^{'} (y - X β)]}^{- 1}) . \end{array}$
`mixconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} σ V_{j 1} Z_{1} + (1 - γ_{j}) σ V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Несмотря на то, что маргинальные апостериоры аналитически прослеживаются, MATLAB рассматривает их как неразрешимые для масштабируемости (см. [1]).	Аналитически отслеживаемые, если _γj и _γk независимы, для всех j ≠ k $\begin{array}{l} γ_{j} \| β, γ_{\neq j}, σ^{2}, X, y ~ Бернуллиевый (\frac{a_{j}}{a_{j} + b_{j}}); j = 1, ..., p + 1. \\ \forall j, a_{j} = P (γ_{j} = 1) ϕ (0, σ^{2} V_{j 1}^{}) . \\ \forall j, b_{j} = P (γ_{j} = 0) ϕ (0, σ^{2} V_{j 2}^{}) . \\ β \| σ^{2}, γ, X, y ~ N_{p + 1} ({(V^{}^{- 1} + X' X)}^{- 1} X^{'} Y, σ^{2} {(V^{}^{- 1} + X' X)}^{- 1}) . \\ σ^{2} \| β, γ, X, y ~ I G (A + \frac{T + p + 1}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β) + \frac{1}{2} β^{'} V^{*}^{- 1} β]}^{- 1}) . \end{array}$
`mixsemiconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} V_{j 1} Z_{1} + (1 - γ_{j}) V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Аналитически неразрешимый	Аналитически отслеживаемые, если _γj и _γk независимы, для всех j ≠ k $\begin{array}{l} γ_{j} \| β, γ_{\neq j}, σ^{2}, X, y ~ Бернуллиевый (\frac{a_{j}}{a_{j} + b_{j}}); j = 1, ..., p + 1. \\ \forall j, a_{j} = P (γ_{j} = 1) ϕ (0, V_{j 1}^{}) . \\ \forall j, b_{j} = P (γ_{j} = 0) ϕ (0, V_{j 2}^{}) . \\ β \| σ^{2}, γ, X, y ~ N_{p + 1} ({(V^{}^{- 1} + σ^{- 2} X' X)}^{- 1} X^{'} Y, {(V^{}^{- 1} + σ^{- 2} X' X)}^{- 1}) . \\ σ^{2} \| β, γ, X, y ~ I G (A + \frac{T}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β)]}^{- 1}) . \end{array}$
`lassoblm`	$\begin{array}{l} β_{j} \| σ^{2}, λ ~ Лапласовский (0, σ / λ); j = 0, .., p . \\ σ^{2} ~ I G (A, B) . \end{array}$ Коэффициенты независимы, априори.	Аналитически неразрешимый	$\begin{array}{l} \frac{1}{ψ_{j}} \| β_{j}, σ^{2}, λ ~ InvGaussian (σ λ / \| β_{j} \|, λ^{2}); j = 1, ..., p + 1. \\ D = diag (ψ_{1}, ..., ψ_{p + 1}) . \\ β \| σ^{2}, λ, X, y, ψ ~ N_{p + 1} ({(X^{'} X + D)}^{- 1} X^{'} y, σ^{2} {(X^{'} X + D)}^{- 1}) . \\ σ^{2} \| β, X, y, ψ ~ I G (A + \frac{T + p + 1}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β) + \frac{1}{2} β^{'} D β]}^{- 1}) . \end{array}$

В таблице:

N _p + 1 (m, Σ) обозначает (p + 1) -мерное многомерное нормальное распределение, где m - среднее (a (p + 1) -на 1 вектор) и Σ - отклонение (a (p + 1) -by- (p + 1) симметричное, положительно определенная матрица).
IG (A, B) обозначает обратное гамма-распределение с формой A > 0 и масштабом B > 0. PDF IG (A, B) является

$f (x; A, B) = \frac{1}{Γ (A) B^{A}} x^{- A - 1} e^{- \frac{1}{x B}} .$
X является T -by- (p + 1) матрицей данных предиктора, то есть _xjk является j наблюдения k предиктора. Первый столбец состоит полностью из таковых для точки пересечения.
y является T вектором откликов -by-1.
t _p + 1 (m, Σ, ν) обозначает (p + 1) -мерное многомерное t распределение, где m - расположение, Σ - шкала, а ν - степени свободы.
$\hat{β} = {(X^{'} X)}^{- 1} X^{'} y$ , то есть оценка методом наименьших квадратов β.
V^*_j1 - предшествующий коэффициент отклонения (mixconjugate) или отклонение (mixsemiconjugate) _βj, когда _γj = 1, и V^*_j2 является его предыдущим коэффициентом отклонения или отклонением, когда _γj = 0.
V^* (p + 1) (p + 1) диагональная матрица, и элемент j, j - <reservedrangesplaceholder1> <reservedrangesplaceholder0>^*_j1 + (1 – _γj) V^*_j2.
mixconjugateblm и mixsemiconjugateblm модели поддерживают предыдущие средние спецификации для β, отличных от вектора нуля по умолчанию для обоих компонентов смешанной гауссовской модели. Если вы изменяете предшествующее среднее β по умолчанию, то соответствующие условные апостериорные распределения включают предшествующие средства так же, как условные апостериорные распределения conjugateblm и semiconjugateblm модели включают предыдущие средства.
λ является фиксированным параметром усадки лассо.
InvGaussian (m, v) обозначает обратный Гауссов (Wald) со средними m и v формы.

Аналитически неразрешимые апостериоры

Байесовская линейная регрессионная среда в Econometrics Toolbox предлагает несколько предшествующих спецификаций модели, которые дают аналитически неразрешимые, но гибкие, маргинальные и условные апостериоры. Эта таблица идентифицирует предыдущие модели и методы выборки Монте-Карло, которые MATLAB использует для выполнения апостериорной оценки, симуляции и вывода, когда вы передаете предыдущую модель и данные, estimate, simulate, или forecast.

Предварительные Объекты модели	Уголовное прошлое	Метод симуляции для маргинального апостериора	Метод симуляции для условного апостериора
`semiconjugateblm`	$\begin{array}{l} β \| σ^{2} ~ N_{p + 1} (μ, V) . \\ σ^{2} ~ I G (A, B) . \end{array}$ β и σ² являются зависимыми.	Пробоотборник Гиббса [2]	Условный апостериор аналитически прослеживается
`empiricalblm`	Характеризуется извлечениями из соответствующих предыдущих распределений	Повторная дискретизация выборки [4]	Не поддерживается
`customblm`	Характеризуется соединением pdf. в объявленной функции	Гамильтоновый дискретизатор Монте-Карло [8] Дискретизатор Random walk Metropolis [7] Срез [9]	Гамильтониан Монте-Карло семплер Случайная прогулка Metropolis sampler Пробоотборник среза
`mixconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} σ V_{j 1} Z_{1} + (1 - γ_{j}) σ V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Пробоотборник Гиббса [1]	Условный апостериор аналитически прослеживается
`mixsemiconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} V_{j 1} Z_{1} + (1 - γ_{j}) V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Пробоотборник Гиббса [1]	Условный апостериор аналитически прослеживается
`lassoblm`	$\begin{array}{l} β_{j} \| σ^{2}, λ ~ Лапласовский (0, σ / λ); j = 0, .., p . \\ σ^{2} ~ I G (A, B) . \end{array}$ Коэффициенты независимы, априори.	Пробоотборник Гиббса [10]	Условный апостериор аналитически прослеживается

Ссылки

[1] Джордж, Э. И. и Р. Э. Маккаллох. «Выбор переменной через выборку Гиббса». Журнал Американской статистической ассоциации. Том 88, № 423, 1993, с. 881-889.

[2] Гельфанд, А. Э. и А. Ф. М. Смит. «Основанные на дискретизации подходы к вычислению предельных плотностей». Журнал Американской статистической ассоциации. Том 85, 1990, стр. 398-409.

[3] Гельман, А., Дж. Б. Карлин, Х. С. Стерн и Д. Б. Рубин. Байесовский анализ данных, 2-е. Эд. Бока Ратон, FL: Chapman & Hall/CRC, 2004.

[4] Гордон, Н. Дж., Д. Дж. Салмонд, и А. Ф. М. Смит. «Новый подход к нелинейной/негауссовой байесовской государственной оценке». Материалы IEEE F по радиолокации и обработке сигналов. Том 140, 1993, стр. 107-113.

[5] Hastings, W. K. «Monte Carlo Sampling Methods Using Markov Chains and Their Applications». Биометрика. Том 57, 1970, с. 97-109.

[6] Marin, J. M., and C. P. Robert. Байесовское ядро: практический подход к вычислительной байесовской статистике. Нью-Йорк: Springer Science + Business Media, LLC, 2007 .

[7] Metropolis, N., A. W. Rosenbluth, M. N. Rosenbluth, A. H. Teller, and E. Teller. Уравнения вычислений состояния быстрой вычислительной машиной. J. Chem. Phys. vol. 21, 1953, pp. 1087-1091.

[8] Neal, R. M. «MCMC с использованием гамильтоновой динамики». У С. Брукса, А. Гельмана, Г. Джонса и X.-L. Менг (эд.) Справочник Markov Chain Monte Carlo. Бока Ратон, FL: Chapman & Hall/CRC, 2011.

[9] Нил, Р. М. «Slice Sampling». Анналы статистики. Том 31, 2003, стр. 705-767.

[10] Парк, Т. и Г. Казелла. «Байесовский лассо». Журнал Американской статистической ассоциации. Том 103, № 482, 2008, стр. 681-686.

См. также

Документация