Байесова линейная регрессия

Линейная регрессия является статистическим инструментом, используемым к:

Изучите линейные зависимости или влияния переменных predictor или explanatory на переменных response.
Предскажите или предскажите будущие ответы, данные будущие данные о предикторе.

Модель multiple linear regression (MLR)

$y_{t} = x_{t} β + ε_{t} .$

В течение многих времен t = 1..., T:

_yt является наблюдаемым ответом.
_xt является 1 на (p + 1) вектор-строка из наблюдаемых величин предикторов p. Вмещать прерывание модели, x _1t = 1 для всего t.
β (p + 1)-by-1 вектор-столбец коэффициентов регрессии, соответствующих переменным, которые составляют столбцы _xt.
_εt является случайным воздействием, которые имеют среднее значение нуля и Cov (ε) = Ω. В общем случае Ω является T-by-T симметричная, положительная определенная матрица. Для простоты примите, что воздействия являются некоррелироваными и имеют общее отклонение, то есть, Ω = σ ^2IT×_T.

Значения β представляют ожидаемые крайние вклады соответствующих предикторов к _yt. Когда предиктор увеличения _xj одним модулем, y, как ожидают, увеличится модулями _βj, принимая, что все другие переменные считаются зафиксированные. _εt является случайным различием между истинным и ожидаемым ответом во время t.

Классический по сравнению с байесовыми исследованиями

Чтобы изучить линейные влияния предикторов на ответе или создать прогнозирующий MLR, необходимо сначала оценить параметры β и σ ². статистики Frequentist используют классический подход к оценке, то есть, они обрабатывают параметры, как зафиксировано, но неизвестные количества. Популярные частотные инструменты оценки включают наименьшие квадраты и наибольшее правдоподобие. Если воздействия являются независимыми, гомоскедастичными, и Гауссовыми или нормальными, то наименьшие квадраты и наибольшее правдоподобие дают к эквивалентным оценкам. Выводы, такие как доверительные интервалы на оценках параметра или интервалах предсказания, основаны на распределении воздействий. Для больше на частотном подходе к анализу MLR, смотрите Регрессию Временных рядов I: Линейные Модели или [6], Ch. 3. Большинство инструментов в Econometrics Toolbox™ частотно.

Подход Bayesian к оценке и выводу моделей MLR обрабатывает β и σ ² как случайные переменные, а не зафиксированные, неизвестные количества. В общем случае цель Байесового анализа состоит в том, чтобы обновить вероятностные распределения параметров путем слияния информации о параметрах от наблюдения данных. До выборки данных у вас есть некоторые верования о совместном распределении параметров. После выборки вы комбинируете вероятность, вызванную распределением данных с вашими предшествующими верованиями составить объединенное условное распределение параметров, учитывая данные. Функциями и функциями получившегося распределения является основание для оценки и вывода.

Основные байесовы аналитические компоненты

Одна из главных целей Байесового анализа состоит в том, чтобы вычислить, или выборка от, posterior distribution (или posterior). Следующее является распределением параметров, обновленных с помощью (или данный) данные, и состоит из этих количеств:

likelihood function — информация, которую выборка предоставляет о параметрах. Если вы берете случайную выборку, то вероятность для MLR

$ℓ (β, σ^{2} | y, x) = \prod_{t = 1}^{T} P (y_{t} | x_{t}, β, σ^{2}) .$
$P (y_{t} | x_{t}, β, σ^{2})$ функция плотности условной вероятности _yt, учитывая параметры и вызванный условным распределением _εt. Обычно, _xt является фиксированным количеством. Если воздействия являются независимыми, гомоскедастичными, и Гауссовыми, то

$ℓ (β, σ^{2} | y, x) = \prod_{t = 1}^{T} ϕ (y_{t}; x_{t} β, σ^{2}) .$
ϕ (_yt; _xtβ, σ ²⁾ является Гауссовой плотностью вероятности со средним _xtβ и отклонением σ ², оцененный в _yt.
Prior distributions (или priors) на параметрах — распределение параметров, которые вы принимаете прежде, чем наблюдать данные. Наложение предшествующих предположений распределения на параметрах имеет преимущество перед частотными исследованиями: уголовное прошлое позволяет вам включать знание о модели прежде, чем просмотреть данные. Можно управлять доверием к знанию о параметре путем корректировки предшествующего отклонения. Определение высокого отклонения подразумевает, что вы знаете очень мало о параметре, и вы хотите взвесить информацию в данных о параметрах в большей степени. Определение низкого отклонения подразумевает высокое доверие к вашему знанию о параметре, и вы хотите с учетом того знания в анализе.
На практике вы используете уголовное прошлое для удобства, а не следовать за мнением исследователя о фактическом распределении параметров. Например, можно выбрать уголовное прошлое так, чтобы соответствующее апостериорное распределение было в том же семействе распределений. Эти предшествующие следующие пары называются распределениями conjugate. Однако выбор уголовного прошлого может влиять на оценку и вывод, таким образом, необходимо выполнить анализ чувствительности с оценкой.
Уголовное прошлое может содержать параметры, названные hyperparameters, который может иметь сами вероятностные распределения. Такие модели называются hierarchical Bayesian models.
Для MLR предшествующие распределения обычно обозначаются как π (β) и π (σ ²). Популярным выбором является normal-inverse-gamma conjugate model, в котором π (β |σ2) является многомерным Гауссовым или многомерным нормальным распределением, и π (σ ²) является обратным гамма распределением.

Можно содержать объединенное апостериорное распределение β и σ Правило ² использующего Бейеса, то есть,

$π (β, σ^{2} | y, x) = \frac{π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x)}{\int_{β, σ^{2}} π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x) d β d σ^{2}} \propto π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x) .$

Если β зависит от σ ², то его предшествующее должно быть заменено π (β |σ2). Знаменатель является распределением ответа, учитывая предикторы, и это становится константой после того, как вы наблюдаете y. Поэтому следующее часто пишется как являющийся пропорциональным числителю.

Следующее похоже на любое другое объединенное вероятностное распределение случайных переменных, и оно содержит всю информацию, известную о параметрах после того, как вы включаете данные. Оценки параметра и выводы базируются в основном на интегралах функций параметров относительно апостериорного распределения.

Следующая оценка и вывод

Следующая оценка и вывод включают объединяющиеся функции параметров относительно следующего. Популярные средства оценки и выводы для параметров MLR включают следующее:

Ожидаемое значение β, учитывая данные

$\hat{β} = E (β | y, x) = \int_{β, σ^{2}} β π (β, σ^{2} | y, x) d β d σ^{2} .$
Это количество обеспечивает естественную интерпретацию и является минимальным средством оценки среднеквадратической ошибки (MSE), то есть, это минимизирует $E [{(\hat{β} - β)}^{2} | y, x] .$ Медиана, режим или квантиль могут быть средствами оценки Бейеса относительно других потерь.
maximum a priori estimate (MAP) — Значение параметра, который максимизирует апостериорное распределение.
Учитывая данные, предсказанный ответ $\hat{y}$ из предиктора $\hat{x}$ случайная переменная с posterior predictive distribution

$π (\hat{y} | y, x, \hat{x}) = \int_{β, σ^{2}} f (\hat{y} | β, σ, \hat{x}) π (β, σ^{2} | y, x) d β d σ^{2} .$
Можно просмотреть это количество как условное ожидаемое значение вероятностного распределения y относительно апостериорного распределения параметров.
95%-й доверительный интервал на β (или credible interval) — установил S, таким образом что P (β ∊ S |y, x) = 0.95. Это уравнение дает бесконечно ко многим интервалам, включая:
- Equitailed interval, который является интервалом (L, U) таким образом что P (β <L |y, x) = 0.025 и P (β> U |y, x) = 0.025.
- Highest posterior density (HPD) область, которая является самым узким интервалом (или интервалами) получение заданной вероятности. Это обязательно содержит самые большие следующие значения.
В отличие от интерпретации частотных доверительных интервалов, интерпретация Байесовых доверительных интервалов - это, учитывая данные, вероятность, что случайный β находится в интервале (интервалах), который S 0.95. Эта интерпретация интуитивна, который является преимуществом Байесовых доверительных интервалов по частотным доверительным интервалам.
Крайние апостериорные вероятности переменного включения, также названного вероятностями режима, результат реализации стохастического поискового выбора переменной (SSVS) и, указывают, незначительны ли переменные предикторы или избыточны в Байесовой модели линейной регрессии. В SSVS β имеет многомерное, двухкомпонентное Гауссово распределение смеси. Оба компонента имеют среднее значение нуля, но один компонент имеет большое отклонение, и другой компонент имеет небольшое отклонение. Незначительные предикторы, вероятно, будут близко к нулю; поэтому, они от компонента с небольшим отклонением. Выборки SSVS от пробела 2^{p + 1} сочетание модели, каждое сочетание включает или исключает коэффициент, и модели с самой высокой следующей плотностью производятся чаще. Вероятности режима выведены из произведенных моделей.

Методы интегрирования зависят от функциональной формы продукта $π (β) π (σ^{2}) ℓ (β, σ^{2} | y, x)$ и подынтегральное выражение, например, h (β, σ ²).

Если продукт формирует ядро из известного вероятностного распределения, то интегралы h (β, σ ²) относительно следующего могут быть аналитически послушными. Известные ядра часто возникают, когда вы выбираете уголовное прошлое и последующее поколение, чтобы сформировать сопряженные пары. В этих случаях обычно известны первые несколько моментов распределения, и оценки базируются от них. Для получения дополнительной информации на аналитически послушных апостериорных распределениях, предлагаемых Байесовой средой модели линейной регрессии в Econometrics Toolbox, смотрите Аналитически Послушное Последующее поколение.
В противном случае необходимо использовать методы численного интегрирования, чтобы вычислить интегралы h (β, σ ²) относительно апостериорных распределений. При определенных обстоятельствах можно реализовать численное интегрирование с помощью Monte Carlo или Markov chain Monte Carlo (MCMC) выборка.
- Чтобы выполнить оценку Монте-Карло, вы чертите много выборок от вероятностного распределения, применяетесь, соответствующая функция каждому чертят (h (β, σ ²) фактор в функции), и насчитайте получившиеся ничьи, чтобы аппроксимировать интеграл. Популярный Метод Монте-Карло производит важность, передискретизирующую [6].
- Вы реализуете MCMC, когда вы не знаете вероятностное распределение до константы, или вы знаете условные распределения всех параметров, по крайней мере, до константы. Популярные методы MCMC включают Гиббс, производящий [2], алгоритм Гастингса Столицы [5], и срез, производящий [9].
Для получения дополнительной информации на следующей оценке Байесовой модели линейной регрессии в Econometrics Toolbox, когда следующее будет тяжело, смотрите Аналитически Тяжелое Последующее поколение.

Аналитически послушное последующее поколение

Байесова среда линейной регрессии в Econometrics Toolbox предлагает несколько предшествующих технических требований модели, которые дают к аналитически послушному, сопряженному крайнему или условному последующему поколению. Эта таблица идентифицирует предшествующие модели и их соответствующее последующее поколение. Когда вы передаете предшествующую модель и данные к estimate, MATLAB^® использует эти формулы. Когда программное обеспечение создает последующее поколение, оно принимает, что данные об ответе _yt, t = 1..., T, являются случайной выборкой от Распределения Гаусса со средним _xtβ и отклонением σ ².

Предшествующий объект модели	Уголовное прошлое	Крайнее последующее поколение	Условное последующее поколение
`conjugateblm`	$\begin{array}{l} β \| σ^{2} ~ N_{p + 1} (μ, σ^{2} V) . \\ σ^{2} ~ I G (A, B) . \end{array}$ β и σ ² независимы.	$\begin{array}{l} β \| y, x ~ t_{p + 1} ({(V^{- 1} + X' X)}^{- 1} [(X' X) \hat{β} + V^{- 1} μ], \frac{2 B^{- 1} + {(y - X \hat{β})}^{'} (y - X \hat{β}) + {(\hat{β} - μ)}^{'} {[V + {(X' X)}^{- 1}]}^{- 1} (\hat{β} - μ)}{2 A + T}, 2 A + T) . \\ σ^{2} \| y, x ~ I G (A + \frac{T}{2}, {[B^{- 1} + \frac{1}{2} {(y - X \hat{β})}^{'} (y - X \hat{β}) + \frac{1}{2} {(\hat{β} - μ)}^{'} {[V + {(X' X)}^{- 1}]}^{- 1} (\hat{β} - μ)]}^{- 1}) . \end{array}$	$\begin{array}{l} β \| σ^{2}, y, x ~ N_{p + 1} ({(V^{- 1} + X' X)}^{- 1} [(X' X) \hat{β} + V^{- 1} μ], σ^{2} {(V^{- 1} + X' X)}^{- 1}) . \\ σ^{2} \| β, y, x ~ I G (A + \frac{T + p + 1}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β) + \frac{1}{2} {(β - μ)}^{'} V^{- 1} (β - μ)]}^{- 1}) . \end{array}$
`semiconjugateblm`	$\begin{array}{l} β \| σ^{2} ~ N_{p + 1} (μ, V) . \\ σ^{2} ~ I G (A, B) . \end{array}$ β и σ ² зависят.	Аналитически тяжелый	$\begin{array}{l} β \| σ^{2}, y, x ~ N_{p + 1} ({(V^{- 1} + σ^{- 2} X' X)}^{- 1} [σ^{- 2} (X' X) \hat{β} + V^{- 1} μ], {(V^{- 1} + X' X)}^{- 1}) . \\ σ^{2} \| β, y, x ~ I G (A + \frac{T}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β)]}^{- 1}) . \end{array}$
`diffuseblm`	Объединенная предшествующая PDF $f_{β, σ^{2}} (β, σ^{2}) \propto \frac{1}{σ^{2}} .$	$\begin{array}{l} β \| y, x ~ t_{p + 1} (\hat{β}, \frac{{(y - X \hat{β})}^{'} (y - X \hat{β})}{T - p - 1} {(X^{'} X)}^{- 1}, T - p - 1) . \\ σ^{2} \| y, x ~ I G (\frac{T - p - 1}{2}, {[\frac{1}{2} {(y - X \hat{β})}^{'} (y - X \hat{β})]}^{- 1}) . \end{array}$	$\begin{array}{l} β \| σ^{2}, y, x ~ N_{p + 1} (\hat{β}, σ^{2} {(X^{'} X)}^{- 1}) . \\ σ^{2} \| β, y, x ~ I G (\frac{T}{2}, {[\frac{1}{2} {(y - X β)}^{'} (y - X β)]}^{- 1}) . \end{array}$
`mixconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} σ V_{j 1} Z_{1} + (1 - γ_{j}) σ V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Несмотря на то, что крайнее последующее поколение аналитически послушно, MATLAB обрабатывает их как тяжелых для масштабируемости (см. [1]).	Аналитически послушный, если _γj и _γk независимы для всего j ≠ k $\begin{array}{l} γ_{j} \| β, γ_{\neq j}, σ^{2}, X, y ~ Бернулли (\frac{a_{j}}{a_{j} + b_{j}}); j = 1, ..., p + 1. \\ \forall j, a_{j} = P (γ_{j} = 1) ϕ (0, σ^{2} V_{j 1}^{}) . \\ \forall j, b_{j} = P (γ_{j} = 0) ϕ (0, σ^{2} V_{j 2}^{}) . \\ β \| σ^{2}, γ, X, y ~ N_{p + 1} ({(V^{}^{- 1} + X' X)}^{- 1} X^{'} Y, σ^{2} {(V^{}^{- 1} + X' X)}^{- 1}) . \\ σ^{2} \| β, γ, X, y ~ I G (A + \frac{T + p + 1}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β) + \frac{1}{2} β^{'} V^{*}^{- 1} β]}^{- 1}) . \end{array}$
`mixsemiconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} V_{j 1} Z_{1} + (1 - γ_{j}) V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Аналитически тяжелый	Аналитически послушный, если _γj и _γk независимы для всего j ≠ k $\begin{array}{l} γ_{j} \| β, γ_{\neq j}, σ^{2}, X, y ~ Бернулли (\frac{a_{j}}{a_{j} + b_{j}}); j = 1, ..., p + 1. \\ \forall j, a_{j} = P (γ_{j} = 1) ϕ (0, V_{j 1}^{}) . \\ \forall j, b_{j} = P (γ_{j} = 0) ϕ (0, V_{j 2}^{}) . \\ β \| σ^{2}, γ, X, y ~ N_{p + 1} ({(V^{}^{- 1} + σ^{- 2} X' X)}^{- 1} X^{'} Y, {(V^{}^{- 1} + σ^{- 2} X' X)}^{- 1}) . \\ σ^{2} \| β, γ, X, y ~ I G (A + \frac{T}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β)]}^{- 1}) . \end{array}$
`lassoblm`	$\begin{array}{l} β_{j} \| σ^{2}, λ ~ Лаплас (0, σ / λ); j = 0, .., p . \\ σ^{2} ~ I G (A, B) . \end{array}$ Коэффициенты независимы, априорно.	Аналитически тяжелый	$\begin{array}{l} \frac{1}{ψ_{j}} \| β_{j}, σ^{2}, λ ~ InvGaussian (σ λ / \| β_{j} \|, λ^{2}); j = 1, ..., p + 1. \\ D = diag (ψ_{1}, ..., ψ_{p + 1}) . \\ β \| σ^{2}, λ, X, y, ψ ~ N_{p + 1} ({(X^{'} X + D)}^{- 1} X^{'} y, σ^{2} {(X^{'} X + D)}^{- 1}) . \\ σ^{2} \| β, X, y, ψ ~ I G (A + \frac{T + p + 1}{2}, {[B^{- 1} + \frac{1}{2} {(y - X β)}^{'} (y - X β) + \frac{1}{2} β^{'} D β]}^{- 1}) . \end{array}$

В таблице:

N_{, который p +1} (m, Σ) обозначает (p + 1) - размерное многомерное нормальное распределение, где m является средним значением ((p + 1)-by-1 вектор) и Σ, является отклонением ((p + 1) (p + 1) симметричная, положительная определенная матрица).
IG (A, B) обозначает обратное гамма распределение с формой A> 0 и шкала B> 0. PDF IG (A, B)

$f (x; A, B) = \frac{1}{Γ (A) B^{A}} x^{- A - 1} e^{- \frac{1}{x B}} .$
X является T (p + 1) матрица данных о предикторе, то есть, _xjk является наблюдением j предиктора k. Первый столбец составлен полностью из единиц для прерывания.
y является T-by-1 вектор из ответов.
t_{, который p +1} (m, Σ, ν) обозначает (p + 1) - размерное многомерное распределение t, где m является местоположением, Σ, является шкалой, и ν является степенями свободы.
$\hat{β} = {(X^{'} X)}^{- 1} X^{'} y$ , то есть, оценка наименьших квадратов β.
V ^*_j1 является предшествующим фактором отклонения (mixconjugate) или отклонение (mixsemiconjugate) из _βj, когда _γj = 1, и V ^*_j2 является своим предшествующим фактором отклонения или отклонением когда _γj = 0.
V^* (p + 1) (p + 1) диагональная матрица и элемент j, j является _γj V ^*_j1 + (1 – _γj) V ^*_j2.
mixconjugateblm и mixsemiconjugateblm модели поддерживают предшествующие средние спецификации для β кроме нулевого вектора по умолчанию для обоих компонентов смешанной гауссовской модели. Если вы изменяете предшествующий средний β по умолчанию, то соответствующие условные апостериорные распределения включают предшествующие средние значения таким же образом что условные апостериорные распределения conjugateblm и semiconjugateblm модели включают предшествующие средние значения.
λ является фиксированным параметром уменьшения лассо.
InvGaussian (m, v) обозначает инверсию, Гауссову (Вальд) со средним m и формой v.

Аналитически тяжелое последующее поколение

Байесова среда линейной регрессии в Econometrics Toolbox предлагает несколько предшествующих технических требований модели, которые дают к аналитически тяжелому, но гибкому, крайнему и условному последующему поколению. Эта таблица идентифицирует предшествующие модели и Монте-Карло, производящий методы, что использование MATLAB, чтобы выполнить следующую оценку, симуляцию и вывод, когда вы передаете предшествующую модель и данные к estimate, simulate, или forecast.

Предшествующий объект модели	Уголовное прошлое	Метод симуляции для следующего крайнего	Метод симуляции для следующего условного выражения
`semiconjugateblm`	$\begin{array}{l} β \| σ^{2} ~ N_{p + 1} (μ, V) . \\ σ^{2} ~ I G (A, B) . \end{array}$ β и σ ² зависят.	Сэмплер Гиббса [2]	Следующее условное выражение аналитически послушно
`empiricalblm`	Охарактеризованный ничьими от соответствующих предшествующих распределений	Выборка важности, передискретизирующей [4]	Не поддерживаемый
`customblm`	Охарактеризованный объединенной PDF. в заявленной функции	Гамильтонов сэмплер Монте-Карло [8] Случайный сэмплер Столицы обхода [7] Сэмплер среза [9]	Гамильтонов сэмплер Монте-Карло Случайный сэмплер Столицы обхода Сэмплер среза
`mixconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} σ V_{j 1} Z_{1} + (1 - γ_{j}) σ V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Сэмплер Гиббса [1]	Следующее условное выражение аналитически послушно
`mixsemiconjugateblm`	$\begin{array}{l} γ = {γ_{1}, ..., γ_{p + 1}} ~ p (γ) . \\ \forall j, γ_{j} \in {0, 1} . \\ \forall j, β_{j} \| σ^{2}, γ_{j} = γ_{j} V_{j 1} Z_{1} + (1 - γ_{j}) V_{j 2} Z_{2} . \\ Z_{k} ~ N (0, 1); k = 1, 2. \\ σ^{2} ~ I G (A, B) . \end{array}$	Сэмплер Гиббса [1]	Следующее условное выражение аналитически послушно
`lassoblm`	$\begin{array}{l} β_{j} \| σ^{2}, λ ~ Лаплас (0, σ / λ); j = 0, .., p . \\ σ^{2} ~ I G (A, B) . \end{array}$ Коэффициенты независимы, априорно.	Сэмплер Гиббса [10]	Следующее условное выражение аналитически послушно

Ссылки

[1] Джордж, E. I. и Р. Э. Маккалок. "Выбор переменной Через Гиббс, Производящий". Журнал американской Статистической Ассоциации. Издание 88, № 423, 1993, стр 881–889.

[2] Gelfand, A. E. и А. Ф. М. Смит. “Основанные на выборке Подходы к Вычислению Крайней Плотности”. Журнал американской Статистической Ассоциации. Издание 85, 1990, стр 398–409.

[3] Джелмен, A., Дж. Б. Карлин, Х. С. Стерн и Д. Б. Рубин. Байесов анализ данных, 2-й. Эд. Бока-Ратон, FL: Chapman & Hall/CRC, 2004.

[4] Гордон, N. J. Д. Дж. Салмонд и А. Ф. М. Смит. "Новый Подход к Байесовой Оценке состояния Nonlinear/Non-Gaussian". Продолжения IEEE F на Радаре и Обработке сигналов. Издание 140, 1993, стр 107–113.

[5] Гастингс, W. K. “Методы Выборки Монте-Карло Используя Цепи Маркова и Их Приложения”. Biometrika. Издание 57, 1970, стр 97–109.

[6] Марин, J. M. и К. П. Роберт. Байесово ядро: практический подход к вычислительной байесовой статистике. Нью-Йорк: СМИ Спрингера Science+Business, LLC, 2007.

[7] Столица, N., А. В. Розенблат, М. Н. Розенблат, A. H. Кассир и E. Кассир. "Уравнения Вычислений состояния Быстрым Компьютером". Дж. Чем. Физика. Издание 21, 1953, стр 1087–1091.

[8] Нил, R. M. "MCMC использование гамильтоновой динамики". В С. Бруксе, А. Джелмене, Г. Джонсе и X.-L. Мэн (редакторы). Руководство Цепи Маркова Монте-Карло. Бока-Ратон, FL: Chapman & Hall/CRC, 2011.

[9] Нил, R. M. “Выборка среза”. Летопись Статистики. Издание 31, 2003, стр 705–767.

[10] Припаркуйтесь, T. и Г. Казелла. "Байесово Лассо". Журнал американской Статистической Ассоциации. Издание 103, № 482, 2008, стр 681–686.

Документация