Полностью независимое условное приближение для моделей GPR

Полностью независимое условное (FIC) приближение [1] является способом систематического аппроксимации истинной функции ядра GPR таким образом, чтобы избежать задачи прогнозирующего отклонения аппроксимации SR, сохраняя при этом действительный Гауссов процесс. Можно задать метод FIC для оценки параметра при помощи 'FitMethod','fic' аргумент пары "имя-значение" в вызове fitrgp. Для предсказания с помощью FIC можно использовать 'PredictMethod','fic' аргумент пары "имя-значение" в вызове fitrgp.

Аппроксимация функции ядра

Приближение FIC к $k (x_{i}, x_{j} | θ)$ для активного набора $A \subset N = {1, 2, ..., n}$ определяется:

$\begin{array}{l} {\hat{k}}_{F I C} (x_{i}, x_{j} | θ, A) = {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A) + δ_{i j} (k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A)), \\ δ_{i j} = {\begin{array}{l} 1, & если i = j, \\ 0 & если i \neq j . \end{array} \end{array}$

То есть приближение FIC равно SR приближения если $i \neq j$ . Для $i = j$ , программное обеспечение использует точное значение ядра, а не приближение. Задайте n -by n диагональную матрицу $Ω (X | θ, A)$ следующим образом:

$\begin{array}{l} {[Ω (X | θ, A)]}_{i j} & = δ_{i j} (k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A)) \\ = {\begin{array}{l} k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A) & если i = j, \\ 0 & если i \neq j . \end{array} \end{array}$

Приближение FIC к $K (X, X | θ)$ затем определяется:

$\begin{array}{l} {\hat{K}}_{F I C} (X, X | θ, A) & = {\hat{K}}_{S R} (X, X | θ, A) + Ω (X | θ, A) \\ = K (X, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, X | θ) + Ω (X | θ, A) . \end{array}$

Оценка параметра

Замена $K (X, X | θ)$ около ${\hat{K}}_{F I C} (X, X | θ, A)$ в краевом журнале функция правдоподобия создает ее приближение FIC:

$\begin{array}{l} \log P_{F I C} (y | X, β, θ, σ^{2}, A) = & - \frac{1}{2} {(y - H β)}^{T} {[{\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} (y - H β) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{n} | . \end{array}$

Как и в точном методе, программное обеспечение оценивает параметры путем первых вычислений $\hat{β} (θ, σ^{2})$ , оптимальная оценка $β$ , заданный $θ$ и $σ^{2}$ . Тогда это оценивает $θ$ , и $σ^{2}$ использование $β$ -профилированная маргинальная вероятность журнала. Оценка FIC для $β$ для данного $θ$ , и $σ^{2}$ является

${\hat{β}}_{F I C} (θ, σ^{2}, A) = {[\underset{*}{\underset{︸}{H^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} H}}]}^{- 1} \underset{* *}{\underset{︸}{H^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} y}},$

$\begin{array}{l} * = H^{T} Λ {(θ, σ^{2}, A)}^{- 1} H - H^{T} Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} H, \\ * * = H^{T} Λ {(θ, σ^{2}, A)}^{- 1} y - H^{T} Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} y, \\ B_{A} = K (X_{A}, X_{A} | θ) + K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ), \\ Λ (θ, σ^{2}, A) = Ω (X | θ, A) + σ^{2} I_{n} . \end{array}$

Используя ${\hat{β}}_{F I C} (θ, σ^{2}, A)$ , $β$ -профилированная предельная вероятность журнала для приближения FIC:

$\begin{array}{l} \log P_{F I C} (y | X, {\hat{β}}_{F I C} (θ, σ^{2}, A), θ, σ^{2}, A) = \\ \begin{array}{l} - \frac{1}{2} {(y - H {\hat{β}}_{F I C} (θ, σ^{2}, A))}^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} (y - H {\hat{β}}_{F I C} (θ, σ^{2}, A)) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N} |, \end{array} \end{array}$

где

$\begin{array}{l} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} \\ = Λ {(θ, σ^{2}, A)}^{- 1} - Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1}, \\ \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N} | = \log | Λ (θ, σ^{2}, A) | + \log | B_{A} | - \log | K (X_{A}, X_{A} | θ) | . \end{array}$

Предсказание

Приближение FIC к распределению $y_{n e w}$ данный $y$ , $X$ , $x_{n e w}$ является

$\begin{array}{l} P (y_{n e w} | y, X, x_{n e w}) & = N (y_{n e w} | h {(x_{n e w})}^{T} β + μ_{F I C}, σ_{n e w}^{2} + Σ_{F I C}) \end{array},$

где $μ_{F I C}$ и $Σ_{F I C}$ являются ли FIC приближений $μ$ и $Σ$ дается в предсказании с использованием точного метода GPR. Как и в случае SR, $μ_{F I C}$ и $Σ_{F I C}$ получаются путем замены всех вхождений истинного ядра на его FIC приближение. Конечные формы $μ_{F I C}$ и $Σ_{F I C}$ являются следующими:

$μ_{F I C} = K (x_{n e w}^{T}, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} (y - H β),$

$\begin{array}{l} Σ_{F I C} & = k (x_{n e w}, x_{n e w} | θ) - K (x_{n e w}^{T}, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, x_{n e w}^{T} | θ) \\ + K (x_{n e w}^{T}, X_{A} | θ) B_{A}^{- 1} K (X_{A}, x_{n e w}^{T} | θ), \end{array}$

где

$\begin{array}{l} B_{A} = K (X_{A}, X_{A} | θ) + K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ), \\ Λ (θ, σ^{2}, A) = Ω (X | θ, A) + σ^{2} I_{n} . \end{array}$

Ссылки

[1] Candela, J. Q. «Объединяющий взгляд на разреженную аппроксимацию Гауссова процесса регрессии». Журнал исследований машинного обучения. Vol 6, pp. 1939 - 1959, 2005.

См. также

fitrgp | predict

Документация