Полностью Независимое условное приближение для моделей GPR

Приближение полностью независимого условного выражения (FIC) [1] является способом систематической аппроксимации истинной функции ядра GPR способом, которая избегает прогнозирующей проблемы отклонения приближения SR, все еще обеспечивая допустимый Гауссов процесс. Можно задать метод FIC для оценки параметра при помощи 'FitMethod','fic' аргумент пары "имя-значение" в вызове fitrgp. Для предсказания с помощью FIC можно использовать 'PredictMethod','fic' аргумент пары "имя-значение" в вызове fitrgp.

Аппроксимация функции ядра

Приближение FIC к $k (x_{i}, x_{j} | θ)$ для активного набора $A \subset N = {1, 2, ..., n}$ дают:

$\begin{array}{l} {\hat{k}}_{F I C} (x_{i}, x_{j} | θ, A) = {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A) + δ_{i j} (k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A)), \\ δ_{i j} = {\begin{array}{l} 1, & если i = j, \\ 0 & если i \neq j . \end{array} \end{array}$

Таким образом, приближение FIC равно приближению SR если $i \neq j$ для $i = j$ , программное обеспечение использует точное значение ядра, а не приближение. Задайте n-by-n диагональная матрица $Ω (X | θ, A)$ можно следующим образом:

$\begin{array}{l} {[Ω (X | θ, A)]}_{i j} & = δ_{i j} (k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A)) \\ = {\begin{array}{l} k (x_{i}, x_{j} | θ) - {\hat{k}}_{S R} (x_{i}, x_{j} | θ, A) & если i = j, \\ 0 & если i \neq j . \end{array} \end{array}$

Приближение FIC к $K (X, X | θ)$ затем дают:

$\begin{array}{l} {\hat{K}}_{F I C} (X, X | θ, A) & = {\hat{K}}_{S R} (X, X | θ, A) + Ω (X | θ, A) \\ = K (X, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, X | θ) + Ω (X | θ, A) . \end{array}$

Оценка параметра

Заменяя $K (X, X | θ)$ ${\hat{K}}_{F I C} (X, X | θ, A)$ в крайнем журнале функция правдоподобия производит свое приближение FIC:

$\begin{array}{l} \log P_{F I C} (y | X, β, θ, σ^{2}, A) = & - \frac{1}{2} {(y - H β)}^{T} {[{\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} (y - H β) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{n} | . \end{array}$

Как в точном методе, программное обеспечение оценивает параметры первым вычислением $\hat{β} (θ, σ^{2})$ , оптимальная оценка $β$ , данный $θ$ и $σ^{2}$ . Затем это оценивает $θ$ , и $σ^{2}$ использование $β$ - профилируемая крайняя логарифмическая вероятность. Оценка FIC к $β$ для данного $θ$ , и $σ^{2}$

${\hat{β}}_{F I C} (θ, σ^{2}, A) = {[\underset{*}{\underset{︸}{H^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} H}}]}^{- 1} \underset{* *}{\underset{︸}{H^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} y}},$

$\begin{array}{l} * = H^{T} Λ {(θ, σ^{2}, A)}^{- 1} H - H^{T} Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} H, \\ * * = H^{T} Λ {(θ, σ^{2}, A)}^{- 1} y - H^{T} Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} y, \\ B_{A} = K (X_{A}, X_{A} | θ) + K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ), \\ Λ (θ, σ^{2}, A) = Ω (X | θ, A) + σ^{2} I_{n} . \end{array}$

Используя ${\hat{β}}_{F I C} (θ, σ^{2}, A)$ , $β$ - профилируемая крайняя логарифмическая вероятность для приближения FIC:

$\begin{array}{l} \log P_{F I C} (y | X, {\hat{β}}_{F I C} (θ, σ^{2}, A), θ, σ^{2}, A) = \\ \begin{array}{l} - \frac{1}{2} {(y - H {\hat{β}}_{F I C} (θ, σ^{2}, A))}^{T} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} (y - H {\hat{β}}_{F I C} (θ, σ^{2}, A)) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N} |, \end{array} \end{array}$

где

$\begin{array}{l} {({\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N})}^{- 1} \\ = Λ {(θ, σ^{2}, A)}^{- 1} - Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1}, \\ \log | {\hat{K}}_{F I C} (X, X | θ, A) + σ^{2} I_{N} | = \log | Λ (θ, σ^{2}, A) | + \log | B_{A} | - \log | K (X_{A}, X_{A} | θ) | . \end{array}$

Предсказание

Приближение FIC к распределению $y_{n e w}$ данный $y$ , $X$ , $x_{n e w}$

$\begin{array}{l} P (y_{n e w} | y, X, x_{n e w}) & = N (y_{n e w} | h {(x_{n e w})}^{T} β + μ_{F I C}, σ_{n e w}^{2} + Σ_{F I C}) \end{array},$

где $μ_{F I C}$ и $Σ_{F I C}$ приближения FIC к $μ$ и $Σ$ данный в предсказании с помощью точного метода GPR. Как в случае SR, $μ_{F I C}$ и $Σ_{F I C}$ получены, заменив все случаи истинного ядра его приближением FIC. Конечные формы $μ_{F I C}$ и $Σ_{F I C}$ следующие:

$μ_{F I C} = K (x_{n e w}^{T}, X_{A} | θ) B_{A}^{- 1} K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} (y - H β),$

$\begin{array}{l} Σ_{F I C} & = k (x_{n e w}, x_{n e w} | θ) - K (x_{n e w}^{T}, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, x_{n e w}^{T} | θ) \\ + K (x_{n e w}^{T}, X_{A} | θ) B_{A}^{- 1} K (X_{A}, x_{n e w}^{T} | θ), \end{array}$

где

$\begin{array}{l} B_{A} = K (X_{A}, X_{A} | θ) + K (X_{A}, X | θ) Λ {(θ, σ^{2}, A)}^{- 1} K (X, X_{A} | θ), \\ Λ (θ, σ^{2}, A) = Ω (X | θ, A) + σ^{2} I_{n} . \end{array}$

Ссылки

[1] Кандела, J. Q. Представление Объединения Разреженной Аппроксимированной Гауссовой Регрессии Процесса. Журнал Исследования Машинного обучения. Vol 6, стр 1939–1959, 2005.

Смотрите также

fitrgp | predict

Документация