Подмножество приближения регрессоров для моделей GPR

Подмножество метода приближения регрессоров (SR) состоит из замены функции ядра $k (x, x_{r} | θ)$ в точном методе GPR по его приближению ${\hat{k}}_{S R} (x, x_{r} | θ, A)$ , учитывая активный набор $A \subset N = {1, 2, ..., n}$ . Можно задать метод SR для оценки параметра при помощи 'FitMethod','sr' аргумент пары "имя-значение" в вызове fitrgp. Для предсказания с помощью SR можно использовать 'PredictMethod','sr' аргумент пары "имя-значение" в вызове fitrgp.

Аппроксимация функции ядра

Для точной модели GPR ожидаемое предсказание в GPR зависит от набора $N$ функции $S_{N} = {k (x, x_{i} | θ), i = 1, 2, \dots, n}$ , где $N = {1, 2, ..., n}$ - набор индексов всех наблюдений, и n - общее количество наблюдений. Идея состоит в том, чтобы аппроксимировать диапазон этих функций меньшим набором функций, $S_{A}$ , где $A \subset N = {1, 2, ..., n}$ - подмножество индексов точек, выбранных в активном наборе. Рассмотреть $S_{A} = {k (x, x_{j} | θ), j \in A}$ . Цель состоит в том, чтобы аппроксимировать элементы $S_{N}$ как линейные комбинации элементов $S_{A}$ .

Предположим, что приближение к $k (x, x_{r} | θ)$ использование функций в $S_{A}$ является следующим:

$\hat{k} (x, x_{r} | θ) = \sum_{j \in A} c_{j r} k (x, x_{j} | θ),$

где $c_{j r} \in ℝ$ являются коэффициентами линейной комбинации для аппроксимации $k (x, x_{r} | θ)$ . Предположим $C$ - матрица, содержащая все коэффициенты; $c_{j r}$ . Затем, $C$ , является $| A | \times n$ матрица такая, что $C (j, r) = c_{j r}$ . Программное обеспечение находит лучшее приближение к элементам $S_{N}$ использование активного набора $A \subset N = {1, 2, ..., n}$ путем минимизации функции ошибки

$E (A, C) = \sum_{r = 1}^{n} {‖ k (x, x_{r} | θ) - \hat{k} (x, x_{r} | θ) ‖}_{ℋ}^{2},$

где $ℋ$ - Пространства воспроизводящего ядра Гильберта (RKHS), сопоставленный с функцией ядра k [1], [2].

Матрица коэффициентов, которая минимизирует $E (A, C)$ является

${\hat{C}}_{A} = K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, X | θ),$

и приближение к функции ядра с помощью элементов в активном наборе $A \subset N = {1, 2, ..., n}$ является

$\hat{k} (x, x_{r} | θ) = \sum_{j \in A} c_{j r} k (x, x_{j} | θ) = K (x^{T}, X_{A} | θ) C (:, r) .$

Приближение SR к функции ядра с помощью активного набора $A \subset N = {1, 2, ..., n}$ определяется как:

${\hat{k}}_{S R} (x, x_{r} | θ, A) = K (x^{T}, X_{A} | θ) {\hat{C}}_{A} (:, r) = K (x^{T}, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, x_{r}^{T} | θ)$

и приближение SR к $K (X, X | θ)$ является:

${\hat{K}}_{S R} (X, X | θ, A) = K (X, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, X | θ) .$

Оценка параметра

Замена $K (X, X | θ)$ около ${\hat{K}}_{S R} (X, X | θ, A)$ в предельной функции журнала правдоподобия создает свои приближения SR:

$\begin{array}{l} \log P_{S R} (y | X, β, θ, σ^{2}, A) = & - \frac{1}{2} {(y - H β)}^{T} {[{\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} (y - H β) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{n} | \end{array}$

Как и в точном методе, программное обеспечение оценивает параметры путем первых вычислений $\hat{β} (θ, σ^{2})$ , оптимальная оценка $β$ , заданный $θ$ и $σ^{2}$ . Тогда это оценивает $θ$ , и $σ^{2}$ использование $β$ -профилированная маргинальная вероятность журнала. Оценка SR для $β$ для данного $θ$ , и $σ^{2}$ является:

${\hat{β}}_{S R} (θ, σ^{2}, A) = {[\underset{*}{\underset{︸}{H^{T} {[{\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} H}}]}^{- 1} \underset{* *}{\underset{︸}{H^{T} {[{\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} y}},$

где

$\begin{array}{l} {[{\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} = \frac{I_{N}}{σ^{2}} - \frac{K (X, X_{A} | θ)}{σ^{2}} A_{A}^{- 1} \frac{K (X_{A}, X | θ)}{σ^{2}}, \\ A_{A} = K (X_{A}, X_{A} | θ) + \frac{K (X_{A}, X | θ) K (X, X_{A} | θ)}{σ^{2}}, \\ * = \frac{H^{T} H}{σ^{2}} - \frac{H^{T} K (X, X_{A} | θ)}{σ^{2}} A_{A}^{- 1} \frac{K (X_{A}, X | θ) H}{σ^{2}}, \\ * * = \frac{H^{T} y}{σ^{2}} - \frac{H^{T} K (X, X_{A} | θ)}{σ^{2}} A_{A}^{- 1} \frac{K (X_{A}, X | θ) y}{σ^{2}} . \end{array}$

И приближение SR к $β$ -профилированная маргинальная вероятность журнала:

$\begin{array}{l} \log P_{S R} (y | X, {\hat{β}}_{S R} (θ, σ^{2}, A), θ, σ^{2}, A) = \\ \begin{array}{l} - \frac{1}{2} {(y - H {\hat{β}}_{S R} (θ, σ^{2}, A))}^{T} {[{\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{n}]}^{- 1} (y - H {\hat{β}}_{S R} (θ, σ^{2}, A)) \\ - \frac{N}{2} \log 2 π - \frac{1}{2} \log | {\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{n} | . \end{array} \end{array}$

Предсказание

SR приближения с распределением $y_{n e w}$ данный $y$ , $X$ , $x_{n e w}$ является

$P (y_{n e w} | y, X, x_{n e w}) = N (y_{n e w} | h {(x_{n e w})}^{T} β + μ_{S R}, σ_{n e w}^{2} + Σ_{S R}),$

где $μ_{S R}$ и $Σ_{S R}$ являются ли приближения SR, $μ$ и $Σ$ показан в предсказании с использованием точного метода GPR.

$μ_{S R}$ и $Σ_{S R}$ получаются заменой $k (x, x_{r} | θ)$ по его SR приближения ${\hat{k}}_{S R} (x, x_{r} | θ, A)$ в $μ$ и $Σ$ , соответственно.

То есть,

$μ_{S R} = \underset{(1)}{\underset{︸}{{\hat{K}}_{S R} (x_{n e w}^{T}, X | θ, A)}} \underset{(2)}{\underset{︸}{{({\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{N})}^{- 1}}} (y - H β) .$

С тех пор

$\begin{array}{l} (1) = K (x_{n e w}^{T}, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, X | θ) \end{array},$

$(2) = \frac{I_{N}}{σ^{2}} - \frac{K (X, X_{A} | θ)}{σ^{2}} {[K (X_{A}, X_{A} | θ) + \frac{K (X_{A}, X | θ) K (X, X_{A} | θ)}{σ^{2}}]}^{- 1} \frac{K (X_{A}, X | θ)}{σ^{2}},$

и от того, что $I_{N} - B {(A + B)}^{- 1} = A {(A + B)}^{- 1}$ , $μ_{S R}$ может быть написано как

$\begin{array}{l} μ_{S R} & = K (x_{n e w}^{T}, X_{A} | θ) {[K (X_{A}, X_{A} | θ) + \frac{K (X_{A}, X | θ) K (X, X_{A} | θ)}{σ^{2}}]}^{- 1} \frac{K (X_{A}, X | θ)}{σ^{2}} (y - H β) \end{array} .$

Точно так же, $Σ_{S R}$ получают следующим образом:

$Σ_{S R} = \underset{*}{\underset{︸}{{\hat{k}}_{S R} (x_{n e w}, x_{n e w} | θ, A)}} - \underset{* *}{\underset{︸}{{\hat{K}}_{S R} (x_{n e w}^{T}, X | θ, A)}} \underset{* * *}{\underset{︸}{{({\hat{K}}_{S R} (X, X | θ, A) + σ^{2} I_{N})}^{- 1}}} \underset{* * * *}{\underset{︸}{{\hat{K}}_{S R} (X, x_{n e w}^{T} | θ, A)}} .$

Поскольку

$* = K (x_{n e w}^{T}, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, x_{n e w}^{T} | θ),$

$\begin{array}{l} * * = K (x_{n e w}^{T}, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, X | θ), \\ * * * = (2) в уравнении μ_{S R}, \end{array}$

$* * * * = K (X, X_{A} | θ) K {(X_{A}, X_{A} | θ)}^{- 1} K (X_{A}, x_{n e w}^{T} | θ),$

$Σ_{S R}$ найдено следующим образом:

$\sum_{S R} = K (x_{n e w}^{T}, X_{A} | θ) {[K (X_{A}, X_{A} | θ) + \frac{K (X_{A}, X | θ) K (X, X_{A} | θ))}{σ^{2}}]}^{- 1} K (X_{A}, x_{n e w}^{T} | θ) .$

Задача прогнозирующего отклонения

Одним из недостатков метода SR является то, что он может давать неоправданно маленькие прогнозирующие отклонения при выполнении предсказаний в области, удаленной от выбранного активного множества $A \subset N = {1, 2, ..., n}$ . Рассмотрите создание предсказания в новой точке $x_{n e w}$ что далеко от набора обучающих данных $X$ . Другими словами, предположим, что $K (x_{n e w}^{T}, X | θ) \approx 0$ .

Для точного GPR, апостериорное распределение $f_{n e w}$ данный $y$ , $X$ и $x_{n e w}$ был бы Нормальным со средним $μ = 0$ и отклонение $Σ = k (x_{n e w}, x_{n e w} | θ)$ . Это значение верно в том смысле, что, если $x_{n e w}$ далеко от $X$ , затем данные $(X, y)$ не предоставляет никакой новой информации о $f_{n e w}$ и поэтому апостериорное распределение $f_{n e w}$ данный $y$ , $X$ , и $x_{n e w}$ должно уменьшиться до предыдущего распределения $f_{n e w}$ данный $x_{n e w}$ , которое является Нормальным распределением со средним $0$ и отклонение $k (x_{n e w}, x_{n e w} | θ)$ .

Для приближения SR, если $x_{n e w}$ далеко от $X$ (и, следовательно, также далеко от $X_{A}$ ), затем $μ_{S R} = 0$ и $Σ_{S R} = 0$ . Таким образом, в этом крайнем случае, $μ_{S R}$ соглашается с $μ$ от точного GPR, но $Σ_{S R}$ необоснованно мало по сравнению с $Σ$ из точного GPR.

Полностью независимый метод условного приближения может помочь избежать этой проблемы.

Ссылки

[1] Расмуссен, К. Э. и К. К. И. Уильямс. Гауссовы процессы для машинного обучения. MIT Press. Кембридж, Массачусетс, 2006.

[2] Смола, А. Й. и Б. Шёкопф. Разреженное жадное матричное приближение для машинного обучения. В работе семнадцатой Международной конференции по машинному обучению, 2000 год.

См. также

fitrgp | predict

Документация