Функции ядра (ковариация)

В контролируемом обучении ожидается, что точки с аналогичными предикторными значениями $_{xi}$ , естественно, имеют близкие ответные (целевые) значения $_{yi}$ . В гауссовых процессах ковариационная функция выражает это сходство [1]. Он определяет ковариацию между двумя скрытыми переменными $f (_{} xi$ ) и $f_{(}$ xj), где $и_{}$ xi, $и_{}$ xj являются векторами d-by-1. Другими словами, он определяет, как на ответ в одной ${точке}_{}$ xi влияют ответы в других ${точках}_{}$ xj, i ≠ j, i = 1, 2,..., n. Ковариационная функция $k_{(} {xi}_{,}$ xj) может быть определена различными функциями ядра. Он может быть параметризован в терминах параметров ядра в векторе, Следовательно, можно выразить ковариационную функцию $как_{k} (_{} xi,$ xj '

Для многих стандартных функций ядра параметры ядра основаны на среднеквадратическом отклонении по сигналу $_{startf}$ и характеристической шкале длины, $_{(«»}$ Charctical length «») Шкалы характерной длины кратко определяют, насколько далеко $_{}$ могут находиться входные значения xi, чтобы значения отклика стали некоррелированными. И $_{start1}$ , и $_{startf}$ должны быть больше 0, и это может быть принудительно осуществлено неограниченным вектором параметризации, таким образом, что

$_{start1} =_{} logstartl,_{} start2 =_{}$ logstartf.

Встроенные функции ядра (ковариации) с одинаковой шкалой длины для каждого предиктора:

Квадратное экспоненциальное ядро
Это одна из наиболее часто используемых функций ковариации и является опцией по умолчанию для fitrgp. Квадратная экспоненциальная функция ядра определяется как

$k (_{} xi,_{} xj 'start)_{}^{=} \frac{}{startf2exp} \frac{{[_{-} 12_{} (}^{} xi_{-} {xj}_{)}}{T_{}^{(}} xi$ − xj) startl2].
где $_{σl}$ - характерная шкала расстояний, и $_{σf}$ - стандартное отклонение сигнала.
Экспоненциальное ядро
Можно указать экспоненциальную функцию ядра с помощью 'KernelFunction','exponential' аргумент пары имя-значение. Эта ковариационная функция определяется

$k (_{} xi,_{} xj 'start)_{}^{=} \frac{}{{startf2exp}_{}} (-$ rstartl),
где $_{startl}$ - шкала характеристической длины и

$\begin{array}{l} r \sqrt{{=_{(} xi_{-}}^{} xj)_{} T (_{} xi} \end{array}$ − xj)
- евклидово расстояние между $_{xi}$ и $_{xj}$ .
Матерн 3/2
Можно указать функцию ядра Matern 3/2 с помощью 'KernelFunction','matern32' аргумент пары имя-значение. Эта ковариационная функция определяется

$\begin{array}{l} k (_{} xi,_{} xj 'start)_{}^{=} \frac{\sqrt{startf2}}{(_{1}} + \frac{\sqrt{3rstartl})}{_{}} \end{array} exp$ (− 3rstartl),
где

$\begin{array}{l} r \sqrt{{=_{(} xi_{-}}^{} xj)_{} T (_{} xi} \end{array}$ − xj)
- евклидово расстояние между $_{xi}$ и $_{xj}$ .
Матерн 5/2
Можно указать функцию ядра Matern 5/2 с помощью 'KernelFunction','matern52' аргумент пары имя-значение. Ковариационная функция Matern 5/2 определяется как

$\begin{array}{l} k (_{} xi,_{} xj)_{}^{=} \frac{\sqrt{}}{_{}} \frac{^{}}{_{}^{}} \frac{\sqrt{}}{_{}} \end{array}$
где

$\begin{array}{l} r \sqrt{{=_{(} xi_{-}}^{} xj)_{} T (_{} xi} \end{array}$ − xj)
- евклидово расстояние между $_{xi}$ и $_{xj}$ .
Рациональное квадратичное ядро
Можно указать рациональную квадратную функцию ядра с помощью 'KernelFunction','rationalquadratic' аргумент пары имя-значение. Эта ковариационная функция определяется
$k (_{} xi,_{} xj 'start)_{}^{=} {\frac{{startf2}^{}}{(1_{+}^{}}}^{}$ r22ααl2) − α,
где $_{startl}$ - характеристическая шкала длины, $α$ - положительный параметр масштабирования-смешения, и

$\begin{array}{l} r \sqrt{{=_{(} xi_{-}}^{} xj)_{} T (_{} xi} \end{array}$ − xj)
- евклидово расстояние между $_{xi}$ и $_{xj}$ .

Для $_{}^{}$ каждого предиктора m, m = 1, 2,..., d можно использовать отдельную шкалу длины Встроенные функции ядра (ковариации) с отдельной шкалой длины для каждого предсказателя реализуют автоматическое определение релевантности (ARD) [2]. В этом случае неограниченная параметризация

$\begin{array}{l} _{startm} =_{} logstartm, для m = 1,2, . . \\ ._{, d} startd +_{} 1 \end{array}$ = logstartf.

Встроенные функции ядра (ковариации) с отдельной шкалой длины для каждого предиктора:

Квадратное экспоненциальное ядро ARD
Вы можете указать эту функцию ядра с помощью 'KernelFunction','ardsquaredexponential' аргумент пары имя-значение. Эта ковариационная функция является квадратной экспоненциальной функцией ядра, с отдельной шкалой длины для каждого предсказателя. Он определяется как

$k (_{} xi,_{} xj 'start)_{}^{} \frac{}{}_{}^{} \frac{{_{=σf2exp[−12∑m=1d} (_{xim}}^{−}}{_{}^{}} xjm)$ 2startm2].
Экспоненциальное ядро ARD
Вы можете указать эту функцию ядра с помощью 'KernelFunction','ardexponential' аргумент пары имя-значение. Эта ковариационная функция является экспоненциальной функцией ядра, с отдельной шкалой длины для каждого предсказателя. Он определяется как
$k (_{} xi,_{} xj 'start)_{}^{=} startf2exp$ (− r),
где
$\sqrt{_{}^{r=∑m=1d} \frac{{(_{} xim_{-}}^{}}{{xjm}_{)}^{}}}$ 2startm2.
ARD Matern 3/2
Вы можете указать эту функцию ядра с помощью 'KernelFunction','ardmatern32' аргумент пары имя-значение. Эта функция ковариации является функцией ядра Matern 3/2, с различной шкалой длины для каждого предиктора. Он определяется как

$k (_{} xi,_{} xj 'start)_{}^{=} \sqrt{startf2} (1 + 3 \sqrt{r})$ exp (− 3 r),
где

$\sqrt{_{}^{r=∑m=1d} \frac{{(_{} xim_{-}}^{}}{{xjm}_{)}^{}}}$ 2startm2.
ARD Matern 5/2
Вы можете указать эту функцию ядра с помощью 'KernelFunction','ardmatern52' аргумент пары имя-значение. Эта функция ковариации является функцией ядра Matern 5/2, с различной шкалой длины для каждого предиктора. Он определяется как

$\begin{array}{l} k (_{} xi,_{} xj 'start)_{}^{=} \sqrt{startf2} (1 \frac{}{+} 5^{} r + 53 \sqrt{} r2) \end{array}$ exp (− 5 r),
где

$\sqrt{_{}^{r=∑m=1d} \frac{{(_{} xim_{-}}^{}}{{xjm}_{)}^{}}}$ 2startm2.
ARD Рациональное квадратичное ядро
Вы можете указать эту функцию ядра с помощью 'KernelFunction','ardrationalquadratic' аргумент пары имя-значение. Эта ковариационная функция является рациональной квадратичной функцией ядра, с отдельной шкалой длины для каждого предсказателя. Он определяется как
$k (_{} xi,_{} xj 'start)_{}^{=} {\frac{startf2}{(}_{}^{} \frac{{_{} 1+12α\summ=1d_{(}}^{xim}}{_{-}^{}}}^{xjm})$ 2startm2) − α.

Можно указать функцию ядра с помощью KernelFunction аргумент пары имя-значение в вызове fitrgp. Можно либо указать один из встроенных параметров ядра, либо задать пользовательскую функцию. При предоставлении начальных значений параметров ядра для встроенной функции ядра введите начальные значения среднеквадратического отклонения сигнала и шкалу (шкалы) характерной длины в виде числового вектора. При предоставлении начальных значений параметров ядра для пользовательской функции ядра, введите начальные значения неограниченного вектора параметризации fitrgp использует аналитические производные для оценки параметров при использовании встроенной функции ядра, тогда как при использовании пользовательской функции ядра использует числовые производные.

Ссылки

[1] Расмуссен, К. Э. и К. К. И. Уильямс. Гауссовы процессы машинного обучения. Пресс MIT. Кембридж, Массачусетс, 2006.

[2] Нил, Р. М. Байесовское обучение нейронным сетям. Спрингер, Нью-Йорк. Лекционные записки по статистике, 118, 1996 год.

См. также

fitrgp | RegressionGP

Документация