Ядро (ковариация) опции функции

В контролируемом изучении ожидается что точки с подобными значениями предиктора $x_{i}$ , естественно имейте близкий ответ (цель) значения $y_{i}$ . В Гауссовых процессах функция ковариации выражает это подобие [1]. Это задает ковариацию между этими двумя скрытыми переменными $f (x_{i})$ и $f (x_{j})$ , где оба $x_{i}$ и $x_{j}$ d-by-1 векторы. Другими словами, это определяет как ответ однажды $x_{i}$ затронут ответами в других точках $x_{j}$ , i ≠ j, i = 1, 2..., n. Функция ковариации $k (x_{i}, x_{j})$ может быть задан различными функциями ядра. Это может быть параметрировано в терминах параметров ядра в векторе $θ$ . Следовательно, возможно выразить функцию ковариации как $k (x_{i}, x_{j} | θ)$ .

Для многих стандартных функций ядра параметры ядра основаны на стандартном отклонении сигнала $σ_{f}$ и характеристическая шкала расстояний $σ_{l}$ . Характеристические шкалы расстояний кратко задают как далеко независимо входные значения $x_{i}$ может быть для значений ответа, чтобы стать некоррелированым. Оба $σ_{l}$ и $σ_{f}$ должен быть больше 0, и это может быть осуществлено неограниченным вектором параметризации $θ$ , таким образом, что

$θ_{1} = \log σ_{l}, θ_{2} = \log σ_{f} .$

Встроенное ядро (ковариация) функции с той же шкалой расстояний для каждого предиктора:

Экспоненциальное ядро в квадрате
Это - одна из обычно используемых функций ковариации и является опцией по умолчанию для fitrgp. Экспоненциальная функция ядра в квадрате задана как

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} exp [- \frac{1}{2} \frac{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})}{σ_{l}^{2}}] .$
где $σ_{l}$ характеристическая шкала расстояний, и $σ_{f}$ стандартное отклонение сигнала.
Экспоненциальное ядро
Можно задать экспоненциальную функцию ядра использование 'KernelFunction','exponential' аргумент пары "имя-значение". Эта функция ковариации задана

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} \exp (- \frac{r}{σ_{l}}),$
где $σ_{l}$ характеристическая шкала расстояний и

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
Евклидово расстояние между $x_{i}$ и $x_{j}$ .
Matern 3/2
Можно задать Matern 3/2 функция ядра использование 'KernelFunction','matern32' аргумент пары "имя-значение". Эта функция ковариации задана

$\begin{array}{l} k (x_{i}, x_{j} | θ) = σ_{f}^{2} (1 + \frac{\sqrt{3} r}{σ_{l}}) exp (- \frac{\sqrt{3} r}{σ_{l}}) \end{array},$
где

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
Евклидово расстояние между $x_{i}$ и $x_{j}$ .
Matern 5/2
Можно задать Matern 5/2 функция ядра использование 'KernelFunction','matern52' аргумент пары "имя-значение". Matern 5/2 функция ковариации задан как

$\begin{array}{l} k (x_{i}, x_{j}) = σ_{f}^{2} (1 + \frac{\sqrt{5} r}{σ_{l}} + \frac{5 r^{2}}{3 σ_{l}^{2}}) exp (- \frac{\sqrt{5} r}{σ_{l}}) \end{array},$
где

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
Евклидово расстояние между $x_{i}$ и $x_{j}$ .
Рациональное квадратичное ядро
Можно задать рациональную квадратичную функцию ядра использование 'KernelFunction','rationalquadratic' аргумент пары "имя-значение". Эта функция ковариации задана
$k (x_{i}, x_{j} | θ) = σ_{f}^{2} {(1 + \frac{r^{2}}{2 α σ_{l}^{2}})}^{- α},$
где $σ_{l}$ характеристическая шкала расстояний, $α$ параметр смеси шкалы с положительным знаком, и

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
Евклидово расстояние между $x_{i}$ и $x_{j}$ .

Возможно использовать отдельную шкалу расстояний $σ_{m}^{}$ для каждого предиктора m, m = 1, 2..., d. Встроенное ядро (ковариация) функции с отдельной шкалой расстояний для каждого предиктора реализует автоматическое определение уместности (ARD) [2]. Неограниченная параметризация $θ$ в этом случае

$\begin{array}{l} θ_{m} = \log σ_{m}, для m = 1, 2, ..., d \\ θ_{d + 1} = \log σ_{f} . \end{array}$

Встроенное ядро (ковариация) функции с отдельной шкалой расстояний для каждого предиктора:

ARD придал экспоненциальному ядру квадратную форму
Можно задать эту функцию ядра использование 'KernelFunction','ardsquaredexponential' аргумент пары "имя-значение". Эта функция ковариации является экспоненциальной функцией ядра в квадрате с отдельной шкалой расстояний для каждого предиктора. Это задано как

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} exp [- \frac{1}{2} \sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}] .$
Ядро экспоненциала ARD
Можно задать эту функцию ядра использование 'KernelFunction','ardexponential' аргумент пары "имя-значение". Эта функция ковариации является экспоненциальной функцией ядра с отдельной шкалой расстояний для каждого предиктора. Это задано как
$k (x_{i}, x_{j} | θ) = σ_{f}^{2} \exp (- r),$
где
$r = \sqrt{\sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}} .$
ARD Matern 3/2
Можно задать эту функцию ядра использование 'KernelFunction','ardmatern32' аргумент пары "имя-значение". Этой функцией ковариации является Matern 3/2 функция ядра с различной шкалой расстояний для каждого предиктора. Это задано как

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} (1 + \sqrt{3} r) exp (- \sqrt{3} r),$
где

$r = \sqrt{\sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}} .$
ARD Matern 5/2
Можно задать эту функцию ядра использование 'KernelFunction','ardmatern52' аргумент пары "имя-значение". Этой функцией ковариации является Matern 5/2 функция ядра с различной шкалой расстояний для каждого предиктора. Это задано как

$\begin{array}{l} k (x_{i}, x_{j} | θ) = σ_{f}^{2} (1 + \sqrt{5} r + \frac{5}{3} r^{2}) exp (- \sqrt{5} r) \end{array},$
где

$r = \sqrt{\sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}} .$
ARD рациональное квадратичное ядро
Можно задать эту функцию ядра использование 'KernelFunction','ardrationalquadratic' аргумент пары "имя-значение". Эта функция ковариации является рациональной квадратичной функцией ядра с отдельной шкалой расстояний для каждого предиктора. Это задано как
$k (x_{i}, x_{j} | θ) = σ_{f}^{2} {(1 + \frac{1}{2 α} \sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}})}^{- α} .$

Можно задать функцию ядра использование KernelFunction аргумент пары "имя-значение" в вызове fitrgp. Можно или задать одну из встроенных опций параметра ядра или задать пользовательскую функцию. При обеспечении начальных значений параметров ядра для встроенной функции ядра, вход начальные значения для стандартного отклонения сигнала и характеристической шкалы (шкал) расстояний как числовой вектор. При обеспечении начальных значений параметров ядра для пользовательской функции ядра, вход начальные значения неограниченный вектор параметризации $θ$ . fitrgp использует аналитические производные, чтобы оценить параметры при использовании встроенной функции ядра, тогда как при использовании пользовательского ядра функционируют, это использует числовые производные.

Ссылки

[1] Расмуссен, C. E. и К. К. Ай. Уильямс. Гауссовы процессы для машинного обучения. Нажатие MIT. Кембридж, Массачусетс, 2006.

[2] Нил, R. M. Байесово изучение для нейронных сетей. Спрингер, Нью-Йорк. Читайте лекции примечаниям в статистике, 118, 1996.

Смотрите также

RegressionGP | fitrgp

Документация