Опции функции ядра (ковариации)

В управляемом обучении ожидается, что точки с аналогичными значениями предиктора $x_{i}$ , естественно, имеют значения близкого отклика (целевой) $y_{i}$ . В Гауссовских процессах ковариационная функция выражает это сходство [1]. Он задает ковариацию между двумя скрытыми переменными $f (x_{i})$ и $f (x_{j})$ , где и то и другое $x_{i}$ и $x_{j}$ d векторы -by-1. Другими словами, это определяет, как ответ в одной точке $x_{i}$ затронуто откликами в других точках $x_{j}$ , <reservedrangesplaceholder3> ≠ <reservedrangesplaceholder2> , i = 1, 2..., n. Ковариационная функция $k (x_{i}, x_{j})$ может быть задано различными функциями ядра. Его можно параметризовать в терминах параметров ядра в векторе $θ$ . Следовательно, можно выразить ковариационную функцию как $k (x_{i}, x_{j} | θ)$ .

Для многих стандартных функций ядра параметры ядра основаны на стандартном отклонении сигнала $σ_{f}$ и характеристическая шкала длины $σ_{l}$ . Шкалы длины характеристики кратко определяют, насколько далеко вход значения $x_{i}$ может быть, чтобы значения отклика стали некоррелированными. Оба $σ_{l}$ и $σ_{f}$ должно быть больше 0, и это может быть реализовано вектором параметризации без ограничений $θ$ , таким что

$θ_{1} = \log σ_{l}, θ_{2} = \log σ_{f} .$

Встроенные ядерные (ковариационные) функции с той же шкалой длины для каждого предиктора:

Квадратное экспоненциальное ядро
Это одна из наиболее часто используемых ковариационных функций и опция по умолчанию для fitrgp. Квадратная экспоненциальная функция ядра определяется как

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} exp [- \frac{1}{2} \frac{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})}{σ_{l}^{2}}] .$
где $σ_{l}$ является характеристической шкалой длины, и $σ_{f}$ - стандартное отклонение сигнала.
Экспоненциальное ядро
Можно задать экспоненциальную функцию ядра с помощью 'KernelFunction','exponential' аргумент пары "имя-значение". Эта ковариационная функция определяется

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} \exp (- \frac{r}{σ_{l}}),$
где $σ_{l}$ является характеристической шкалой длины и

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
- евклидово расстояние между $x_{i}$ и $x_{j}$ .
Матерн 3/2
Вы можете задать функцию ядра Matern 3/2 с помощью 'KernelFunction','matern32' аргумент пары "имя-значение". Эта ковариационная функция определяется

$\begin{array}{l} k (x_{i}, x_{j} | θ) = σ_{f}^{2} (1 + \frac{\sqrt{3} r}{σ_{l}}) exp (- \frac{\sqrt{3} r}{σ_{l}}) \end{array},$
где

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
- евклидово расстояние между $x_{i}$ и $x_{j}$ .
Матерн 5/2
Вы можете задать функцию ядра Matern 5/2 с помощью 'KernelFunction','matern52' аргумент пары "имя-значение". Функция ковариации Matern 5/2 задана как

$\begin{array}{l} k (x_{i}, x_{j}) = σ_{f}^{2} (1 + \frac{\sqrt{5} r}{σ_{l}} + \frac{5 r^{2}}{3 σ_{l}^{2}}) exp (- \frac{\sqrt{5} r}{σ_{l}}) \end{array},$
где

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
- евклидово расстояние между $x_{i}$ и $x_{j}$ .
Рациональное квадратичное ядро
Вы можете задать рациональную квадратичную функцию ядра, используя 'KernelFunction','rationalquadratic' аргумент пары "имя-значение". Эта ковариационная функция определяется
$k (x_{i}, x_{j} | θ) = σ_{f}^{2} {(1 + \frac{r^{2}}{2 α σ_{l}^{2}})}^{- α},$
где $σ_{l}$ - характеристическая шкала длины, $α$ является положительным параметром смеси шкалы, и

$\begin{array}{l} r = \sqrt{{(x_{i} - x_{j})}^{T} (x_{i} - x_{j})} \end{array}$
- евклидово расстояние между $x_{i}$ и $x_{j}$ .

Возможно использование отдельной шкалы длины $σ_{m}^{}$ для каждого m предиктора m = 1, 2,..., d. Встроенные функции ядра (ковариации) с отдельной шкалой длины для каждого предиктора реализуют автоматическое определение релевантности (ARD) [2]. Параметризация без ограничений $θ$ в этом случае

$\begin{array}{l} θ_{m} = \log σ_{m}, для m = 1, 2, ..., d \\ θ_{d + 1} = \log σ_{f} . \end{array}$

Встроенные ядерные (ковариационные) функции с отдельной шкалой длины для каждого предиктора:

Квадратное экспоненциальное ядро ARD
Вы можете задать эту функцию ядра, используя 'KernelFunction','ardsquaredexponential' аргумент пары "имя-значение". Эта ковариационная функция является квадратной экспоненциальной функцией ядра с отдельной шкалой длины для каждого предиктора. Он определяется как

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} exp [- \frac{1}{2} \sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}] .$
Экспоненциальное ядро ARD
Вы можете задать эту функцию ядра, используя 'KernelFunction','ardexponential' аргумент пары "имя-значение". Эта ковариационная функция является экспоненциальной функцией ядра с отдельной шкалой длины для каждого предиктора. Он определяется как
$k (x_{i}, x_{j} | θ) = σ_{f}^{2} \exp (- r),$
где
$r = \sqrt{\sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}} .$
ARD Matern 3/2
Вы можете задать эту функцию ядра, используя 'KernelFunction','ardmatern32' аргумент пары "имя-значение". Эта ковариационная функция является функцией ядра Matern 3/2 с разной шкалой длины для каждого предиктора. Он определяется как

$k (x_{i}, x_{j} | θ) = σ_{f}^{2} (1 + \sqrt{3} r) exp (- \sqrt{3} r),$
где

$r = \sqrt{\sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}} .$
ARD Matern 5/2
Вы можете задать эту функцию ядра, используя 'KernelFunction','ardmatern52' аргумент пары "имя-значение". Эта ковариационная функция является функцией ядра Matern 5/2 с разной шкалой длины для каждого предиктора. Он определяется как

$\begin{array}{l} k (x_{i}, x_{j} | θ) = σ_{f}^{2} (1 + \sqrt{5} r + \frac{5}{3} r^{2}) exp (- \sqrt{5} r) \end{array},$
где

$r = \sqrt{\sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}}} .$
Рациональное квадратичное ядро ARD
Вы можете задать эту функцию ядра, используя 'KernelFunction','ardrationalquadratic' аргумент пары "имя-значение". Эта ковариационная функция является рациональной квадратичной функцией ядра с отдельной шкалой длины для каждого предиктора. Он определяется как
$k (x_{i}, x_{j} | θ) = σ_{f}^{2} {(1 + \frac{1}{2 α} \sum_{m = 1}^{d} \frac{{(x_{i m} - x_{j m})}^{2}}{σ_{m}^{2}})}^{- α} .$

Вы можете задать функцию ядра, используя KernelFunction аргумент пары "имя-значение" в вызове fitrgp. Можно либо задать одну из встроенных опций параметра ядра, либо задать пользовательскую функцию. При предоставлении начальных значений параметров ядра для встроенной функции ядра вводите начальные значения для стандартного отклонения сигнала и шкал (шкал ) длины характеристики в качестве числового вектора. При предоставлении начальных значений параметров ядра для пользовательской функции ядра вводите начальные значения в вектор параметризации без ограничений $θ$ . fitrgp использует аналитические производные для оценки параметров при использовании встроенной функции ядра, тогда как при использовании пользовательской функции ядра использует числовые производные.

Ссылки

[1] Расмуссен, К. Э. и К. К. И. Уильямс. Гауссовы процессы для машинного обучения. MIT Press. Кембридж, Массачусетс, 2006.

[2] Нил, Р. М. Байесиан Обучение для нейронных сетей. Спрингер, Нью-Йорк. Лекции по статистике, 118, 1996 год.

См. также

fitrgp | RegressionGP

Документация