Гауссовы модели регрессии процесса

Модели гауссовой регрессии процесса (GPR) являются непараметрическими основанными на ядре вероятностными моделями. Можно обучить модель GPR с помощью функции fitrgp.

Рассмотрите набор обучающих данных {(xi,yi);i=1,2,...,n}, где xid и yi, чертивший от неизвестного распределения. Модель GPR обращается к вопросу предсказания значения переменной отклика ynew, учитывая новый входной вектор xnew, и данные тренировки. Модель линейной регрессии имеет форму

y=xTβ+ε,

где εN(0,σ2). Ошибочное отклонение σ 2 и коэффициенты β оценивается от данных. Модель GPR объясняет ответ путем представления скрытых переменных, f(xi),i=1,2,...,n, от Гауссова процесса (GP), и явных основных функций, h. Функция ковариации скрытых переменных получает гладкость ответа, и основные функции проектируют входные параметры x в p - размерное пространство признаков.

GP является набором случайных переменных, таких, что любое конечное число их имеет объединенное Распределение Гаусса. Если {f(x),xd} GP, затем, учитывая наблюдения n x1,x2,...,xn, совместное распределение случайных переменных f(x1),f(x2),...,f(xn) является Гауссовым. GP задан его средней функцией m(x) и функция ковариации, k(x,x). Таким образом, если {f(x),xd} Гауссов процесс, затем E(f(x))=m(x) и Cov[f(x),f(x)]=E[{f(x)m(x)}{f(x)m(x)}]=k(x,x).

Теперь рассмотрите следующую модель.

h(x)Tβ+f(x),

где f(x)~GP(0,k(x,x)), это is f (x) от нулевого среднего GP с функцией ковариации, k(x,x). h (x) является набором основных функций, которые преобразовывают исходный характеристический вектор x в Rd в вектор новой возможности h (x) в Rp. β является p-by-1 вектор коэффициентов основной функции. Эта модель представляет модель GPR. Экземпляр ответа y может быть смоделирован как

P(yi|f(xi),xi) ~N(yi|h(xi)Tβ+f(xi),σ2)

Следовательно, модель GPR является вероятностной моделью. Существует скрытая переменная f (xi), введенный для каждого наблюдения xi, который делает модель GPR непараметрической. В векторной форме эта модель эквивалентна

P(y|f,X)~N(y|Hβ+f,σ2I),

где

X=(x1Tx2TxnT),y=(y1y2yn),H=(h(x1T)h(x2T)h(xnT)),f=(f(x1)f(x2)f(xn)).

Совместное распределение скрытых переменных f(x1),f(x2),...,f(xn) в GPR модель следующие:

P(f|X)~N(f|0,K(X,X)),

близко к модели линейной регрессии, где K(X,X) взгляды можно следующим образом:

K(X,X)=(k(x1,x1)k(x1,x2)k(x1,xn)k(x2,x1)k(x2,x2)k(x2,xn)k(xn,x1)k(xn,x2)k(xn,xn)).

Функция ковариации k(x,x) обычно параметризован набором параметров ядра или гиперпараметров, θ. Часто k(x,x) записан как k(x,x|θ) явным образом указать на зависимость от θ.

fitrgp оценивает коэффициенты основной функции, β, шумовое отклонение, σ2, и гиперпараметры,θ, из ядра функционируют от данных в то время как обучение модель GPR. Можно задать основную функцию, ядро (ковариация) функция и начальные значения для параметров.

Поскольку модель GPR является вероятностной, возможно вычислить интервалы прогноза с помощью обученной модели (см. predict и resubPredict). Считайте некоторые данные наблюдаемыми от функционального g (x) = x *sin (x) и примите, что они - свободный шум. Подграфик слева в следующей фигуре иллюстрирует наблюдения, подгонку GPR и фактическую функцию. Более реалистично, что наблюдаемые величины не являются точными значениями функции, но шумной реализацией их. Подграфик справа иллюстрирует этот случай. Когда наблюдения являются свободным шумом (как в подграфике слева), подгонка GPR пересекает наблюдения, и стандартное отклонение предсказанного ответа является нулем. Следовательно, вы не видите интервалы прогноза вокруг этих значений.

Можно также вычислить ошибку регрессии обученная модель GPR (см. loss и resubLoss).

Ссылки

[1] Расмуссен, C. E. и К. К. Ай. Уильямс. Гауссовы процессы для машинного обучения. Нажатие MIT. Кембридж, Массачусетс, 2006.

Смотрите также

|

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте