Документация

Модели регрессии Гауссова процесса

Модели регрессии Гауссова процесса (GPR) являются непараметрическими основанными на ядре вероятностными моделями. Можно обучить модель GPR, используя fitrgp функция.

Рассмотрим набор обучающих данных $$\{(x_i,y_i);i=1,2,\mathrm{...},n\}$$, где $$x_i\in {ℝ}^d$$ и $$y_i\in ℝ$$, полученный из неизвестного распределения. Модель GPR решает вопрос предсказания значения переменной отклика $$y_{new}$$, учитывая новый входной вектор $$x_{new}$$, и обучающих данных. Линейная регрессионая модель имеет вид

где $$\epsilon \sim N(0,{\sigma }^2\text{)}$$. Ошибка отклонения σ² и коэффициенты, β оцениваются из данных. Модель GPR объясняет ответ введением скрытых переменных, $$f\left(x_i\right),i=1,2,\mathrm{...},n$$, из Гауссова процесса (GP) и явных базисных функций, h. Ковариационная функция латентных переменных захватывает плавность отклика и базисные функции проецируют входы $$x$$ в p -мерное пространство функций.

GP является множеством случайных переменных, таких что любое конечное число из них имеет совместное Гауссово распределение. Если $$\left\{f\left(x\right),x\in {ℝ}^d\right\}$$ является GP, затем задается n наблюдения $$x_1,x_2,\mathrm{...},x_n$$, совместное распределение случайных переменных $$f(x_1),f(x_2),\mathrm{...},f(x_n)$$ Гауссов. GP определяется своей средней функцией $$m\left(x\right)$$ и ковариационную функцию, $$k\left(x,x^{\prime }\right)$$. То есть, если $$\left\{f\left(x\right),x\in {ℝ}^d\right\}$$ является Гауссовым процессом, тогда $$E\left(f\left(x\right)\right)=m\left(x\right)$$ и $$Cov\left[f\left(x\right),f\left(x^{\prime }\right)\right]=E\left[\left\{f\left(x\right)-m\left(x\right)\right\}\left\{f\left(x^{\prime }\right)-m\left(x^{\prime }\right)\right\}\right]=k\left(x,x^{\prime }\right).$$

Теперь рассмотрим следующую модель.

где $$f\left(x\right)~GP\left(0,k\left(x,x^{\prime }\right)\right)$$, то есть f (x) от нуля среднего GP с ковариацией функцией,$$k\left(x,x^{\prime }\right)$$. h (x) являются набором базисных функций, которые преобразуют исходный вектор признака, x в R^d в вектор новой возможности h (x) в R^p. β является вектором p -by-1 коэффициентов базиса функций. Эта модель представляет модель GPR. Образец y отклика может быть смоделирован как

Следовательно, модель GPR является вероятностной моделью. Для каждого наблюдения введена латентная переменная f (_xi)$$x_i$$, что делает модель GPR непараметрической. В векторной форме эта модель эквивалентна

где

Совместное распределение латентных переменных $$f\left(x_1\right),f\left(x_2\right),\mathrm{...},f\left(x_n\right)$$ в модели GPR представлено следующее:

близко к линейной регрессионной модели, где $$K\left(X,X\right)$$ выглядит следующим образом:

Ковариационная функция $$k\left(x,x^{\prime }\right)$$ обычно параметризируется набором параметров ядра или гиперпараметров, $$\theta$$. Часто $$k\left(x,x^{\prime }\right)$$ записывается как $$k\left(x,x^{\prime }|\theta \right)$$ для явного указания зависимости от $$\theta$$.

fitrgp оценивает коэффициенты базиса функций, $$\beta$$, отклонение шума, $${\sigma }^2$$и гиперпараметры,$$\theta$$, функции ядра из данных во время настройки модели GPR. Можно задать базисную функцию, ядерную (ковариационную) функцию и начальные значения для параметров.

Поскольку модель GPR является вероятностной, можно вычислить интервалы предсказания с помощью обученной модели (см predict и resubPredict).

Можно также вычислить ошибку регрессии, используя обученную модель GPR (см loss и resubLoss).

rng('default') % For reproducibility
x_observed = linspace(0,10,21)';
y_observed1 = x_observed.*sin(x_observed);
y_observed2 = y_observed1 + 0.5*randn(size(x_observed));

gprMdl1 = fitrgp(x_observed,y_observed1);
gprMdl2 = fitrgp(x_observed,y_observed2);

x = linspace(0,10)';
[ypred1,~,yint1] = predict(gprMdl1,x);
[ypred2,~,yint2] = predict(gprMdl2,x);

fig = figure;
fig.Position(3) = fig.Position(3)*2;

tiledlayout(1,2,'TileSpacing','compact')

nexttile
hold on
scatter(x_observed,y_observed1,'r') % Observed data points
fplot(@(x) x.*sin(x),[0,10],'--r')  % Function plot of x*sin(x)
plot(x,ypred1,'g')                  % GPR predictions
patch([x;flipud(x)],[yint1(:,1);flipud(yint1(:,2))],'k','FaceAlpha',0.1); % Prediction intervals
hold off
title('GPR Fit of Noise-Free Observations')
legend({'Noise-free observations','g(x) = x*sin(x)','GPR predictions','95% prediction intervals'},'Location','best')

nexttile
hold on
scatter(x_observed,y_observed2,'xr') % Observed data points
fplot(@(x) x.*sin(x),[0,10],'--r')   % Function plot of x*sin(x)
plot(x,ypred2,'g')                   % GPR predictions
patch([x;flipud(x)],[yint2(:,1);flipud(yint2(:,2))],'k','FaceAlpha',0.1); % Prediction intervals
hold off
title('GPR Fit of Noisy Observations')
legend({'Noisy observations','g(x) = x*sin(x)','GPR predictions','95% prediction intervals'},'Location','best')

См. также

fitrgp | predict | RegressionGP

Похожие темы

• Точный метод GPR
• Подмножество приближения данных для моделей GPR
• Подмножество приближения регрессоров для моделей GPR
• Полностью независимое условное приближение для моделей GPR
• Блок Приближения координатного спуска для моделей GPR