Документация

Оценка параметров

Один из подходов для оценки параметров $$\beta$$, $$\mathrm{start}$$, и $${}^{\mathrm{start2}}$$ модели GPR заключается в максимизации вероятности $$P(y\; \text{'}X$$) как функции $$$$β, $$$$start, и $${}^{\mathrm{}}$$start2 [1]. То есть, $$\stackrel{}{\mathrm{если}}$$β $$\stackrel{,}{^}$$start^, $${\stackrel{}{}}^{\mathrm{и}}$$ λ ^ 2 являются $$$$оценками $$$$β, start$${,}^{\mathrm{}}$$и start2 соответственно, то:

Поскольку

функция предельного логарифмического правдоподобия выглядит следующим образом:

где $$H$$ - вектор явных базисных функций, а $$K(X,$$X 'start) - матрица ковариационных функций (для получения дополнительной информации см. Модели регрессии гауссова процесса).

Для оценки параметров программное обеспечение сначала вычисляет $$\stackrel{}{\beta }^({\mathrm{start}}^{\mathrm{,}}$$start2), что максимизирует логарифмическую функцию правдоподобия по отношению $$$$к β для $$$$заданных $${}^{\mathrm{}}$$Затем он использует эту оценку для вычисления $$$$вероятности β-профилирования:

Оценка $$\beta$$ для данного$$$$$${}^{\mathrm{}}$$

Затем $$$$β-профилированное логарифмическое правдоподобие задается

Затем программное обеспечение максимизирует $$$$β-профилированное логарифмическое правдоподобие над$$$$$${}^{\mathrm{}}$$

Прогноз

Выполнение вероятностных прогнозов из модели GPR с известными параметрами требует плотности $$P{(}_{}ynew\; \text{'}y,X_{,}$$xnew). Используя определение условных вероятностей, можно записать:

Чтобы найти плотность соединения в числителе, необходимо ввести скрытые переменные $${}_{\mathrm{fnew}}$$ и $$f$$, соответствующие $${}_{\mathrm{ynew}}$$и $$y$$соответственно. Затем можно использовать совместное распределение для $${}_{\mathrm{ynew}}$$, $$y$$, $${}_{\mathrm{fnew}}$$и $$f$$ для вычисления $$P{(}_{}ynew,{\mathrm{y\; \text{'}X}}_{,}$$xnew):

Модели гауссовых процессов предполагают, что каждый отклик $${}_{\mathrm{yi}}$$ зависит только от соответствующей скрытой переменной $${}_{\mathrm{fi}}$$ и вектора признаков $${}_{}$$xi. Запись $$P{(}_{}ynew,{}_{}\mathrm{y\; \text{'}fnew},f{,}_{X,}$$xnew) как произведение условных плотностей и на основе этого предположения производит:

После интегрирования относительно $${}_{\mathrm{ynew}}$$результат зависит только от $$f$$ и $$X$$:

Следовательно,

Снова используя определение условных вероятностей,

можно записать $$P{(}_{}ynew,{\mathrm{y\; \text{'}X}}_{,}$$xnew) следующим образом:

Используя факты, которые

и

можно переписать $$P{(}_{}ynew,{\mathrm{y\; \text{'}X}}_{,}$$xnew) следующим образом:

Также можно показать, что

Следовательно, требуемая плотность $$P{(}_{}ynew\; \text{'}y,X_{,}$$xnew) равна:

Можно показать, что

После интегрирования и требуемой алгебры плотность нового ответа $${}_{\mathrm{ynew}}$$ в новой точке $${}_{\mathrm{xnew}}$$, учитывая $$y$$, $$X$$, обнаруживается как

где

и

Ожидаемое значение предсказания $${}_{\mathrm{ynew}}$$ в новой точке $${}_{\mathrm{xnew}}$$, заданной $$y$$, $$X$$и параметрами $$\mathrm{\beta ,}$$$$$$$${}^{\mathrm{}}$$

где

Вычислительная сложность точной оценки и прогнозирования параметров

Обучение модели GPR точному методу (когда FitMethod является 'Exact') требует инверсии матрицы $$K(X,$$X) ядра n-на-n. Требования к памяти для этого шага масштабируются как O (n2), $$посколькуK($$X, X) должны храниться в памяти. Одна $$\mathrm{оценка}logP$$ (y 'X) шкала ^как O (n3). Следовательно, вычислительная сложность ^равна O (kn3), где k - количество оценок функций, необходимых для максимизации, а n - количество наблюдений.

Составление прогнозов по новым данным включает в себя вычисление $$\stackrel{}{\alpha }$$^. Если интервалы прогнозирования желательны, этот этап может также включать вычисление и сохранение коэффициента Холески $$(K(X,X^{\mathrm{)}}{}_{+}$$σ2In) для последующего использования. Вычислительная сложность этого шага с использованием прямого $$\stackrel{}{\mathrm{вычисления}}$$α ^ ^равна O (n3), а потребность в памяти равна O (n2).

Следовательно, для больших n оценка параметров или вычислительные прогнозы могут быть очень дорогостоящими. Способы аппроксимации обычно включают в себя перегруппировку вычислений так, чтобы избежать инверсии матрицы n-на-n. Доступные методы аппроксимации см. в соответствующих ссылках в нижней части страницы.