Экземпляр ответа y из модели Gaussian process regression (GPR) может быть смоделирован как
Следовательно, создание предсказаний для новых данных из модели GPR требует:
Знание вектора коэффициентов, , из фиксированных основных функций
Способность выполнить функцию ковариации для произвольного и , учитывая параметры ядра или гиперпараметры, .
Знание шумового отклонения это появляется в плотности
Таким образом, каждый должен сначала оценить , , и из данных .
Один подход для оценки параметров , , и из GPR модель путем максимизации вероятности как функция , , и [1]. Таким образом, если , , и оценки , , и , соответственно, затем:
Поскольку
крайняя логарифмическая функция правдоподобия следующие:
где вектор явных основных функций, и матрица функции ковариации (для получения дополнительной информации, см. Гауссовы Модели Регрессии Процесса).
Чтобы оценить параметры, программное обеспечение сначала вычисляет , который максимизирует логарифмическую функцию правдоподобия относительно для данного и . Это затем использует эту оценку, чтобы вычислить - профилируемая вероятность:
Оценка для данного , и
Затем - профилируемой логарифмической вероятностью дают
Программное обеспечение затем максимизирует - профилируемая логарифмическая правдоподобность , и найти их оценки.
Создание вероятностных предсказаний из модели GPR известными параметрами требует плотности . Используя определение условных вероятностей, можно записать:
Чтобы найти объединенную плотность в числителе, необходимо ввести скрытые переменные и соответствие , и , соответственно. Затем возможно использовать совместное распределение в , , , и вычислить :
Гауссовы модели процессов принимают что каждый ответ только зависит от соответствующей скрытой переменной и характеристический вектор . Запись когда продукт условной плотности и на основе этого предположения производит:
После интеграции относительно , результат только зависит от и :
Следовательно,
Снова с помощью определения условных вероятностей,
возможно записать можно следующим образом:
Используя факты это
и
можно переписать можно следующим образом:
Также возможно показать это
Следовательно, необходимая плотность :
Этому можно показать это
После интегрирования и требуемой алгебры, плотности нового ответа в новой точке , данный , найден как
где
и
Ожидаемое значение предсказания в новой точке данный , , и параметры , , и
где
Обучение модель GPR с точным методом (когда FitMethod
'Exact'
) требует инверсии n-by-n матрица ядра . Требования к памяти для этого масштабные шкалы как O (n ^2) с тех пор должен храниться в памяти. Одна оценка шкалы как O (n ^3). Поэтому вычислительная сложность является O (k *n^3), где k является количеством вычислений функции, необходимых для максимизации, и n является количеством наблюдений.
Создание предсказаний на новых данных включает расчет . Если интервалы предсказания желаемы, этот шаг мог бы также включить расчет и устройство хранения данных Фактора Холесского для дальнейшего использования. Вычислительная сложность этого шага с помощью прямого расчета O (n ^3), и требования к памяти являются O (n ^2).
Следовательно, для большого n, оценка параметров или вычислительных предсказаний может быть очень дорогой. Методы приближения обычно включают реорганизацию расчета, чтобы избежать инверсии n-by-n матрица. Для доступных методов приближения смотрите ссылки по теме внизу страницы.
[1] Расмуссен, C. E. и К. К. Ай. Уильямс. Гауссовы процессы для машинного обучения. Нажатие MIT. Кембридж, Массачусетс, 2006.