Подмножество регрессоров (SR) метод приближения состоит из замены функции ядра в точном методе GPR его приближением , учитывая активный набор . Можно задать метод SR для оценки параметра при помощи 'FitMethod','sr'
аргумент пары "имя-значение" в вызове fitrgp
. Для предсказания с помощью SR можно использовать 'PredictMethod','sr'
аргумент пары "имя-значение" в вызове fitrgp
.
Для точной модели GPR ожидаемое предсказание в GPR зависит на съемочной площадке функции , где набор индексов всех наблюдений, и n является общим количеством наблюдений. Идея состоит в том, чтобы аппроксимировать промежуток этих функций меньшим набором функций, , где подмножество индексов точек, выбранных, чтобы быть в активном наборе. Рассмотреть . Цель состоит в том, чтобы аппроксимировать элементы как линейные комбинации элементов .
Предположим приближение к использование функций в следующие:
где коэффициенты линейной комбинации для аппроксимации . Предположим матрица, которая содержит все коэффициенты затем, isa матрицируйте таким образом что . Программное обеспечение находит наилучшее приближение к элементам использование активного набора путем минимизации функции ошибок
где Репродуцирование ядра пробелы Гильберта (RKHS), сопоставленное с функцией ядра k [1], [2].
Матрица коэффициентов, которая минимизирует
и приближение к функции ядра использование элементов в активном наборе
Приближение SR к функции ядра использование активного набора задан как:
и приближение SR к :
Заменяя в крайнем журнале функция правдоподобия производит свое приближение SR:
Как в точном методе, программное обеспечение оценивает параметры первым вычислением , оптимальная оценка , данный и . Затем это оценивает , и использование - профилируемая крайняя логарифмическая вероятность. Оценка SR к для данного , и :
где
И приближение SR к - профилируемая крайняя логарифмическая вероятность:
Приближение SR к распределению данный , ,
где и приближения SR к и показанный в предсказании с помощью точного метода GPR.
и получены, заменив его приближением SR \in и , соответственно.
Таким образом,
С тех пор
и от факта это , может быть записан как
Точно так же выведен можно следующим образом:
Поскольку
найден можно следующим образом:
Один из недостатков метода SR - то, что он может дать необоснованно небольшие прогнозирующие отклонения при создании предсказаний в области далеко от выбранного активного набора . Рассмотрите создание предсказания в новой точке это далеко от набора обучающих данных . Другими словами, примите это .
Для точного GPR, апостериорного распределения данный , и было бы Нормально со средним значением и отклонение . Это значение правильно в том смысле, что, если далеко от , затем данные не предоставляет новой информации о и так апостериорное распределение данный , , и должен уменьшать до предшествующего распределения данный , который является Нормальным распределением со средним значением и отклонение .
Для приближения SR, если далеко от (и следовательно также далеко от затем и . Таким образом в этом крайнем случае, соглашается с от точного GPR, но необоснованно мал по сравнению с от точного GPR.
Полностью независимый условный метод приближения может помочь избежать этой проблемы.
[1] Расмуссен, C. E. и К. К. Ай. Уильямс. Гауссовы процессы для машинного обучения. Нажатие MIT. Кембридж, Массачусетс, 2006.
[2] Смола, A. J. и Б. Шекопф. Разреженное жадное матричное приближение для машинного обучения. В Продолжениях Семнадцатой Международной конференции по вопросам Машинного обучения, 2000.