Если вы планируете использовать подобранную модель для прогнозирования, рекомендуется оценить прогностическую способность модели. Модели, которые хорошо подходят в выборке, не гарантированно хорошо прогнозируют. Например, переоборудование может привести к хорошей подгонке в выборке, но плохой прогностической эффективности.
При проверке прогностической производительности важно не использовать данные дважды. Таким образом, данные, используемые для соответствия модели, должны отличаться от данных, используемых для оценки прогнозов. Перекрестную проверку можно использовать для оценки возможностей прогнозирования вне выборки:
Разделите временные ряды на две части: обучающий набор и валидационный набор.
Подберите модель в соответствии с учебными данными.
Спрогнозировать подобранную модель на период проверки.
Сравните прогнозы с наблюдениями проверки отсутствия, используя графики и числовые сводки (такие как предиктивная среднеквадратическая ошибка).
Среднеквадратическая ошибка прогнозирования (PMSE) измеряет расхождение между модельными прогнозами и наблюдаемыми данными. Предположим, что у вас есть временной ряд длиной N, и вы отложите M точек проверки, обозначенных y1v,y2v,...,yMv.. После подгонки модели к первым N-M точкам данных (обучающий набор) создайте ..., y ^ Mv.
Модель PMSE рассчитывается как
iv) 2.
Можно рассчитать PMSE для различных вариантов M, чтобы проверить надежность результатов.