Если вы планируете использовать подобранную модель для прогнозирования, это - хорошая практика, чтобы оценить прогнозирующую способность модели. Модели, которые соответствуют хорошо в выборке, как гарантируют, не предскажут хорошо. Например, сверхподбор кривой может привести к хорошей подгонке в выборке, но плохой прогнозирующей производительности.
При проверке прогнозирующей производительности важно не использовать данные дважды. Таким образом, данные, которые вы используете, чтобы соответствовать вашей модели, должны отличаться, чем данные, которые вы используете, чтобы оценить прогнозы. Можно использовать перекрестную проверку, чтобы оценить из выборки предсказывающую способность:
Разделите свои временные ряды на две части: набор обучающих данных и валидация установлены.
Подберите модель к своим данным тренировки.
Предскажите подобранную модель за период валидации.
Сравните прогнозы с наблюдениями валидации затяжки с помощью графиков и числовых сводных данных (таких как прогнозирующая среднеквадратичная погрешность).
Среднеквадратичная погрешность прогноза (PMSE) измеряет несоответствие между образцовыми прогнозами и наблюдаемыми данными. Предположим, что у вас есть временные ряды длины N, и вы откладываете точки валидации M, обозначенные . После подбора кривой вашей модели к первому N – точки данных M (набор обучающих данных), сгенерируйте прогнозы
Модель PMSE вычисляется как
Можно вычислить PMSE для различного выбора M проверить робастность результатов.