Если вы планируете использовать подобранную модель в прогнозировании, хорошая практика должна оценить прогнозирующую способность модели. Модели, которые соответствуют хорошо в выборке, как гарантируют, не предскажут хорошо. Например, сверхподбор кривой может привести к хорошей подгонке в выборке, но плохой прогнозирующей производительности.
При проверке прогнозирующей производительности важно не использовать данные дважды. Таким образом, данные, которые вы используете, чтобы подбирать вашу модель, должны отличаться, чем данные, которые вы используете, чтобы оценить прогнозы. Можно использовать перекрестную проверку, чтобы оценить из выборки предсказывающую способность:
Разделите свои временные ряды на две части: набор обучающих данных и валидация установлены.
Подберите модель к своим обучающим данным.
Предскажите подобранную модель за период валидации.
Сравните прогнозы с наблюдениями валидации затяжки с помощью графиков и числовых сводных данных (таких как прогнозирующая среднеквадратичная погрешность).
Среднеквадратичная погрешность предсказания (PMSE) измеряет несоответствие между прогнозами модели и наблюдаемыми данными. Предположим, что у вас есть временные ряды длины N, и вы откладываете точки валидации M, обозначенные . После того, чтобы подбирать вашу модель к первому N – точки данных M (набор обучающих данных), сгенерируйте прогнозы
Модель PMSE вычисляется как
Можно вычислить PMSE для различного выбора M проверить робастность результатов.