Если вы планируете использовать подобранную модель для прогнозирования, хорошей практикой является оценка прогнозирующей способности модели. Модели, которые подходят хорошо в выборке, не гарантированно прогнозируются хорошо. Для примера сверхподбора кривой может привести к хорошей подгонке в выборке, но к плохой прогнозной эффективности.
При проверке прогнозирующей эффективности важно не использовать ваши данные дважды. То есть данные, которые вы используете для соответствия модели, должны отличаться от данных, которые вы используете для оценки прогнозов. Можно использовать перекрестную валидацию для оценки возможности прогнозирования вне выборки:
Разделите временной ряд на две части: Набор обучающих данных и набор валидации.
Подбор модели к вашим обучающим данным.
Прогнозируйте подобранную модель в течение периода валидации.
Сравните прогнозы с наблюдениями после валидации с помощью графиков и численных сводных данных (таких как прогнозирующая средняя квадратная ошибка).
Предсказанием квадратная ошибка (PMSE) измеряет расхождение между прогнозами модели и наблюдаемыми данными. Предположим, что у вас есть временные ряды N длины, и вы отложили M точки валидации, обозначенные . После подбора кривой модели к первому N - M точек данных (наборов обучающих данных), генерируйте прогнозы
Модель PMSE вычисляется как
Можно вычислить PMSE для различных вариантов M, чтобы проверить робастность результатов.