Образцовые тесты сравнения — такие как отношение правдоподобия, множитель Лагранжа или Вальдов тест — только подходят для сравнения вложенных моделей. Напротив, информационные критерии являются образцовыми инструментами выбора, которые можно использовать, чтобы сравнить любую подгонку моделей к тем же данным. Таким образом, сравниваемые модели не должны быть вложены.
В основном информационные критерии являются основанными на вероятности мерами образцовой подгонки, которые включают штраф за сложность (а именно, количество параметров). Различные информационные критерии отличает форма штрафа и могут предпочесть различные модели.
Пусть обозначьте значение максимизируемой loglikelihood целевой функции для модели с подгонкой параметров k к точкам данных N. Два обычно используемых информационных критерия:
Критерий информации о Akaike (AIC). AIC сравнивает модели с точки зрения информационной энтропии, как измерено расхождением Kullback-Leibler. AIC для данной модели
При сравнении значений AIC для многоуровневых моделей меньшие значения критерия лучше.
Байесов информационный критерий (BIC). BIC, также известный как критерий информации о Шварце, сравнивает модели с точки зрения теории решений, как измерено ожидаемой потерей. BIC для данной модели
При сравнении значений BIC для многоуровневых моделей меньшие значения критерия лучше.
Некоторые ссылки масштабируют информационные значения критериев количеством наблюдений (N). Econometrics Toolbox™ не делает этого масштабирования. В результате абсолютное значение мер возвраты тулбокса может отличаться от других источников фактором N.