Информационные критерии для выбора модели

Тесты с ошибками, такие как отношение правдоподобия (lratiotest), множитель Лагранжа (lmtest), и Вальд (waldtest), подходят только для сравнения вложенных моделей. Напротив, информационные критерии являются инструментами выбора моделей для сравнения любых моделей, подходящих для одних и тех же данных - сравниваемые модели не обязательно должны быть вложенными.

Информационные критерии - это основанные на правдоподобии показатели соответствия модели, которые включают штраф за сложность (в частности, количество параметров). Различные информационные критерии различаются по форме штрафа, и могут благоприятствовать разным моделям.

Пусть $logL \overset{start^)}{(}$ обозначает значение целевой функции максимизированного логарифмирования для модели с k параметрами, подходящими к Т точкам данных. aicbic функция возвращает следующие информационные критерии:

Информационный критерий Акаике (АПК). - AIC сравнивает модели с точки зрения информационной энтропии, измеренной по дивергенции Куллбэка-Лейблера. AIC для данной модели:

$- 2logL \overset{(}{} start^)$ + 2k.
Информационный критерий Байеса (Шварца) (BIC) - BIC сравнивает модели с точки зрения теории решений, измеряемой ожидаемыми потерями. BIC для данной модели:

$- 2logL \overset{(}{} start^) +$ клог (T).
Скорректированная AIC (AICc) - в небольших выборках AIC имеет тенденцию к перевыполнению. AICc добавляет член коррекции смещения второго порядка к AIC для лучшей производительности в небольших выборках. AICc для данной модели

$AIC \frac{+ 2k (k}{+ 1)}$ T − k − 1.
Член коррекции смещения увеличивает штраф на количество параметров относительно АПК. Поскольку термин приближается к 0 с увеличением размера выборки, AICc подходит к AIC асимптотически.
Анализ в [3] предлагает использовать AICc, когда numObs/numParam < 40.
Согласованная AIC (CAIC) - CAIC накладывает дополнительный штраф на сложные модели по сравнению с BIC. CAIC для данной модели:

$- 2logL \overset{(}{} start^) + k (log (T) +$ 1) = BIC + k.
Критерий Ханнана-Куинна (HQC) - HQC накладывает меньший штраф на сложные модели, чем BIC в больших выборках. HQC для данной модели

$- 2logL \overset{(}{} start^) + 2klog ($ log (T)).

Независимо от информационного критерия при сравнении значений для нескольких моделей меньшие значения критерия указывают на лучшую, более взвешенную подгонку.

Некоторые эксперты масштабируют значения информационных критериев по Т. aicbic масштабирование результатов при установке 'Normalize' аргумент пары имя-значение для true.

Вычислить критерии информации с помощью `aicbic`

Открыть сценарий в реальном времени

В этом примере показано, как использовать aicbic для вычисления информационных критериев для нескольких конкурирующих моделей GARCH, соответствующих моделируемым данным. Хотя в этом примере используется aicbicнекоторые Toolbox™ статистики и машинного обучения и Econometrics Toolbox™ функции подбора моделей также возвращают информационные критерии в своих оценочных резюме.

Моделирование данных

Моделирование случайного пути длиной 50 из процесса генерации данных ARCH (1) (DGP )

$\begin{array}{rclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrcl} _{yt} & =_{} \\ _{}^{} & αtεt2 = 0,5_{+ 0}^{} . \end{array}$ 1αt-12,

где $_{αt}$ - случайная гауссова серия инноваций.

rng(1)  % For reproducibility
DGP = garch('ARCH',{0.1},'Constant',0.5);
T = 50;
y = simulate(DGP,T);

plot(y)
ylabel('Innovation')
xlabel('Time')

Figure contains an axes. The axes contains an object of type line.

Создание конкурирующих моделей

Предположим, что DGP неизвестен и что модели ARCH (1), GARCH (1,1), ARCH (2) и GARCH (1,2) подходят для описания DGP.

Для каждой конкурирующей модели создайте garch шаблон модели для оценки.

Mdl(1) = garch(0,1);
Mdl(2) = garch(1,1);
Mdl(3) = garch(0,2);
Mdl(4) = garch(1,2);

Модели оценки

Подгонка каждой модели к моделируемым данным yвычислить логический результат и подавить отображение оценки.

numMdl = numel(Mdl);
logL = zeros(numMdl,1);      % Preallocate
numParam = zeros(numMdl,1);
for j = 1:numMdl
    [EstMdl,~,logL(j)] = estimate(Mdl(j),y,'Display','off');
    results = summarize(EstMdl);
    numParam(j) = results.NumEstimatedParameters;
end

Критерии вычисления и сравнения информации

Для каждой модели вычислите все доступные информационные критерии. Нормализация результатов по размеру выборки T.

[~,~,ic] = aicbic(logL,numParam,T,'Normalize',true)

ic = struct with fields:
     aic: [1.7619 1.8016 1.8019 1.8416]
     bic: [1.8384 1.9163 1.9167 1.9946]
    aicc: [1.7670 1.8121 1.8124 1.8594]
    caic: [1.8784 1.9763 1.9767 2.0746]
     hqc: [1.7911 1.8453 1.8456 1.8999]

ic - массив структуры 1-D с полем для каждого информационного критерия. Каждое поле содержит вектор измерений; элемент j соответствует модели, дающей логическую привязку logL(j).

Для каждого критерия определите модель, которая дает минимальное значение.

[~,minIdx] = structfun(@min,ic);
[Mdl(minIdx).Description]'

ans = 5x1 string
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"

Модель, которая минимизирует все критерии, является моделью ARCH (1), которая имеет ту же структуру, что и DGP .

Ссылки

[1] Акаике, Хиротугу. «Теория информации и расширение принципа максимального правдоподобия». В «Избранных бумагах Хиротугу Акаике» под редакцией Эмануэля Парцена, Кунио Танабэ и Гэнсиро Китагавы, 199-213. Нью-Йорк: Спрингер, 1998. https://doi.org/10.1007/978-1-4612-1694-0_15.

[2] Акаике, Хиротугу. «Новый взгляд на идентификацию статистической модели». IEEE Transactions on Automatic Control 19, No 6 (December 1974): 716-23. https://doi.org/10.1109/TAC.1974.1100705.

[3] Бернем, Кеннет П. и Дэвид Р. Андерсон. Выбор модели и вывод мультимодели: практический информационно-теоретический подход. 2-е изд., Нью-Йорк: Спрингер, 2002.

[4] Ханнан, Эдвард Дж. и Барри Г. Куинн. «Определение порядка авторегрессии». Журнал Королевского статистического общества: серия B (методологическая) 41, № 2 (январь 1979): 190-95. https://doi.org/10.1111/j.2517-6161.1979.tb01072.x.

[5] Люткеполь, Гельмут и Маркус Крациг, редакторы. Прикладная эконометрика временных рядов. 1-я редакция Cambridge University Press, 2004. https://doi.org/10.1017/CBO9780511606885.

[6] Шварц, Гидеон. «Оценка измерения модели». Анналы статистики 6, № 2 (март 1978): 461-64. https://doi.org/10.1214/aos/1176344136.

См. также

aicbic | lmtest | lratiotest | waldtest

Документация