Информационные критерии для выбора модели

Мисспецификационные тесты, такие как коэффициент вероятности (lratiotest), множитель Лагранжа (lmtest), и Уолд (waldtest) тесты, подходят только для сравнения вложенных моделей. Напротив, информационные критерии являются инструментами выбора модели для сравнения любых моделей, подгоняемых к тем же данным - сравниваемые модели не должны быть вложены.

Информационные критерии являются основанными на вероятностях показателями подгонки модели, которые включают штраф за сложность (в частности, количество параметров). Различные информационные критерии различаются формой штрафа, и могут благоприятствовать разным моделям.

Давайте $\log L (\hat{θ})$ обозначить значение максимальной целевой функции логарифмической правдоподобности для модели с параметрами k, подходящими для T точек данных. aicbic функция возвращает следующие информационные критерии:

Информационный критерий Akaike (AIC). - AIC сравнивает модели с точки зрения информационной энтропии, измеренной расхождением Кулбэка-Лейблера. AIC для заданной модели является

$- 2 \log L (\hat{θ}) + 2 k .$
Байесовский (Шварц) информационный критерий (BIC) - BIC сравнивает модели с точки зрения теории принятия решений, измеренные ожидаемыми потерями. BIC для заданной модели является

$- 2 \log L (\hat{θ}) + k \log (T) .$
Исправленный AIC (AICc) - В небольших выборках AIC имеет тенденцию к избыточной подгонке. AICc добавляет термин коррекции смещения второго порядка в AIC для лучшей эффективности в небольших выборках. AICc для заданной модели является

$AIC + \frac{2 k (k + 1)}{T - k - 1} .$
Срок коррекции смещения увеличивает штраф по количеству параметров относительно AIC. Поскольку термин приближается к 0 с увеличением размера выборки, AICc приближается к AIC асимптотически.
Анализ в [3] предполагает использование AICc при numObs/numParam <40.
Последовательный AIC (CAIC) - CAIC налагает дополнительный штраф за сложные модели по сравнению с BIC. CAIC для заданной модели является

$- 2 \log L (\hat{θ}) + k (\log (T) + 1) = КОНТРОЛЛЕР МАГИСТРАЛЬНОГО ИНТЕРФЕЙСА + k .$
Критерий Ханнана-Куинна (HQC) - HQC налагает меньший штраф на сложные модели, чем BIC в больших выборках. HQC для заданной модели является

$- 2 \log L (\hat{θ}) + 2 k \log (\log (T)) .$

Независимо от информационного критерия, когда вы сравниваете значения для нескольких моделей, меньшие значения критерия указывают на лучшую, более скрупулезную подгонку.

Некоторые эксперты масштабируют значения информационных критериев по T. aicbic масштабирует результаты, когда вы устанавливаете 'Normalize' аргумент пары "имя-значение" в true.

Вычисление информационных критериев с помощью `aicbic`

Открыть Live Script

В этом примере показано, как использовать aicbic вычислить информационные критерии для нескольких конкурирующих моделей GARCH, подходящих для моделируемых данных. Хотя этот пример использует aicbicНекоторые функции Statistics and Machine Learning Toolbox™ and Econometrics Toolbox™ model fitting также возвращают информационные критерии в своих сводных данных оценок.

Моделирование данных

Симулируйте случайный путь длины 50 от процесса генерации данных ARCH (1) (DGP )

$\begin{array}{rclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrclrcl} y_{t} & = & ε_{t} \\ ε_{t}^{2} & = & 0.5 + 0.1 ε_{t - 1}^{2}, \end{array}$

где $ε_{t}$ - случайный Гауссов ряд нововведений.

rng(1)  % For reproducibility
DGP = garch('ARCH',{0.1},'Constant',0.5);
T = 50;
y = simulate(DGP,T);

plot(y)
ylabel('Innovation')
xlabel('Time')

Figure contains an axes. The axes contains an object of type line.

Создание конкурирующих моделей

Предположим, что DGP неизвестен и что модели ARCH (1), GARCH (1,1), ARCH (2) и GARCH (1,2) подходят для описания DGP.

Для каждой конкурирующей модели создайте garch шаблон модели для оценки.

Mdl(1) = garch(0,1);
Mdl(2) = garch(1,1);
Mdl(3) = garch(0,2);
Mdl(4) = garch(1,2);

Оценка моделей

Подгонка каждой модели к моделируемым данным yвычислите логарифмическую правдоподобность и подавьте отображение оценки.

numMdl = numel(Mdl);
logL = zeros(numMdl,1);      % Preallocate
numParam = zeros(numMdl,1);
for j = 1:numMdl
    [EstMdl,~,logL(j)] = estimate(Mdl(j),y,'Display','off');
    results = summarize(EstMdl);
    numParam(j) = results.NumEstimatedParameters;
end

Вычисление и сравнение информационных критериев

Для каждой модели вычислите все доступные информационные критерии. Нормализуйте результаты по размеру выборки T.

[~,~,ic] = aicbic(logL,numParam,T,'Normalize',true)

ic = struct with fields:
     aic: [1.7619 1.8016 1.8019 1.8416]
     bic: [1.8384 1.9163 1.9167 1.9946]
    aicc: [1.7670 1.8121 1.8124 1.8594]
    caic: [1.8784 1.9763 1.9767 2.0746]
     hqc: [1.7911 1.8453 1.8456 1.8999]

ic является 1-D массив структур с полем для каждого информационного критерия. Каждое поле содержит вектор измерений; элемент j соответствует модели, дающей логарифмическую правдоподобность logL(j).

Для каждого критерия определите модель, которая приводит к минимальному значению.

[~,minIdx] = structfun(@min,ic);
[Mdl(minIdx).Description]'

ans = 5x1 string
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"
    "GARCH(0,1) Conditional Variance Model (Gaussian Distribution)"

Модель, которая минимизирует все критерии, является моделью ARCH (1), которая имеет ту же структуру, что и DGP .

Ссылки

[1] Акайке, Хиротугу. «Теория информации и расширение принципа максимального правдоподобия». В «Избранных документах Хиротугу Акайке» под редакцией Эмануэля Парзена, Кунио Танабе и Гэнсиро Китагавы, 199-213. Нью-Йорк: Спрингер, 1998. https://doi.org/10.1007/978-1-4612-1694-0_15.

[2] Акайке, Хиротугу. «Новый взгляд на идентификацию статистической модели». Транзакции IEEE по автоматическому контролю 19, № 6 (декабрь 1974 года): 716-23. https://doi.org/10.1109/TAC.1974.1100705.

[3] Бернем, Кеннет П. и Дэвид Р. Андерсон. Выбор модели и вывод мультимодели: практический информационно-теоретический подход. 2nd ed, New York: Springer, 2002.

[4] Ханнан, Эдвард Дж., и Барри Г. Куинн. «Определение порядка авторегрессии». Журнал Королевского статистического общества: Серия B (Методологическая) 41, № 2 (январь 1979): 190-95. https://doi.org/10.1111/j.2517-6161.1979.tb01072.x.

[5] Lütkepohl, Helmut, and Markus Krätzig, редактора. Эконометрика прикладных временных рядов. 1-я ред. Cambridge University Press, 2004. https://doi.org/10.1017/CBO9780511606885.

[6] Шварц, Гидеон. «Оценка размерности модели». Анналы статистики 6, № 2 (март 1978): 461-64. https://doi.org/10.1214/aos/1176344136.

См. также

aicbic | lmtest | lratiotest | waldtest

Документация