Введение

Предикторы в динамических регрессионных моделях могут включать отстающие значения экзогенных объяснительных переменных (распределенная задержка, или DL, условия), отстающие значения переменных эндогенного отклика (авторегрессивные, или AR, условия) или обоих. Отстающие значения инновационного процесса (скользящее среднее значение, или MA, условия) могут иметь экономическое значение, представляющее сохранение потрясений, но они чаще всего включаются, чтобы компенсировать потребность в дополнительных терминах DL или AR. (См. пример Регрессия временных рядов VIII: Задержки переменных и смещение оценщика.)

В идеале экономическая теория предполагает, какие лаги включать в модель. Часто, однако, задержка между изменениями предиктора и соответствующими изменениями отклика должна быть обнаружена с помощью анализа данных. Распространенный подход к моделированию состоит в том, чтобы включать историю предиктора в моменты времени t-1, t-2, t-3,..., t-p, с предположением, что значительные эффекты на текущий ответ вызваны только недавними изменениями в предикторе. Затем анализ спецификаций рассматривает расширение или ограничение структуры задержки и, наконец, выбор соответствующего порядка p задержки.

В этом примере исследуются стратегии выбора порядка задержки. Хотя детали зависят от данных и контекста моделирования, общая цель состоит в том, чтобы идентифицировать краткое, легко интерпретируемое описание процесса генерации данных (DGP), которое приводит к точной оценке и надежному прогнозированию.

Начнем с загрузки соответствующих данных из предыдущих примеров в этой серии:

load Data_TSReg8

Основные тесты

Классическая, нормальная линейная модель (CNLM), представленная в примере Временные Ряды Regression I: Linear Models, фильтрует данные, чтобы сгенерировать невязки белого шума. Эконометрические модели не всегда стремятся к такому тщательному статистическому описанию DGP, особенно когда предикторы диктуются теорией или политикой, а цели моделирования фокусируются на конкретных эффектах. Тем не менее, отходы от CNLM, и их степень, являются общими показателями миссионерской модели.

В любой точке процесса спецификации модели невязки могут демонстрировать ненормальность, автокорреляцию, гетероскедастичность и другие нарушения допущений CNLM. Когда предикторы добавляются или удаляются, модели могут быть оценены по относительному улучшению качества невязок. Тесты для подгонки модели посредством остаточного анализа описаны в примере Регрессия временных рядов VI: Остаточная диагностика.

Спецификация модели должна также учитывать статистическую значимость предикторов, избегать избыточной подгонки в службе остаточного отбеливания и создавать скупое представление DGP. Основные тесты включают t-тест, который оценивает значимость отдельных предикторов, и F-тест, который используется для оценки совместной значимости, скажем, целой структуры задержки. Эти тесты обычно используются вместе, поскольку предиктор с незначительным индивидуальным эффектом все еще может способствовать значительному эффекту соединения.

Многие процедуры выбора порядка задержки используют эти основные тесты для оценки расширений и ограничений спецификации начальной задержки. Хорошая эконометрическая практика предполагает тщательную оценку каждого этапа процесса. Экономисты должны судить о статистических решениях в контексте экономической теории и модельных допущений. Автоматизированные процедуры обсуждаются в примере на Временные ряды Regression V: Predictor Selection, но часто трудно полностью автоматизировать идентификацию полезной структуры задержки. Мы используем более «ручной» подход в этом примере. Конечно, надежность любой такой процедуры критически зависит от надежности базовых испытаний.

Рассмотрим базовую модель кредитных дефолтов, введенную в примере Регрессия временных рядов I: Линейные модели:

M0

M0 = 
Linear regression model:
    IGD ~ 1 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat      pValue  
                   _________    _________    _______    _________

    (Intercept)     -0.22741     0.098565    -2.3072     0.034747
    AGE             0.016781    0.0091845     1.8271     0.086402
    BBB            0.0042728    0.0026757     1.5969      0.12985
    CPF            -0.014888    0.0038077      -3.91    0.0012473
    SPR             0.045488     0.033996      1.338       0.1996


Number of observations: 21, Error degrees of freedom: 16
Root Mean Squared Error: 0.0763
R-squared: 0.621,  Adjusted R-Squared: 0.526
F-statistic vs. constant model: 6.56, p-value = 0.00253

Основываясь на значениях p t-статистики, AGE является наиболее значимым индивидуальным фактором риска (положительный коэффициент) для скоростей по умолчанию, измеренных ответом IGD. AGE представляет собой процент эмитентов инвестиционных облигаций, впервые оцененных 3 года назад. Значения по умолчанию часто возникают после этого периода, когда расходуется капитал от первоначального выпуска, но они могут возникнуть рано или поздно. Представляется разумным рассмотреть модели, которые включают лаги или выводы AGE.

Подгонка M0 основан только на 21 наблюдении, и 5 коэффициентов, уже оцененных, оставляют только 16 степеней свободы для дальнейшего подбора кривой. Расширенные структуры задержки и соответствующее сокращение размера выборки поставят под вопрос валидность диагностической статистики.

Для ссылки мы создаем таблицы и подгоняем модели с AGE задержка в порядках 1, 2, 3, 4 и 5:

% Lagged data:

AGE = DataTable.AGE;
maxLag = 5;
lags = 1:maxLag;
AGELags = lagmatrix(AGE,lags);
lagNames = strcat({'AGELag'},num2str(lags','%-d'));
AGELags = array2table(AGELags,'VariableNames',lagNames);

% Preallocate tables and models:

DTAL = cell(maxLag,1);
MAL = cell(maxLag,1);

% Fit models:

AL = AGELags;
DT = DataTable;

for lagOrder = lags
    
    lagRange = 1:lagOrder;
    
    % Trim next presample row:    
    
    AL(1,:) = [];
    DT(1,:) = [];

    % Fit model:    
    
    DTAL{lagOrder} = [AL(:,lagRange),DT];
    MAL{lagOrder} = fitlm(DTAL{lagOrder});
    MALName{lagOrder} = strcat('MAL',num2str(lagRange,'%u'));

end

Начнем с рассмотрения модели с AGE lag порядок 2, то есть с AGE данные по эмитентам впервые оценили 3 года назад, и отстали AGE данные по эмитентам впервые оценили 4 и 5 лет назад:

MAL12 = MAL{2}

MAL12 = 
Linear regression model:
    IGD ~ 1 + AGELag1 + AGELag2 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat      pValue 
                   _________    _________    _______    ________

    (Intercept)     -0.31335      0.12871    -2.4345    0.031471
    AGELag1        0.0030903     0.012504    0.24714     0.80898
    AGELag2         0.014322    0.0090639     1.5802     0.14006
    AGE             0.017683     0.010243     1.7263     0.10993
    BBB             0.003078    0.0035264    0.87284     0.39988
    CPF            -0.013744    0.0047906     -2.869    0.014115
    SPR             0.030392     0.034582    0.87883     0.39675


Number of observations: 19, Error degrees of freedom: 12
Root Mean Squared Error: 0.0723
R-squared: 0.732,  Adjusted R-Squared: 0.598
F-statistic vs. constant model: 5.46, p-value = 0.00618

Отстающие переменные сокращают размер выборки на два. Вместе с двумя новыми предполагаемыми коэффициентами степени свободы уменьшаются на 4, до 12.

Модель подгонки, как измерено среднеквадратичной ошибкой и скорректированной $$R^2$$ статистический (который учитывает дополнительные предикторы), немного улучшен относительно M0. Значимость предикторов уже в M0, как измерено значениями p их t-статистики, уменьшается. Это типично, когда добавляются предикторы, если только новые предикторы не являются совершенно незначительными. Общая статистика F показывает, что расширенная модель имеет несколько меньшую значимость при описании изменения отклика.

Из двух новых предикторов AGELag2 представляется гораздо более значимым, чем AGELag1. Это трудно интерпретировать в экономическом плане, и это ставит под сомнение точность мер значимости. Являются ли значения p программным продуктом размера малой выборки? Затронуты ли они нарушениями допущений CNLM, которые лежат в основе обычной оценки методом наименьших квадратов (OLS)? Короче говоря, обеспечивают ли они законную причину для изменения структуры задержки? Получение надежных ответов на эти вопросы в реалистичных выборках экономических данных часто является проблемой.

Распределение любой диагностической статистики зависит от распределения инноваций процесса, как показано в невязках модели. Для тестов t и F нормальных инноваций достаточно для получения статистики тестов с распределениями t и F в конечных выборках. Однако, если нововведения отойдут от нормальности, статистика может не следовать этим ожидаемым распределениям. Тесты страдают от искажений размера, где номинальные уровни значимости искажают фактическую частоту отклонения нулевой гипотезы. Когда это происходит, выводы о значимости предиктора становятся ненадежными.

Это является фундаментальной проблемой в анализе спецификаций, поскольку на любом этапе процесса модели, вероятно, будут миссифицированы, а данные не полностью отфильтрованы. Результаты тестов должны быть рассмотрены в контексте остаточного ряда. График нормальной вероятности MAL12 невязки показывают некоторые причины подозревать сообщенные значения p:

resAL12 = MAL12.Residuals.Raw;

normplot(resAL12)
xlabel('Residual')
title('{\bf MAL12 Residuals}')

Распространенным убеждением является то, что тесты t и F устойчивы к нештатным инновациям. В какой-то степени это правда. Инновации из эллиптически симметричных распределений, таких как t распределений, которые обобщают многомерное нормальное распределение, дают статистику t и F, которая следует распределениям t и F в конечных выборках [12]. Этот результат, однако, принимает диагональную ковариационную структуру. Когда инновации демонстрируют гетероскедастичность и автокорреляцию, стандартные тесты t и F становятся гораздо менее устойчивыми [5], [16]. Искажения размера могут быть существенными в конечных выборках. Однако практически характер распределения инноваций и степень искажения могут оказаться трудными для измерения.

Робастные тесты

Статистика t и F включает как оценки коэффициентов, так и их стандартные ошибки. В присутствии гетероскедастичности или автокорреляции оценки коэффициентов OLS остаются объективными, при условии, что предикторы являются экзогенными. Стандартные ошибки, однако, при оценке с обычными формулами CNLM, смещены.

Одним из ответов является формирование статистики с использованием стандартных оценок ошибок, которые устойчивы к несферическим инновациям [2], [3], как в примере регрессии временных рядов X: Обобщенные оценки методом наименьших квадратов и HAC. Мы иллюстрируем эту стратегию здесь.

p-значение статистики t обычно вычисляется с помощью распределение Стьюдента. Для примера, для AGELag2 в MAL12:

AGELag2Idx = find(strcmp(MAL12.CoefficientNames,'AGELag2'));
coeff_AGELag2 = MAL12.Coefficients.Estimate(AGELag2Idx);
se_AGELag2 = MAL12.Coefficients.SE(AGELag2Idx);
t_AGELag2 = coeff_AGELag2/se_AGELag2;

dfeAL12 = MAL12.DFE;
p_AGELag2 = 2*(1-tcdf(t_AGELag2,dfeAL12))

p_AGELag2 = 0.1401

Это значение p, сообщенное в предыдущем отображении MAL12.

Используя согласованность по гетероскедастичности (HC) или более общую согласованность по гетероскедастичности и автокорреляции (HAC), оценки стандартной ошибки, продолжая предполагать распределение Стьюдента для полученной статистики, приводят к очень разным p-значениям:

% HC estimate:

[~,seHC] = hac(MAL12,'type','HC','weights','HC3','display','off');
se_AGELag2HC = seHC(AGELag2Idx);
t_AGELag2HC = coeff_AGELag2/se_AGELag2HC;

p_AGELag2HC = 2*(1-tcdf(t_AGELag2HC,dfeAL12))

p_AGELag2HC = 0.3610

% HAC estimate:

[~,seHAC] = hac(MAL12,'type','HAC','weights','BT','display','off');
se_AGELag2HAC = seHAC(AGELag2Idx);
t_AGELag2HAC = coeff_AGELag2/se_AGELag2HAC;

p_AGELag2HAC = 2*(1-tcdf(t_AGELag2HAC,dfeAL12))

p_AGELag2HAC = 0.0688

Значение p HC показывает AGELag2 быть относительно незначительным, в то время как значение p HAC показывает, что оно потенциально является довольно значительным. Значение p CNLM находится между ними.

Существует ряд проблем с получением достоверных выводов из этих результатов. Во-первых, без более тщательного анализа остаточного ряда (как в примере Временные Ряды Regression VI: Lestual Diagnostics), нет оснований выбирать один стандартный оценщик ошибок по сравнению с другим. Во-вторых, стандартные оценки ошибок согласованы асимптотически, и выборка здесь небольшая, даже по эконометрическим стандартам. В-третьих, для оценки требуется несколько, иногда произвольно выбранных, параметров неприятности ('weights', 'bandwidth', 'whiten'), что может значительно изменить результаты, особенно в небольших выборках. Наконец, вновь составленные статистические данные t и F, сформированные с устойчивыми стандартными ошибками, не следуют распределениям t и F в конечных выборках.

Короче говоря, оценки значимости здесь могут быть не лучше, чем традиционные таковые, основанные на допущениях CNLM. Модификации основанных на HAC тестов, таких как тесты KVB [11], эффективны в решении проблем с отдельными параметрами неприятности, но они не решают большей проблемы применения асимптотических методов к конечным выборкам.

Загрузочные тесты

Другой ответ на искажения размера в традиционных тестах спецификаций - загрузка. Тестовая статистика, вычисленная из исходных данных, поддерживается, но ее распределение переоценивается посредством моделируемой повторной дискретизации с целью создания более точного p-значения.

Повторная дискретизация данных из населения является стандартным методом для оценки распределения статистических данных. Однако характер экономических временных рядов обычно делает это непрактичным. Экономики имеют фиксированную историю. Генерация реалистичных альтернативных путей со статистическими свойствами, подобными эмпирическим данным, требует дополнительных предположений.

В загрузочном тесте нулевая модель соответствует доступным данным, и нулевое распределение невязок используется, чтобы аппроксимировать популяционное распределение инноваций. Затем невязки повторно дискретизируются с заменой, чтобы сгенерировать новые остаточные ряды. Соответствующие ответы bootstrap вычисляются с помощью фиксированных историй предикторов. Наконец, новые данные отклика используются для обновления альтернативной (исходной) модели и пересчета тестовой статистики. Этот процесс повторяется, чтобы сгенерировать загрузочное распределение.

Для сравнения, мы загрузим статистику AGELag2 при нулевой гипотезе, что его коэффициент равен нулю. Модель null является:

MAL1 = MAL{1}

MAL1 = 
Linear regression model:
    IGD ~ 1 + AGELag1 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat       pValue  
                   _________    _________    ________    _________

    (Intercept)      -0.1708      0.11961      -1.428      0.17521
    AGELag1        -0.011149     0.011266    -0.98959      0.33917
    AGE              0.01323     0.010845      1.2198      0.24268
    BBB            0.0062225    0.0033386      1.8638     0.083456
    CPF            -0.017738    0.0047775     -3.7129    0.0023176
    SPR              0.05048     0.036097      1.3985      0.18373


Number of observations: 20, Error degrees of freedom: 14
Root Mean Squared Error: 0.0786
R-squared: 0.634,  Adjusted R-Squared: 0.503
F-statistic vs. constant model: 4.84, p-value = 0.00885

AGELag1, очень незначительный в модели MAL12 который включает в себя оба AGELag1 и AGELag2, становится более значимым в отсутствие AGELag2, но его роль все еще незначительна относительно предикторов в M0. Его коэффициент становится отрицательным, вопреки нашему пониманию его как предиктора риска по умолчанию. Вывод может быть таким AGELag1 нерелевантно. Тем не менее, мы поддерживаем его, чтобы оценить конкретное ограничение MAL12 на MAL1, уменьшение порядка задержки на 1:

DTAL1 = DTAL{1};  % Lag order 1 table
DTAL12 = DTAL{2}; % Lag order 2 table (one less observation)

numBoot = 1e3;                           % Number of statistics
res0 = MAL1.Residuals.Raw;               % Bootstrap "population"
[~,IdxBoot] = bootstrp(numBoot,[],res0); % Bootstrap indices
ResBoot = res0(IdxBoot);                 % Bootstrap residuals

IGD0 = DTAL1.IGD - res0; % Residual-free response
IGDB = zeros(size(DTAL12,1),numBoot); % Bootstrap responses

DTBoot = DTAL12;
tBoot = zeros(numBoot,1); % Bootstrap t statistics

for boot = 1:numBoot
    
    IGDBoot = IGD0 + ResBoot(:,boot);
    IGDBoot(1) = []; % Trim to size of DTBoot
    IGDBoot(IGDBoot < 0) = 0; % Set negative default rates to 0
    
    DTBoot.IGD = IGDBoot;
    MBoot = fitlm(DTBoot);
    tBoot(boot) = MBoot.Coefficients.tStat(AGELag2Idx);
    IGDB(:,boot) = IGDBoot;
    
end

Процедура генерирует numBoot bootstrap-ответы, которые заменяют исходный ответ на данные фиксированного предиктора:

figure
hold on
bootDates = dates(3:end);
hIGD = plot(bootDates,IGDB,'b.');
hIGDEnd = plot(bootDates,IGDB(:,end),'b-');
hIGD0 = plot(bootDates,DTAL12.IGD,'ro-','LineWidth',2);
hold off
xlabel('Date')
ylabel('Default Rate')
title('{\bf Bootstrap Responses}')
legend([hIGD(end),hIGDEnd,hIGD0],'Bootstrap Responses',...
                                 'Typical Bootstrap Response',...
                                 'Empirical Response',...
                                 'Location','NW')

Загрузочное значение p не сильно отличается от исходного значения p p_AGELag2, найденный с использованием распределения Student:

p_AGELag2

p_AGELag2 = 0.1401

p_AGELag2Boot = sum(tBoot > t_AGELag2)/length(tBoot)

p_AGELag2Boot = 0.1380

Однако гистограмма показывает, что распределение загрузочной статистики t сместилось:

figure
hold on

numBins = 50;
hHist = histogram(tBoot,numBins,'Normalization','probability',...
                                'FaceColor',[.8 .8 1]);

x = hHist.BinLimits(1):0.001:hHist.BinLimits(end);
y = tpdf(x,dfeAL12);
hPDF = plot(x,y*hHist.BinWidth,'m','LineWidth',2);

hStat = plot(t_AGELag2,0,'ro','MarkerFaceColor','r');
line([t_AGELag2 t_AGELag2],1.2*[0 max(hHist.Values)],'Color','r')
axis tight

legend([hHist,hPDF,hStat],'Bootstrap {\it t} Distribution',...
                          'Student''s {\it t} Distribution',...
                          'Original {\it t} Statistic',...
                          'Location','NE')
xlabel('{\it t}')
title('{\bf Bootstrap {\it t} Statistics}')

hold off

Статистическая величина t менее значима в распределении загрузочных ремешков, что предполагает возможное влияние несферических нововведений на исходный тест.

Загрузочный тест имеет свои трудности. Чтобы обеспечить неотрицательность частот по умолчанию, необходимо обрезать загрузочные отклики отрицательными значениями. Последствия для вывода неясны. Более того, загрузочный тест опирается, принципиально, на предположение, что эмпирическое распределение невязок верно представляет соответствующие характеристики распространения нововведений в DGP. В небольших выборках это трудно оправдать.

Существуют много изменений bootstrap. Например, дикий загрузочный ремень [7], который сочетает устойчивую оценку с остаточной повторной дискретизацией, по-видимому, хорошо работает с меньшими выборками в присутствии гетероскедастичности.

Основанные на вероятностях тесты

Версии t и F тестов, сформулированные с использованием допущений CNLM, могут дать надежные выводы в различных ситуациях, когда распределение инноваций отклоняется от спецификации. Основанные на вероятностях тесты, напротив, требуют формальной модели нововведений, чтобы работать вообще. Вероятности данных обычно вычисляются в предположении независимых и обычно распределенных инноваций с фиксированным отклонением. Эта базовая модель DGP может быть скорректирована с учетом различных инновационных шаблонов, включая более высокие вероятности экстремальных событий, но сильное распределение предположений остается.

Как и статистика F, вероятности данных (или, на практике, логарифмическая правдоподобность) измеряют подгонку всей модели или структуры задержки, а не значимость отдельных модельных членов. Вероятности основаны на совместной вероятности данных при распределительном допущении, а не на остаточных суммах квадратов. Большие вероятности указывают на лучшую подгонку, но, чтобы оценить относительное качество моделей, статистическая значимость различий вероятностей должна быть оценена.

Рассмотрим нормальные логарифмическую правдоподобность оценок OLS MAL12 и его ограничения. Начнем с построения MAL2, с единственными AGELag2, чтобы завершить набор рассматриваемых ограничений:

DTAL2 = [AGELags(:,2),DataTable];
MAL2 = fitlm(DTAL2)

MAL2 = 
Linear regression model:
    IGD ~ 1 + AGELag2 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat      pValue  
                   _________    _________    _______    _________

    (Intercept)     -0.29694      0.10622    -2.7955      0.01516
    AGELag2         0.013694    0.0083803     1.6341      0.12621
    AGE             0.017022    0.0095247     1.7872     0.097235
    BBB            0.0035843    0.0027645     1.2965      0.21733
    CPF            -0.014476    0.0036275    -3.9907    0.0015388
    SPR             0.033047     0.031661     1.0438      0.31562


Number of observations: 19, Error degrees of freedom: 13
Root Mean Squared Error: 0.0696
R-squared: 0.731,  Adjusted R-Squared: 0.627
F-statistic vs. constant model: 7.05, p-value = 0.00216

% Unrestricted loglikelihood of MAL12:
uLLOLS = MAL12.LogLikelihood

uLLOLS = 27.3282

% Restricted loglikelihoods of M0, MAL1, and MAL2:
rLLOLS = [M0.LogLikelihood;MAL1.LogLikelihood;MAL2.LogLikelihood]

rLLOLS = 3×1

   27.0796
   26.0606
   27.2799

Это loglikelihoods OLS, основанные на остаточных рядах. Для примера - логарифмическая правдоподобность данных относительно M0 вычисляется с помощью:

resM0 = M0.Residuals.Raw;
MSEM0 = M0.MSE;
muM0 = mean(resM0);
LLM0 = sum(log(normpdf(resM0,muM0,sqrt(MSEM0))))

LLM0 = 26.7243

Поскольку OLS не обязательно максимизирует правдоподобие, если не удовлетворены допущения CNLM, возможно, что ограничения пространства параметров модели увеличивают правдоподобие данных. Мы видим это для ограничений M0 и MAL2. Это еще раз предполагает нештатный инновационный процесс.

Для сравнения рассмотрим меры, основанные на максимальных оценках правдоподобия (MLE) коэффициентов модели, используя arima функция. Мы подбираем модели ARMAX со спецификациями AR и MA нулевого порядка (то есть с чистыми регрессионными моделями):

% Prepare data:

LLOLS = [uLLOLS;rLLOLS];

DataAL12 = table2array(DTAL12);
y = DataAL12(:,7);
X = DataAL12(:,1:6);
PredCols = {1:6,3:6,[1,3:6],2:6};
ModelNames = {'MAL12','M0','MAL1','MAL2'};

% Compute MLEs:

LLMLE = zeros(4,1);
Mdl = arima(0,0,0);
options = optimoptions(@fmincon,'Display','off','Diagnostics','off',...
    'Algorithm','sqp','TolCon',1e-7);
for model = 1:4
    [~,~,LL] = estimate(Mdl,y,'X',X(:,PredCols{model}),...
                              'Display','off','Options',options);
    LLMLE(model) = LL;
end

% Display results:

fprintf('\nLoglikelihoods\n')

Loglikelihoods

fprintf('\n%-8s%-9s%-9s','Model |','OLSLL','MLELL')

Model | OLSLL    MLELL    

fprintf(['\n',repmat('=',1,24)])

========================

for model = 1:4    
    fprintf(['\n%-6s','| ','%-9.4f%-9.4f'],...
            ModelNames{model},LLOLS(model),LLMLE(model))    
end

MAL12 | 27.3282  27.3282  
M0    | 27.0796  25.5052  
MAL1  | 26.0606  25.5324  
MAL2  | 27.2799  27.2799  

В случае MLE все ограниченные модели имеют уменьшенную вероятность описания данных, как ожидалось. Меры OLS и MLE не согласны с моделью наибольшей вероятности, причем OLS выбирает M0и выбор MLE MAL12.

Существенны ли различия в вероятностях? Что касается MLE, этот вопрос традиционно решался с помощью некоторой версии теста коэффициента правдоподобия (реализуемого lratiotest), тест Wald (реализованный waldtest), или тест множителя Лагранжа (реализованный lmtest). Они обсуждаются в примере Тестов Миссидификации классической модели (тесты CMM). Геометрия сравнения для тестов CMM основана, принципиально, на оптимальности коэффициентов модели. Они не должны использоваться с вероятностями OLS, если нет доказательств того, что допущения CNLM удовлетворены.

Как и тесты F, тесты CMM применимы только к сравнениям вложенных моделей, которые являются ограничениями или расширениями друг друга. Это типичная ситуация при оценке запаздывающих структур. В отличие от тестов F, тесты CMM применимы к сравнениям с нелинейными моделями, нелинейными ограничениями и нештатными (но полностью заданными) инновационными распределениями. Это важно в определенных эконометрических настройках, но редко при выборе порядка задержки. Недостатком тестов CMM является то, что они придают значимость различиям моделей только асимптотически, и поэтому должны использоваться с осторожностью в конечных выборках.

Для примера тест коэффициента вероятности, наиболее прямая оценка различий правдоподобия MLE, может использоваться, чтобы оценить адекватность различных ограничений:

% Restrictions of |MAL12| to |M0|, |MAL1|, and |MAL2|:
dof = [2;1;1]; % Number of restrictions
[hHist,pValue] = lratiotest(LLMLE(1),LLMLE(2:4),dof)

hHist = 3x1 logical array

   0
   0
   0

pValue = 3×1

    0.1615
    0.0581
    0.7561

% Restrictions of |MAL1| and |MAL2| to |M0|:
dof = [1;1]; % Number of restrictions
[hHist,pValue] = lratiotest(LLMLE(3:4),LLMLE(2),dof)

hHist = 2x1 logical array

   0
   0

pValue = 2×1

    0.8154
    0.0596

На уровне значимости 5% по умолчанию тест не может отклонить нулевую, ограниченную модель в пользу альтернативной, неограниченной модели во всех случаях. То есть статистический случай включения любой структуры задержки является слабым. Исходная модель, M0, может быть выбран исключительно по причинам парсимонии модели.

Альтернативой тестам CMM являются различные формы информационных критериев (IC). IC также рассматривает качество подгонки, измеряемое вероятностями, но наказывают за отсутствие парсимонии, измеряемой количеством коэффициентов модели. Как и в случае чистых вероятностей, скорректированные вероятности ИС обеспечивают относительную, но не абсолютную меру адекватности модели. Тем не менее, не существует обычно используемых тестов гипотезы, соответствующих тестам CMM, для оценки значимости различий в IC. Основным преимуществом на практике является то, что IC может использоваться для сравнения не вложенных моделей, хотя это часто нерелевантно при сравнении структур задержки.

В следующей таблице сравниваются два общих IC, AIC и BIC, вместе с эквивалентным OLS, скорректированным $$R^2$$:

AR2 = [MAL12.Rsquared.Adjusted; M0.Rsquared.Adjusted; ...
       MAL1.Rsquared.Adjusted; MAL2.Rsquared.Adjusted];
   
AIC = [MAL12.ModelCriterion.AIC; M0.ModelCriterion.AIC; ...
       MAL1.ModelCriterion.AIC; MAL2.ModelCriterion.AIC];
   
BIC = [MAL12.ModelCriterion.BIC; M0.ModelCriterion.BIC; ...
       MAL1.ModelCriterion.BIC; MAL2.ModelCriterion.BIC];

fprintf('\nSize-Adjusted Fit\n')

Size-Adjusted Fit

fprintf('\n%-8s%-7s%-9s%-9s','Model |','AR2','AIC','BIC')

Model | AR2    AIC      BIC      

fprintf(['\n',repmat('=',1,32)])

================================

for model = 1:4     
    fprintf(['\n%-6s','| ','%-7.4f','%-9.4f','%-9.4f'],...
            ModelNames{model},AR2(model),AIC(model),BIC(model))    
end

MAL12 | 0.5979 -40.6563 -34.0452 
M0    | 0.5264 -44.1593 -38.9367 
MAL1  | 0.5028 -40.1213 -34.1469 
MAL2  | 0.6269 -42.5598 -36.8932 

При сравнении моделей более высокий скорректированный $$R^2$$, и более низкий IC, указывают на лучший компромисс между подгонкой и уменьшенными степенями свободы. Результаты показывают выбор включения структуры задержки при оценке скорректированной $$R^2$$, но не при оценке IC. Такого рода разногласия не редкость, особенно с небольшими выборками, и, кроме того, предполагает сравнительное использование нескольких методов проверки.

BIC, с его обычно более тяжелыми штрафами на дополнительные коэффициенты, имеет тенденцию выбирать более простые модели, хотя часто не так просто, как те, которые выбираются последовательным t и F тестированием со стандартными настройками. BIC имеет некоторые превосходные свойства большой выборки, такие как асимптотически устойчивость, но исследования Монте-Карло показали, что AIC может превзойти BIC в правильной идентификации DGP в небольших выборках данных [6]. Альтернативная версия AIC, AICc, корректирует для небольших выборок особенно полезна в этих ситуациях.

Проверка Вверх, Тестирование Вниз

При попытке указать значительные, но скупые структуры задержки в эконометрических моделях часто используются две общие стратегии. Первый - начать с небольшой модели, затем протестировать дополнительные лаги до тех пор, пока их индивидуальная значимость или совместная значимость всей структуры задержки не опустится ниже установленного уровня. Это называется тестирование. В качестве альтернативы щедрую структуру начальной задержки систематически обрезают до тех пор, пока самая большая задержка или вся структура задержки не станет значительной. Это называется тестирование прекращено.

Проверка начинается с скупого описания данных, такого как статическая модель с современными значениями соответствующих предикторов, но без динамических членов. Затем он исходит из конкретного для общего. Каждый шаг процесса оценивает эффект добавления новой задержки, обычно используя некоторую комбинацию t-тестов, F-тестов, CMM-тестов или IC. Он останавливается, когда добавление новой задержки становится незначительным на некотором заранее определенном уровне. Это гарантирует таким образом, что начальная модель parsimony поддерживается в некоторой степени.

Признавая бритву Оккама и принципы научного метода, тестирование предлагает ряд преимуществ. Простые модели менее дорого вычисляются, легче интерпретируются и обнаруживаются, лучше работают с маленькими выборками и более поддаются обобщению. Кроме того, они часто дают лучшие прогнозы [10].

Однако проверка часто не рекомендуется для выбора порядка задержки и экономического моделирования в целом. Существует общий сценарий, при котором значительные лаги лежат за пределами первого незначительного, например с сезонными лагами. Автоматическая проверка не обнаружит их. Более того, последовательная проверка при наличии опущенных переменных, которые еще не были добавлены в модель, создаёт смещение оценщика и искажения размеров теста и степени, в конечном счете приводя к неправильным выводам. Опущенное смещение переменной обсуждается в примерах Регрессия временных рядов IV: Ложная регрессия и Регрессия временных рядов VIII: Задержанные переменные и смещение оценщика.

Как следствие, часто рекомендуется прекратить тестирование [9]. Эта стратегия начинается с модели, которая включает все потенциальные объяснительные переменные. То есть он включает смесь предикторов с более или менее значимостью в объяснении изменения отклика. Затем он переходит от общего к конкретному (иногда называемому GETS). Каждый шаг в процессе оценивает эффект удаления предиктора, используя те же виды тестов, используемые для проверки. Он останавливается, когда ограниченная модель достигает некоторого предопределенного уровня значимости.

Этот подход имеет несколько преимуществ. Если исходная модель и структура задержки являются достаточно комплексными, то вся проверка проводится, по крайней мере, в принципе, при отсутствии опущенного переменного смещения. Локализованные тесты, такие как тесты на наибольшую задержку, могут привести к моделям, которые продолжают содержать смесь значительных и незначительных лагов, но поскольку все они присутствуют в модели, их можно изучить на предмет совместной значимости. Недостатком этого подхода является отсутствие теоретического руководства или даже хороших эвристических советов при выборе начального порядка задержки в различных ситуациях моделирования.

В следующей таблице показаны значения p статистики t по коэффициентам отстающих AGE в запаздывающих структурах порядок 1-5:

fprintf('\nt Statistic p Values\n')

t Statistic p Values

fprintf('\n%-11s%-5s%-5s%-5s%-5s%-5s','Model    |',...
        'AL1','AL2','AL3','AL4','AL5')

Model    | AL1  AL2  AL3  AL4  AL5  

fprintf(['\n',repmat('=',1,35)])

===================================

for lag = 1:5
    pVals = MAL{lag}.Coefficients.pValue(2:lag+1);
    fprintf(['\n%-9s','| ',repmat('%-5.2f',1,lag)],...
            MALName{lag},pVals(1:lag))    
end

MAL1     | 0.34 
MAL12    | 0.81 0.14 
MAL123   | 0.77 0.45 0.44 
MAL1234  | 0.55 0.76 0.55 0.30 
MAL12345 | 0.88 0.91 0.19 0.14 0.29 

На уровне 15% значимости тестирование с M0 не добавляет никаких лагов в модель, поскольку она не может отклонить нулевой коэффициент для AgeLag1 в первой протестированной модели MAL1. На том же уровне тестирование вниз по сравнению с самой большой моделью, последовательно оценивая значимость самой большой задержки MAL12 выбран, добавив два лага к M0. Относительная значимость конкретных отставаний между различными структурами задержки подчеркивает риск автоматизации этих локализованных оценок.

Статистика F добавляет полезную информацию о совместной значимости. F тесты на дополнительных лагах, относительно модели со всеми предыдущими лагами, эквивалентны t тестам с теми же значениями p. Однако F-тесты всей структуры задержки относительно статических спецификаций могут дать намеки на значительные лаги до наибольшей задержки. Коэффициенты F вычисляются coefTest метод LinearModel класс:

fprintf('\nF Statistic p Values\n')

F Statistic p Values

fprintf('\n%-11s%-5s%-5s','Model    |','Last','All')

Model    | Last All  

fprintf(['\n',repmat('=',1,20)])

====================

for lag = 1:5
    
    % Sequential F test (last lag = 0):
    HSq = [zeros(1,lag),1,zeros(1,4)];
    pSq = coefTest(MAL{lag},HSq);
        
    % Static F test (all lags = 0):
    HSt = [zeros(lag,1),eye(lag),zeros(lag,4)];
    pSt = coefTest(MAL{lag},HSt);

    fprintf(['\n%-9s','| ','%-5.2f','%-5.2f'],MALName{lag},pSq,pSt)
    
end

MAL1     | 0.34 0.34 
MAL12    | 0.14 0.32 
MAL123   | 0.44 0.65 
MAL1234  | 0.30 0.74 
MAL12345 | 0.29 0.54 

Статистика F не может прыгнуть-начать застопорившуюся стратегию тестирования, но при тестировании вниз они дают основание пересмотреть самую большую модель с ее относительно более низким значением p. Повышенная значимость AgeLag3 и AgeLag4 в MAL12345, обозначенный t статистическими значениями p, повышает совместную значимость этой структуры задержки. Тем не менее, самая значительная общая структура задержки в MAL12, согласующийся с тестированием-снижением через t статистики.

Предсказуемо, исследования Монте-Карло показывают, что автоматическое тестирование стратегий часто будет недостаточно подходить, когда DGP является супермоделью, и тестирование будет также избыточно подходить, когда DGP является подмоделью [14]. Эффективность в любом случае улучшается путем систематической корректировки уровней значимости с учетом различных степеней свободы. Однако в целом статистические последствия исключения соответствующих отставаний обычно считаются более серьезными, чем включение нерелевантных отставаний, и допуски на отклонение должны быть установлены соответствующим образом.

На практике гибридные стратегии обычно предпочтительны, перемещая предикторы в модель и из нее до тех пор, пока некоторая мера подгонки не будет оптимизирована, и не будет получена экономически разумная модель. Ступенчатая регрессия (описанная в примере Временные Ряды Regression V: Predictor Selection) является одним из способов автоматизации этого подхода. С современной вычислительной степенью существует также возможность, в некоторых случаях, исчерпывающе оценить все модели актуальности. Как иллюстрирует этот пример, однако, автоматизация процедур выбора моделей должна рассматриваться с некоторым скептицизмом. Процесс обязательно динамичен, тесты имеют различные степени актуальности, и решения в конечном счете требуют некоторого фактора экономической теории и целей моделирования.

Особые случаи

Из-за трудностей использования стандартных процедур проверки в контекстах моделирования, где допущения CNLM нарушены, был разработан ряд специализированных процедур для использования с конкретными типами моделей. В некоторых случаях соответствующие порядки задержек могут быть определены исключительно путем анализа данных. Другие случаи требуют последовательной оценки и оценки области значений моделей кандидата.

Сводные данные

Этот пример исследует общие стратегии выбора порядка задержки и делает случай для адаптации стратегий к отдельным наборам данных и моделям. Данных, рассматриваемых здесь, немного и далеко не идеализаций асимптотического анализа. Также вполне возможно, что исследуемая модель может быть определена, смешивая ее собственную оценку. Однако эти препятствия довольно типичны в эконометрической практике. Не рассматривая, «практическое» применение, руководствуясь некоторым чувством экономической реальности, выбор порядка задержки предоставляет много возможностей для искаженного вывода, который может привести к плохо выполняемым моделям. Однако знакомство с общими трудностями может помочь привести путь к более резким спецификациям.

Конечно, не всегда нужно выбирать «лучшую» модель или порядок задержки. Часто, учитывая статистическую неопределенность, достаточно исключить большое подмножество крайне маловероятных кандидатов, оставив меньшее подмножество для последующего анализа и набора данных. Стратегии этого примера хорошо служат этой цели.