Введение

Предикторы в моделях динамической регрессии могут включать изолированные значения внешних объясняющих переменных (распределенная задержка, или DL, термины), изолировал значения эндогенных переменных отклика (авторегрессивный, или AR, термины), или оба. Изолированные значения инновационного процесса (скользящее среднее значение, или MA, термины) могут иметь экономическое значение, представляя персистентность шоков, но они чаще всего включаются, чтобы возместить потребность в дополнительном DL или терминах AR. (См. Регрессию Временных рядов в качестве примера VIII: Изолированные Переменные и Смещение Средства оценки.)

Идеально, экономическая теория предлагает который задержки включать в модель. Часто, однако, задержка между изменениями предиктора и соответствующими изменениями ответа должна быть обнаружена посредством анализа данных. Общий подход моделирования должен включать историю предиктора время от времени t - 1, t - 2, t - 3..., t - p, учитывая, что значительные эффекты на текущем ответе только производятся недавними изменениями в предикторе. Анализ спецификации затем рассматривает расширение или ограничение структуры задержки и наконец выбор соответствующего порядка p задержки.

Этот пример исследует стратегии выбора порядка задержки. Несмотря на то, что детали зависят от данных и контекста моделирования, общая цель состоит в том, чтобы идентифицировать краткое, легко интерпретируемое описание генерирующего данные процесса (DGP), который приводит к точной оценке и надежному прогнозированию.

Мы начинаем путем загрузки соответствующих данных из предыдущих примеров в этом ряду:

load Data_TSReg8

Базовые тесты

Классическая, нормальная линейная модель (CNLM), введенный в Регрессии Временных рядов в качестве примера I: Линейные Модели, данные о фильтрах, чтобы сгенерировать остаточные значения белого шума. Эконометрические модели не всегда стремятся к такому полному статистическому описанию DGP, особенно когда предикторы диктуют теория или политика, и цели моделирования фокусируются на определенных эффектах. Тем не менее, отклонения от CNLM и их степень, являются общими мерами модели misspecification.

В любой точке в процессе спецификации модели остаточные значения могут отобразить ненормальность, автокорреляцию, heteroscedasticity, и другие нарушения предположений CNLM. Когда предикторы добавлены или удалены, модели могут быть оценены относительным улучшением в качестве остаточных значений. Тесты для подгонки модели через остаточный анализ описаны в Регрессии Временных рядов в качестве примера VI: Остаточная Диагностика.

Спецификация модели должна также рассмотреть статистическое значение предикторов, чтобы не сверхпомещаться в сервис остаточного отбеливания и производить экономное представление DGP. Базовые тесты включают t-тест, который оценивает значение отдельных предикторов и F-тест, который используется, чтобы оценить объединенное значение, скажем, целой структуры задержки. Эти тесты обычно используются вместе, поскольку предиктор с незначительным отдельным эффектом может все еще способствовать значительному объединенному эффекту.

Много процедур отбора порядка задержки используют эти базовые тесты, чтобы оценить расширения и ограничения первоначальной спецификации задержки. Хорошая эконометрическая практика предлагает тщательную оценку каждого шага в процессе. Эконометрики должны судить статистические решения в контексте экономической теории и предположений модели. Автоматизированные процедуры обсуждены в примере на Регрессии Временных рядов V: Выбор Предиктора, но это часто затрудняет, чтобы полностью автоматизировать идентификацию полезной структуры задержки. Мы проявляем более "ручной" подход в этом примере. Конечно, надежность любой такой процедуры зависит критически от надежности базовых тестов.

Считайте базовую модель значений по умолчанию кредита введенной в Регрессии Временных рядов в качестве примера I: Линейные Модели:

M0

M0 = 
Linear regression model:
    IGD ~ 1 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat      pValue  
                   _________    _________    _______    _________

    (Intercept)     -0.22741     0.098565    -2.3072     0.034747
    AGE             0.016781    0.0091845     1.8271     0.086402
    BBB            0.0042728    0.0026757     1.5969      0.12985
    CPF            -0.014888    0.0038077      -3.91    0.0012473
    SPR             0.045488     0.033996      1.338       0.1996


Number of observations: 21, Error degrees of freedom: 16
Root Mean Squared Error: 0.0763
R-squared: 0.621,  Adjusted R-Squared: 0.526
F-statistic vs. constant model: 6.56, p-value = 0.00253

На основе p-значений t-статистики, AGE старший значащий отдельный фактор риска (положительный коэффициент) для уровней по умолчанию, измеренных ответом IGD. AGE представляет процент выпускающих облигации инвестиционного уровня, сначала оценил 3 года назад. Значения по умолчанию часто происходят после этого периода, когда капитал от начальной проблемы расходован, но они могут произойти рано или поздно. Кажется разумным рассмотреть модели, которые включают задержки, или ведет AGE.

Припадок M0 основан только на 21 наблюдении, и эти 5 коэффициентов, уже оцененных, оставляют только 16 степеней свободы для дальнейшего подбора кривой. Расширенные структуры задержки и соответствующее сокращение объема выборки, принесли бы в вопрос валидность диагностической статистики.

Для ссылки мы составляем таблицы и подбираем модели с AGE изолируйте порядки 1, 2, 3, 4, и 5:

% Lagged data:

AGE = DataTable.AGE;
maxLag = 5;
lags = 1:maxLag;
AGELags = lagmatrix(AGE,lags);
lagNames = strcat({'AGELag'},num2str(lags','%-d'));
AGELags = array2table(AGELags,'VariableNames',lagNames);

% Preallocate tables and models:

DTAL = cell(maxLag,1);
MAL = cell(maxLag,1);

% Fit models:

AL = AGELags;
DT = DataTable;

for lagOrder = lags
    
    lagRange = 1:lagOrder;
    
    % Trim next presample row:    
    
    AL(1,:) = [];
    DT(1,:) = [];

    % Fit model:    
    
    DTAL{lagOrder} = [AL(:,lagRange),DT];
    MAL{lagOrder} = fitlm(DTAL{lagOrder});
    MALName{lagOrder} = strcat('MAL',num2str(lagRange,'%u'));

end

Мы начинаем путем рассмотрения модели с AGE изолируйте порядок 2, то есть, с AGE данные по выпускающим сначала оценили 3 года назад и изолировали AGE данные по выпускающим сначала оценили 4 и 5 лет назад:

MAL12 = MAL{2}

MAL12 = 
Linear regression model:
    IGD ~ 1 + AGELag1 + AGELag2 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat      pValue 
                   _________    _________    _______    ________

    (Intercept)     -0.31335      0.12871    -2.4345    0.031471
    AGELag1        0.0030903     0.012504    0.24714     0.80898
    AGELag2         0.014322    0.0090639     1.5802     0.14006
    AGE             0.017683     0.010243     1.7263     0.10993
    BBB             0.003078    0.0035264    0.87284     0.39988
    CPF            -0.013744    0.0047906     -2.869    0.014115
    SPR             0.030392     0.034582    0.87883     0.39675


Number of observations: 19, Error degrees of freedom: 12
Root Mean Squared Error: 0.0723
R-squared: 0.732,  Adjusted R-Squared: 0.598
F-statistic vs. constant model: 5.46, p-value = 0.00618

Изолированные переменные уменьшают объем выборки на два. Вместе с двумя новыми предполагаемыми коэффициентами степени свободы уменьшаются на 4, к 12.

Подгонка модели, как измерено среднеквадратической ошибкой и настроенным $$R^2$$ статистическая величина (который составляет дополнительные предикторы), немного улучшена относительно M0. Значение предикторов уже в M0, как измерено p значениями их t-статистики, уменьшается. Это типично, когда предикторы добавляются, если новые предикторы не абсолютно незначительны. Полная F-статистическая-величина показывает, что расширенная модель имеет немного уменьшаемое значение в описании изменения ответа.

Из двух новых предикторов, AGELag2 кажется, является намного более значительным, чем AGELag1. Это затрудняет, чтобы интерпретировать в экономических терминах, и это приносит в вопрос точность мер по значению. Действительно ли p-значения являются артефактом размера небольшой выборки? Они затронуты нарушениями предположений CNLM это underly оценка обычных наименьших квадратов (OLS)? Короче говоря, они обеспечивают законную причину изменить структуру задержки? Получение надежных ответов на эти вопросы в реалистично измеренных выборках экономических данных часто является проблемой.

Распределение любой диагностической статистической величины зависит от распределения инноваций процесса, как показано в остаточных значениях модели. Для t и тестов F, нормальные инновации достаточны, чтобы произвести тестовую статистику с t и распределениями F в конечных выборках. Если инновации вылетают от нормальности, однако, статистика не может следовать за этими ожидаемыми распределениями. Тесты страдают от искажений размера, где номинальные уровни значения искажают фактическую частоту отклонения нулевой гипотезы. Когда это происходит, выводы о значении предиктора становятся ненадежными.

Это - основная проблема в анализе спецификации, поскольку на любом этапе в процессе, модели кандидата, вероятно, будут misspecified и данными, не полностью отфильтрованными. Тестовые результаты должны быть рассмотрены в контексте остаточного ряда. График нормального распределения MAL12 остаточные значения показывают некоторую причину подозревать p-значения, о которых сообщают:

resAL12 = MAL12.Residuals.Raw;

normplot(resAL12)
xlabel('Residual')
title('{\bf MAL12 Residuals}')

Общее убеждение состоит в том, что t и тесты F устойчивы к ненормальным инновациям. До некоторой степени это верно. Инновации от эллиптически симметричных распределений, таких как распределения t, которые обобщают многомерное нормальное распределение, производят t и статистические данные F, которые следуют за t и распределениями F в конечных выборках [12]. Этот результат, однако, принимает диагональную структуру ковариации. Когда инновации показывают heteroscedasticity и автокорреляцию, стандарт t и тесты F становятся намного меньше устойчивыми [5], [16]. Искажения размера могут быть существенными в конечных выборках. Практически, однако, природа инновационного распределения и степень искажения, могут затруднить меру.

Устойчивые тесты

t и статистика F включают и содействующие оценки и их стандартные погрешности. В присутствии heteroscedasticity или автокорреляции, содействующие оценки OLS остаются несмещенными, если предикторы являются внешними. Стандартные погрешности, однако, когда оценено с обычными формулами CNLM, смещаются.

Один ответ должен сформировать статистику с помощью оценок стандартной погрешности, которые устойчивы к несферическим инновациям [2], [3], как в Регрессии Временных рядов в качестве примера X: Обобщенные Наименьшие квадраты и Средства оценки HAC. Мы иллюстрируем эту стратегию здесь.

P-значение t статистической величины обычно вычисляется с помощью t распределения Студента. Например, для AGELag2 в MAL12:

AGELag2Idx = find(strcmp(MAL12.CoefficientNames,'AGELag2'));
coeff_AGELag2 = MAL12.Coefficients.Estimate(AGELag2Idx);
se_AGELag2 = MAL12.Coefficients.SE(AGELag2Idx);
t_AGELag2 = coeff_AGELag2/se_AGELag2;

dfeAL12 = MAL12.DFE;
p_AGELag2 = 2*(1-tcdf(t_AGELag2,dfeAL12))

p_AGELag2 = 0.1401

Это - p-значение, о котором сообщают в предыдущем отображении MAL12.

Используя heteroscedasticity-сопоставимый (HC), или более общий heteroscedasticity и автокорреляцию, сопоставимую (HAC), оценки стандартной погрешности, продолжая принимать t распределение Студента для получившейся статистики, приводят к совсем другим p-значениям:

% HC estimate:

[~,seHC] = hac(MAL12,'type','HC','weights','HC3','display','off');
se_AGELag2HC = seHC(AGELag2Idx);
t_AGELag2HC = coeff_AGELag2/se_AGELag2HC;

p_AGELag2HC = 2*(1-tcdf(t_AGELag2HC,dfeAL12))

p_AGELag2HC = 0.3610

% HAC estimate:

[~,seHAC] = hac(MAL12,'type','HAC','weights','BT','display','off');
se_AGELag2HAC = seHAC(AGELag2Idx);
t_AGELag2HAC = coeff_AGELag2/se_AGELag2HAC;

p_AGELag2HAC = 2*(1-tcdf(t_AGELag2HAC,dfeAL12))

p_AGELag2HAC = 0.0688

P-значение HC показывает AGELag2 быть относительно незначительным, в то время как p-значение HAC показывает его, чтобы быть потенциально довольно значительным. P-значение CNLM находится промежуток.

Существует много проблем с рисованием надежных выводов из этих результатов. Во-первых, без более полного анализа остаточного ряда (как в Регрессии Временных рядов в качестве примера VI: Остаточная Диагностика), нет никакой причины выбрать одно средство оценки стандартной погрешности по другому. Во-вторых, оценки стандартной погрешности только сопоставимы асимптотически, и выборка здесь мала, даже по эконометрическим стандартам. В-третьих, средства оценки требуют нескольких, иногда произвольно выбранных, параметры неприятности ('weights'пропускная способность, 'whiten') это может значительно изменить результаты, особенно в небольших выборках. Наконец, недавно составленный t и статистика F, сформированная с устойчивыми стандартными погрешностями, не следуют за t и распределениями F в конечных выборках.

Короче говоря, оценки значения здесь могут быть не лучше, чем традиционные единицы, на основе предположений CNLM. Модификации основанных на HAC тестов, такие как тесты KVB [11], являются эффективными при решении проблем отдельными параметрами неприятности, но они не решают большую проблему применения асимптотических методов к конечным выборкам.

Загруженные тесты

Другой ответ на искажения размера в традиционных тестах спецификации загружается. Тестовая статистическая величина, вычисленная из исходных данных, обеспечена, но его распределение переоценено посредством симулированной передискретизации, с целью создания более точного p-значения.

Передискретизация данных из населения является стандартным методом для того, чтобы вычислять распределение статистической величины. Природа экономических временных рядов, однако, обычно делает это непрактичным. Экономические системы зафиксировали истории. Генерация реалистических альтернативных путей, со статистическими свойствами, похожими на эмпирические данные, требует дополнительных предположений.

В загруженном тесте пустая модель является подходящей к доступным данным, и пустое распределение остаточных значений используется, чтобы аппроксимировать распределение населения инноваций. Остаточные значения затем передискретизируются, с заменой, чтобы сгенерировать новый остаточный ряд. Соответствующие ответы начальной загрузки вычисляются с помощью фиксированных историй предиктора. Наконец, новые данные об ответе используются, чтобы переоборудовать альтернативную (исходную) модель и повторно вычислить тестовую статистическую величину. Этот процесс повторяется, чтобы сгенерировать загруженное распределение.

Для сравнения мы загружаем t статистическую величину AGELag2 по нулевой гипотезе, что ее коэффициент является нулем. Пустая модель:

MAL1 = MAL{1}

MAL1 = 
Linear regression model:
    IGD ~ 1 + AGELag1 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat       pValue  
                   _________    _________    ________    _________

    (Intercept)      -0.1708      0.11961      -1.428      0.17521
    AGELag1        -0.011149     0.011266    -0.98959      0.33917
    AGE              0.01323     0.010845      1.2198      0.24268
    BBB            0.0062225    0.0033386      1.8638     0.083456
    CPF            -0.017738    0.0047775     -3.7129    0.0023176
    SPR              0.05048     0.036097      1.3985      0.18373


Number of observations: 20, Error degrees of freedom: 14
Root Mean Squared Error: 0.0786
R-squared: 0.634,  Adjusted R-Squared: 0.503
F-statistic vs. constant model: 4.84, p-value = 0.00885

AGELag1, очень незначительный в модели MAL12 это включает оба AGELag1 и AGELag2, становится более значительным в отсутствие AGELag2, но его роль все еще незначительна относительно предикторов в M0. Его коэффициент становится отрицательным вопреки нашему пониманию его как предиктор кредитного риска. Выводом может быть тот AGELag1 не важно. Тем не менее, мы обеспечиваем его, чтобы оценить определенное ограничение MAL12 к MAL1, сокращение задержки заказывает 1:

DTAL1 = DTAL{1};  % Lag order 1 table
DTAL12 = DTAL{2}; % Lag order 2 table (one less observation)

numBoot = 1e3;                           % Number of statistics
res0 = MAL1.Residuals.Raw;               % Bootstrap "population"
[~,IdxBoot] = bootstrp(numBoot,[],res0); % Bootstrap indices
ResBoot = res0(IdxBoot);                 % Bootstrap residuals

IGD0 = DTAL1.IGD - res0; % Residual-free response
IGDB = zeros(size(DTAL12,1),numBoot); % Bootstrap responses

DTBoot = DTAL12;
tBoot = zeros(numBoot,1); % Bootstrap t statistics

for boot = 1:numBoot
    
    IGDBoot = IGD0 + ResBoot(:,boot);
    IGDBoot(1) = []; % Trim to size of DTBoot
    IGDBoot(IGDBoot < 0) = 0; % Set negative default rates to 0
    
    DTBoot.IGD = IGDBoot;
    MBoot = fitlm(DTBoot);
    tBoot(boot) = MBoot.Coefficients.tStat(AGELag2Idx);
    IGDB(:,boot) = IGDBoot;
    
end

Процедура генерирует numBoot загрузите ответы, которые заменяют исходный ответ на фиксированные данные о предикторе:

figure
hold on
bootDates = dates(3:end);
hIGD = plot(bootDates,IGDB,'b.');
hIGDEnd = plot(bootDates,IGDB(:,end),'b-');
hIGD0 = plot(bootDates,DTAL12.IGD,'ro-','LineWidth',2);
hold off
xlabel('Date')
ylabel('Default Rate')
title('{\bf Bootstrap Responses}')
legend([hIGD(end),hIGDEnd,hIGD0],'Bootstrap Responses',...
                                 'Typical Bootstrap Response',...
                                 'Empirical Response',...
                                 'Location','NW')

Загруженное p-значение не очень отличается от исходного p-значения, p_AGELag2, найденное использование t распределения Студента:

p_AGELag2

p_AGELag2 = 0.1401

p_AGELag2Boot = sum(tBoot > t_AGELag2)/length(tBoot)

p_AGELag2Boot = 0.1380

Однако гистограмма показывает, что распределение загруженной t статистики переключило:

figure
hold on

numBins = 50;
hHist = histogram(tBoot,numBins,'Normalization','probability',...
                                'FaceColor',[.8 .8 1]);

x = hHist.BinLimits(1):0.001:hHist.BinLimits(end);
y = tpdf(x,dfeAL12);
hPDF = plot(x,y*hHist.BinWidth,'m','LineWidth',2);

hStat = plot(t_AGELag2,0,'ro','MarkerFaceColor','r');
line([t_AGELag2 t_AGELag2],1.2*[0 max(hHist.Values)],'Color','r')
axis tight

legend([hHist,hPDF,hStat],'Bootstrap {\it t} Distribution',...
                          'Student''s {\it t} Distribution',...
                          'Original {\it t} Statistic',...
                          'Location','NE')
xlabel('{\it t}')
title('{\bf Bootstrap {\it t} Statistics}')

hold off

T статистическая величина является менее значительной в распределении начальной загрузки, предлагая возможное влияние несферических инноваций на исходном тесте.

Загруженный тест испытывает свои собственные затруднения. Чтобы осуществить неотрицательность уровней по умолчанию, необходимо обрезать загруженные ответы с отрицательными величинами. Последствия для вывода неясны. Кроме того, загруженный тест полагается, существенно, при условии, что эмпирическое распределение остаточных значений искренне представляет соответствующие характеристики распределения инноваций в DGP. В меньших выборках это трудно выровнять по ширине.

Существует много изменений начальной загрузки. Например, дикая начальная загрузка [7], который комбинирует устойчивую оценку с остаточной передискретизацией, кажется, выполняет хорошо с меньшими выборками в присутствии heteroscedasticity.

Основанные на вероятности тесты

Версии t и тестов F, сформулированное использование предположения CNLM, могут обеспечить надежные выводы во множестве ситуаций, где инновационное распределение вылетает от спецификации. Основанные на вероятности тесты, в отличие от этого, требуют, чтобы формальная модель инноваций действовала вообще. Вероятности данных обычно вычисляются под предположением о независимых и нормально распределенных инновациях с фиксированным отклонением. Эта базовая модель DGP может быть настроена, чтобы вместить различные инновационные шаблоны, включая более высокие вероятности для экстремальных явлений, но сильное дистрибутивное предположение остается.

Как статистика F, вероятности данных (или, на практике, логарифмическая правдоподобность) измеряют припадок целой модели, или структуры задержки, а не значения отдельных терминов модели. Вероятности основаны на объединенной вероятности данных под дистрибутивным предположением, а не на остаточных суммах квадратов. Большие вероятности указывают на лучшую подгонку, но оценивать относительное качество моделей, статистическое значение различий в вероятности должно быть оценено.

Рассмотрите нормальную логарифмическую правдоподобность оценок OLS MAL12 и его ограничения. Мы начинаем путем построения MAL2, только с AGELag2, чтобы завершить набор рассмотренных ограничений:

DTAL2 = [AGELags(:,2),DataTable];
MAL2 = fitlm(DTAL2)

MAL2 = 
Linear regression model:
    IGD ~ 1 + AGELag2 + AGE + BBB + CPF + SPR

Estimated Coefficients:
                   Estimate        SE         tStat      pValue  
                   _________    _________    _______    _________

    (Intercept)     -0.29694      0.10622    -2.7955      0.01516
    AGELag2         0.013694    0.0083803     1.6341      0.12621
    AGE             0.017022    0.0095247     1.7872     0.097235
    BBB            0.0035843    0.0027645     1.2965      0.21733
    CPF            -0.014476    0.0036275    -3.9907    0.0015388
    SPR             0.033047     0.031661     1.0438      0.31562


Number of observations: 19, Error degrees of freedom: 13
Root Mean Squared Error: 0.0696
R-squared: 0.731,  Adjusted R-Squared: 0.627
F-statistic vs. constant model: 7.05, p-value = 0.00216

% Unrestricted loglikelihood of MAL12:
uLLOLS = MAL12.LogLikelihood

uLLOLS = 27.3282

% Restricted loglikelihoods of M0, MAL1, and MAL2:
rLLOLS = [M0.LogLikelihood;MAL1.LogLikelihood;MAL2.LogLikelihood]

rLLOLS = 3×1

   27.0796
   26.0606
   27.2799

Это логарифмическая правдоподобность OLS, на основе остаточного ряда. Например, логарифмическая правдоподобность данных относительно M0 вычисляется с помощью:

resM0 = M0.Residuals.Raw;
MSEM0 = M0.MSE;
muM0 = mean(resM0);
LLM0 = sum(log(normpdf(resM0,muM0,sqrt(MSEM0))))

LLM0 = 26.7243

Поскольку OLS, обязательно, не максимизирует вероятности, если предположениям CNLM не удовлетворяют, для ограничений пробела параметра модели возможно увеличить вероятности данных. Мы видим это для ограничений M0 и MAL2. Это предлагает, еще раз, ненормальный инновационный процесс.

Для сравнения рассмотрите меры на основе оценок наибольшего правдоподобия (MLEs) коэффициентов модели, с помощью arima функция. Мы подбираем модели ARMAX с AR нулевого порядка и технические требования MA (то есть, чистые модели регрессии):

% Prepare data:

LLOLS = [uLLOLS;rLLOLS];

DataAL12 = table2array(DTAL12);
y = DataAL12(:,7);
X = DataAL12(:,1:6);
PredCols = {1:6,3:6,[1,3:6],2:6};
ModelNames = {'MAL12','M0','MAL1','MAL2'};

% Compute MLEs:

LLMLE = zeros(4,1);
Mdl = arima(0,0,0);
options = optimoptions(@fmincon,'Display','off','Diagnostics','off',...
    'Algorithm','sqp','TolCon',1e-7);
for model = 1:4
    [~,~,LL] = estimate(Mdl,y,'X',X(:,PredCols{model}),...
                              'Display','off','Options',options);
    LLMLE(model) = LL;
end

% Display results:

fprintf('\nLoglikelihoods\n')

Loglikelihoods

fprintf('\n%-8s%-9s%-9s','Model |','OLSLL','MLELL')

Model | OLSLL    MLELL    

fprintf(['\n',repmat('=',1,24)])

========================

for model = 1:4    
    fprintf(['\n%-6s','| ','%-9.4f%-9.4f'],...
            ModelNames{model},LLOLS(model),LLMLE(model))    
end

MAL12 | 27.3282  27.3282  
M0    | 27.0796  25.5052  
MAL1  | 26.0606  25.5324  
MAL2  | 27.2799  27.2799  

В случае MLEs все ограниченные модели имеют уменьшаемую вероятность описания данных, как ожидалось. OLS и меры по MLE не соглашаются на модели самой большой вероятности с OLS выбор M0, и MLE выбор MAL12.

Являются значительными различия в вероятности? Для MLEs этот вопрос был традиционно обращен некоторой версией теста отношения правдоподобия (реализованный lratiotest), Вальдов тест (реализованный waldtest), или тест множителя Лагранжа (реализованный lmtest). Они обсуждены в примере Классические Тесты Misspecification Модели (тесты CMM). Геометрия сравнения для тестов CMM базируется, существенно, на оптимальности коэффициентов модели. Они не должны использоваться с вероятностями OLS, если нет доказательство, что предположениям CNLM удовлетворяют.

Как тесты F, тесты CMM только применимы к сравнениям вложенных моделей, которые являются ограничениями или расширениями друг друга. Это - типичная ситуация при оценке структур задержки. В отличие от тестов F, тесты CMM применимы к сравнениям, включающим нелинейные модели, нелинейные ограничения, и ненормальный (но полностью заданный) инновационные распределения. Это важно в определенных эконометрических настройках, но редко в выборе порядка задержки. Недостаток тестов CMM - то, что они присваивают значение смоделировать различия только асимптотически, и так должны использоваться с осторожностью в конечных выборках.

Например, тест отношения правдоподобия, наиболее прямая оценка различий в вероятности MLE, может использоваться, чтобы оценить соответствие различных ограничений:

% Restrictions of |MAL12| to |M0|, |MAL1|, and |MAL2|:
dof = [2;1;1]; % Number of restrictions
[hHist,pValue] = lratiotest(LLMLE(1),LLMLE(2:4),dof)

hHist = 3x1 logical array

   0
   0
   0

pValue = 3×1

    0.1615
    0.0581
    0.7561

% Restrictions of |MAL1| and |MAL2| to |M0|:
dof = [1;1]; % Number of restrictions
[hHist,pValue] = lratiotest(LLMLE(3:4),LLMLE(2),dof)

hHist = 2x1 logical array

   0
   0

pValue = 2×1

    0.8154
    0.0596

На 5%-м уровне значения по умолчанию тесту не удается отклонить пустую, ограниченную модель в пользу альтернативной, неограниченной модели во всех случаях. Таким образом, статистический случай для включения любой структуры задержки слаб. Исходная модель, M0, может быть выбран только по причинам бережливости модели.

Альтернатива тестам CMM является различными формами информационных критериев (IC). IC также рассматривает качество подгонки, измеренное вероятностями, но штрафует из-за отсутствия бережливости, измеренной количеством коэффициентов модели. Как с чистыми вероятностями, настроенные вероятности IC предоставляют родственнику, но не абсолюту, мере соответствия модели. Однако нет никаких обычно используемых тестов гипотезы, соответствуя тестам CMM, для оценки значения различий в IC. Основное преимущество, на практике, состоит в том, что IC может использоваться, чтобы сравнить невложенные модели, хотя это часто не важно при сравнении структур задержки.

Следующая таблица сравнивает два общих IC, AIC и BIC, вместе с эквивалентом OLS, настроенным $$R^2$$:

AR2 = [MAL12.Rsquared.Adjusted; M0.Rsquared.Adjusted; ...
       MAL1.Rsquared.Adjusted; MAL2.Rsquared.Adjusted];
   
AIC = [MAL12.ModelCriterion.AIC; M0.ModelCriterion.AIC; ...
       MAL1.ModelCriterion.AIC; MAL2.ModelCriterion.AIC];
   
BIC = [MAL12.ModelCriterion.BIC; M0.ModelCriterion.BIC; ...
       MAL1.ModelCriterion.BIC; MAL2.ModelCriterion.BIC];

fprintf('\nSize-Adjusted Fit\n')

Size-Adjusted Fit

fprintf('\n%-8s%-7s%-9s%-9s','Model |','AR2','AIC','BIC')

Model | AR2    AIC      BIC      

fprintf(['\n',repmat('=',1,32)])

================================

for model = 1:4     
    fprintf(['\n%-6s','| ','%-7.4f','%-9.4f','%-9.4f'],...
            ModelNames{model},AR2(model),AIC(model),BIC(model))    
end

MAL12 | 0.5979 -40.6563 -34.0452 
M0    | 0.5264 -44.1593 -38.9367 
MAL1  | 0.5028 -40.1213 -34.1469 
MAL2  | 0.6269 -42.5598 -36.8932 

При сравнении моделей, выше настроенных $$R^2$$, и более низкий IC, укажите на лучший компромисс между подгонкой и уменьшаемыми степенями свободы. Результаты показывают настройку включению структуры задержки, когда оценено настроенным $$R^2$$, но не, когда оценено IC. Этот вид разногласия весьма распространен, особенно с небольшими выборками, и далее предлагает сравнительное использование нескольких методов тестирования.

BIC, с его обычно более большими штрафами на дополнительных коэффициентах, имеет тенденцию выбирать более простые модели, хотя часто не столь простой как выбранные последовательным t и F, тестирующим со стандартными настройками. BIC имеет некоторые превосходящие свойства большой выборки, такой как являющийся асимптотически сопоставимым, но исследования Монте-Карло показали, что AIC может превзойти BIC по характеристикам в правильной идентификации DGP в маленьких выборках данных [6]. Альтернативная версия AIC, AICc, корректирует для небольших выборок и особенно полезна в этих ситуациях.

Тестирование, тестирование вниз

При попытке задать значительные но экономные структуры задержки в эконометрических моделях, часто используются две общих стратегии. Первое должно запуститься с маленькой модели, затем протестировать дополнительные задержки, пока их отдельное значение или объединенное значение целой структуры задержки, не опускается ниже уровня набора. Это представлено на рассмотрение, тестируя. В качестве альтернативы щедрая начальная структура задержки систематически обрезается, пока самая большая задержка или целая структура задержки, не становится значительной. Это раскритиковано, тестируя.

Тестирование запускается с экономного описания данных, таких как статическая модель с одновременными значениями соответствующих предикторов, но никаких динамических терминов. Это затем продолжает от определенного до генерала. Каждый шаг в процессе оценивает эффект добавления новой задержки, обычно с помощью некоторой комбинации тестов t, F тесты, тесты CMM или IC. Это останавливается при добавлении, что новая задержка становится незначительной на некотором предопределенном уровне. Это гарантирует, таким образом, что начальная бережливость модели обеспечена до некоторой степени.

Подтверждение бритвы Оккама и принципов научного метода, тестирование предлагают много преимуществ. Простые модели являются менее дорогостоящими, чтобы вычислить, легче интерпретировать и обнаружить misspecification, работать лучше с небольшими выборками, и более поддаются обобщению. Кроме того, они часто производят лучшие прогнозы [10].

Однако тестированию часто препятствуют для выбора порядка задержки и экономического моделирования в целом. Существует общий сценарий, где значительные задержки лежат за пределами первого незначительного, такой как с сезонными задержками. Автоматическое тестирование не обнаружит их. Кроме того, последовательное тестирование в присутствии не использованных переменных, которые еще не были добавлены к модели, создает смещение средства оценки и искажения тестовых размеров и степени, в конечном счете ведя к неправильным выводам. Не использованное переменное смещение обсуждено в IV Регрессии Временных рядов в качестве примера: Побочная Регрессия Регрессии и Временных рядов VIII: Изолированные Переменные и Смещение Средства оценки.

Как следствие тестирование вниз часто рекомендуется [9]. Эта стратегия начинается с модели, которая включает все потенциальные объясняющие переменные. Таким образом, это включает соединение предикторов с более или менее значением в объяснении изменения ответа. Это затем переходит от генерала к определенному (иногда названный GETS). Каждый шаг в процессе оценивает эффект удаления предиктора, с помощью тех же видов тестов, используемых для тестирования. Это останавливается, когда ограниченная модель достигает некоторого предопределенного уровня значения.

Существует несколько преимуществ для этого подхода. Если начальная структура модели и задержки является достаточно всесторонней, то все тестирование сделано, по крайней мере, в принципе, в отсутствие не использованного переменного смещения. Локализованные тесты, такие как тесты на самой большой задержке, могут привести к моделям, которые продолжают содержать соединение значительных и незначительных задержек, но поскольку они - весь подарок в модели, они могут быть исследованы на объединенное значение. Недостаток к этому подходу является отсутствием теоретического руководства или даже хорошими эвристическими советами, при выборе начального порядка задержки в различных ситуациях с моделированием.

Следующая таблица показывает p значения t статистики по коэффициентам изолированного AGE в структурах задержки порядка 1 - 5:

fprintf('\nt Statistic p Values\n')

t Statistic p Values

fprintf('\n%-11s%-5s%-5s%-5s%-5s%-5s','Model    |',...
        'AL1','AL2','AL3','AL4','AL5')

Model    | AL1  AL2  AL3  AL4  AL5  

fprintf(['\n',repmat('=',1,35)])

===================================

for lag = 1:5
    pVals = MAL{lag}.Coefficients.pValue(2:lag+1);
    fprintf(['\n%-9s','| ',repmat('%-5.2f',1,lag)],...
            MALName{lag},pVals(1:lag))    
end

MAL1     | 0.34 
MAL12    | 0.81 0.14 
MAL123   | 0.77 0.45 0.44 
MAL1234  | 0.55 0.76 0.55 0.30 
MAL12345 | 0.88 0.91 0.19 0.14 0.29 

На 15%-м уровне значения, тестируя от M0 не добавляют никакие задержки к модели, поскольку ей не удается отклонить нулевой коэффициент для AgeLag1 в первой протестированной модели, MAL1. На том же уровне, тестируя вниз из самой большой модели, последовательно оценивая значение самой большой задержки, MAL12 выбран, добавив две задержки в M0. Относительная значимость определенных задержек через различные структуры задержки подсвечивает риск автоматизации этих локализованных оценок.

F статистика добавляют полезную информацию об объединенном значении. F тесты на дополнительных задержках, относительно модели со всеми предыдущими задержками, эквивалентны тестам t, с теми же p значениями. Однако F тесты целой структуры задержки, относительно статической спецификации, может обеспечить подсказки значительных задержек до самой большой задержки. F отношения вычисляются coefTest метод LinearModel класс:

fprintf('\nF Statistic p Values\n')

F Statistic p Values

fprintf('\n%-11s%-5s%-5s','Model    |','Last','All')

Model    | Last All  

fprintf(['\n',repmat('=',1,20)])

====================

for lag = 1:5
    
    % Sequential F test (last lag = 0):
    HSq = [zeros(1,lag),1,zeros(1,4)];
    pSq = coefTest(MAL{lag},HSq);
        
    % Static F test (all lags = 0):
    HSt = [zeros(lag,1),eye(lag),zeros(lag,4)];
    pSt = coefTest(MAL{lag},HSt);

    fprintf(['\n%-9s','| ','%-5.2f','%-5.2f'],MALName{lag},pSq,pSt)
    
end

MAL1     | 0.34 0.34 
MAL12    | 0.14 0.32 
MAL123   | 0.44 0.65 
MAL1234  | 0.30 0.74 
MAL12345 | 0.29 0.54 

Статистика F не может начать остановленную стратегию тестирования, но при тестировании вниз, они действительно приводят причину, чтобы пересмотреть самую большую модель, с ее относительно ниже p значение. Увеличенное значение AgeLag3 и AgeLag4 в MAL12345, обозначенный t статистической величиной p значения, повысьте объединенное значение той структуры задержки. Однако, старшая значащая полная структура задержки находится в MAL12, сопоставимый с тестированием вниз через t статистику.

Очевидно, исследования Монте-Карло показывают, что автоматизированный тестирующий стратегии будет часто под подгонкой, когда DGP является супермоделью, и тестирующий вниз будет аналогично сверхсоответствовать, когда DGP является подмоделью [14]. Производительность, в любом случае, улучшается путем систематической корректировки уровней значения с учетом различных степеней свободы. В общем случае однако статистические последствия исключения соответствующих задержек обычно рассматриваются более серьезными, чем включение несоответствующих задержек, и погрешности отклонения должны быть установлены соответственно.

На практике гибридные стратегии обычно предпочитаются, движущиеся предикторы в и из модели, пока некоторая мера подгонки не оптимизирована, и получена экономически разумная модель. Ступенчатая регрессия (описанный в Регрессии Временных рядов в качестве примера V: Выбор Предиктора), один способ автоматизировать этот подход. С современной вычислительной мощностью существует также возможность, в некоторых случаях, исчерпывающе оценить все модели уместности. Когда этот пример иллюстрирует, однако, автоматизация процедур отбора модели должна быть просмотрена с некоторым скептицизмом. Процесс является обязательно динамическим, тесты имеют различные степени уместности, и решения в конечном счете требуют некоторого фактора целей моделирования и экономической теории.

Особые случаи

Из-за трудностей использования стандартных процедур тестирования в моделировании контекстов, где предположения CNLM нарушены, много специализированных способов были разработаны для использования с определенными типами модели. В некоторых случаях соответствующие порядки задержки могут быть определены только посредством анализа данных. Другие случаи требуют последовательной оценки и оценки области значений моделей кандидата.

Сводные данные

Этот пример рассматривает общие стратегии выбора порядка задержки и излагает доводы для адаптации стратегий к отдельным наборам данных и моделей. Данные, рассмотренные здесь, являются немногими, и далекий от идеализаций асимптотического анализа. Также довольно возможно, что модель при исследовании может быть misspecified, соединив его собственную оценку. Однако эти препятствия довольно типичны в эконометрической практике. Без продуманного, "практического" приложения, ведомого некоторым смыслом экономической действительности, выбор порядка задержки представляет много возможностей для искаженного вывода, который может привести к плохому выполнению моделей. Знакомство с общими трудностями, однако, может помочь вести путь к более резким техническим требованиям.

Конечно, не всегда необходимо выбрать "лучшую" модель или порядок задержки. Часто, учитывая статистическую неопределенность, достаточно устранить большое подмножество очень маловероятных кандидатов, оставляя меньшее подмножество для последующего анализа и сбора данных. Стратегии этого примера служат той цели хорошо.