Этот пример показывает, как выбрать статистически значительные истории предиктора для нескольких моделей линейной регрессии. Это является девятым в серии примеров на регрессии временных рядов, после представления в предыдущих примерах.
Предикторы в моделях динамической регрессии могут включать изолированные значения внешних объясняющих переменных (распределенная задержка, или DL, условия), изолировал значения эндогенных переменных отклика (авторегрессивный, или AR, условия), или оба. Изолированные значения инновационного процесса (скользящее среднее значение, или MA, условия) могут иметь экономическое значение, представляя персистентность шоков, но они чаще всего включаются, чтобы сместить потребность в дополнительном DL или условиях AR. (См. пример на "Изолированных Переменных и Смещении Средства оценки OLS".)
Идеально, экономическая теория предлагает который задержки включать в модель. Часто, однако, задержка между изменениями предиктора и соответствующими изменениями ответа должна быть обнаружена посредством анализа данных. Общий подход моделирования должен включать историю предиктора время от времени t - 1, t - 2, t - 3..., t - p, учитывая, что значительные эффекты на текущий ответ только производятся недавними изменениями в предикторе. Анализ спецификации затем рассматривает расширение или ограничение структуры задержки и наконец выбор соответствующего порядка p задержки.
Этот пример исследует стратегии выбора порядка задержки. Несмотря на то, что детали зависят от данных и контекста моделирования, общая цель состоит в том, чтобы идентифицировать краткое, легко интерпретируемое описание генерирующего данные процесса (DGP), который приводит к точной оценке и надежному прогнозированию.
Мы начинаем путем загрузки соответствующих данных из предыдущих примеров в этом ряду:
load Data_TSReg8Классическая, нормальная линейная модель (CNLM), введенный в примере на "Линейных Моделях", фильтрует данные, чтобы сгенерировать белые шумовые невязки. Эконометрические модели не всегда стремятся к такому полному статистическому описанию DGP, особенно когда предикторы диктуют теория или политика, и цели моделирования фокусируются на определенных эффектах. Тем не менее, отклонения от CNLM и их степень, являются общими мерами модели misspecification.
В любой точке в образцовом процессе спецификации невязки могут отобразить ненормальность, автокорреляцию, heteroscedasticity, и другие нарушения предположений CNLM. Когда предикторы добавлены или удалены, модели могут быть оценены относительным улучшением в качестве невязок. Тесты для образцовой подгонки через остаточный анализ описаны в примере на "Остаточной Диагностике".
Образцовая спецификация должна также рассмотреть статистическое значение предикторов, чтобы не сверхпомещаться в сервис остаточного отбеливания и производить экономное представление DGP. Базовые тесты включают t-тест, который оценивает значение отдельных предикторов и F-тест, который используется, чтобы оценить объединенное значение, скажем, целой структуры задержки. Эти тесты обычно используются вместе, поскольку предиктор с незначительным отдельным эффектом может все еще способствовать значительному объединенному эффекту.
Много процедур отбора порядка задержки используют эти базовые тесты, чтобы оценить расширения и ограничения начальной спецификации задержки. Хорошая эконометрическая практика предлагает тщательную оценку каждого шага в процессе. Эконометрики должны судить статистические решения в контексте экономической теории и образцовых предположений. Автоматизированные процедуры обсуждены в примере на "Выборе Предиктора", но часто трудно полностью автоматизировать идентификацию полезной структуры задержки. Мы проявляем более "ручной" подход в этом примере. Конечно, надежность любой такой процедуры зависит критически от надежности базовых тестов.
Считайте базовую модель значений по умолчанию кредита введенной в примере на "Линейных Моделях":
M0
M0 =
Linear regression model:
IGD ~ 1 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ _______ _________
(Intercept) -0.22741 0.098565 -2.3072 0.034747
AGE 0.016781 0.0091845 1.8271 0.086402
BBB 0.0042728 0.0026757 1.5969 0.12985
CPF -0.014888 0.0038077 -3.91 0.0012473
SPR 0.045488 0.033996 1.338 0.1996
Number of observations: 21, Error degrees of freedom: 16
Root Mean Squared Error: 0.0763
R-squared: 0.621, Adjusted R-Squared: 0.526
F-statistic vs. constant model: 6.56, p-value = 0.00253
На основе p-значений t-статистики AGE является старшим значащим отдельным фактором риска (положительный коэффициент) для уровней по умолчанию, измеренных ответом IGD. AGE представляет процент выпускающих облигации инвестиционного уровня, сначала оценил 3 года назад. Значения по умолчанию часто происходят после этого периода, когда капитал от начальной проблемы расходован, но они могут произойти рано или поздно. Кажется разумным рассмотреть модели, которые включают задержки, или ведет AGE.
Припадок M0 основан только на 21 наблюдении, и эти 5 коэффициентов, уже оцененных, оставляют только 16 степеней свободы для дальнейшего подбора кривой. Расширенные структуры задержки и соответствующее сокращение объема выборки, принесли бы в вопрос валидность диагностической статистики.
Для ссылки мы составляем таблицы и подходящие модели с порядками задержки AGE 1, 2, 3, 4, и 5:
% Lagged data: AGE = DataTable.AGE; maxLag = 5; lags = 1:maxLag; AGELags = lagmatrix(AGE,lags); lagNames = strcat({'AGELag'},num2str(lags','%-d')); AGELags = array2table(AGELags,'VariableNames',lagNames); % Preallocate tables and models: DTAL = cell(maxLag,1); MAL = cell(maxLag,1); % Fit models: AL = AGELags; DT = DataTable; for lagOrder = lags lagRange = 1:lagOrder; % Trim next presample row: AL(1,:) = []; DT(1,:) = []; % Fit model: DTAL{lagOrder} = [AL(:,lagRange),DT]; MAL{lagOrder} = fitlm(DTAL{lagOrder}); MALName{lagOrder} = strcat('MAL',num2str(lagRange,'%u')); end
Мы начинаем путем полагания, что модель с порядком 2 задержки AGE, то есть, с данными AGE по выпускающим сначала оценила 3 года назад и отстала, данные AGE по выпускающим сначала оценили 4 и 5 лет назад:
MAL12 = MAL{2}MAL12 =
Linear regression model:
IGD ~ 1 + AGELag1 + AGELag2 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ _______ ________
(Intercept) -0.31335 0.12871 -2.4345 0.031471
AGELag1 0.0030903 0.012504 0.24714 0.80898
AGELag2 0.014322 0.0090639 1.5802 0.14006
AGE 0.017683 0.010243 1.7263 0.10993
BBB 0.003078 0.0035264 0.87284 0.39988
CPF -0.013744 0.0047906 -2.869 0.014115
SPR 0.030392 0.034582 0.87883 0.39675
Number of observations: 19, Error degrees of freedom: 12
Root Mean Squared Error: 0.0723
R-squared: 0.732, Adjusted R-Squared: 0.598
F-statistic vs. constant model: 5.46, p-value = 0.00618
Изолированные переменные уменьшают объем выборки на два. Вместе с двумя новыми предполагаемыми коэффициентами степени свободы уменьшаются на 4, к 12.
Образцовая подгонка, как измерено среднеквадратической ошибкой и настроенным статистическая величина (который составляет дополнительные предикторы), немного улучшена относительно M0. Значение предикторов уже в M0, как измерено p значениями их t-статистики, уменьшается. Это типично, когда предикторы добавляются, если новые предикторы не абсолютно незначительны. Полная F-статистическая-величина показывает, что расширенная модель имеет немного уменьшаемое значение в описании изменения ответа.
Из двух новых предикторов AGELag2, кажется, является намного более значительным, чем AGELag1. Это трудно интерпретировать в экономических терминах, и это приносит в вопрос точность мер по значению. Действительно ли p-значения являются артефактом размера небольшой выборки? Они затронуты нарушениями предположений CNLM это underly оценка обычных наименьших квадратов (OLS)? Короче говоря, они обеспечивают законную причину изменить структуру задержки? Получение надежных ответов на эти вопросы в реалистично измеренных выборках экономических данных часто является проблемой.
Распределение любой диагностической статистической величины зависит от распределения инноваций процесса, как показано в образцовых невязках. Для t и тестов F, нормальные инновации достаточны, чтобы произвести тестовую статистику с t и дистрибутивами F в конечных выборках. Если инновации вылетают от нормальности, однако, статистика не может следовать за этими ожидаемыми дистрибутивами. Тесты страдают от искажений размера, где номинальные уровни значения искажают фактическую частоту отклонения нулевой гипотезы. Когда это происходит, выводы о значении предиктора становятся ненадежными.
Это - основная проблема в анализе спецификации, поскольку на любом этапе в процессе, модели кандидата, вероятно, будут misspecified и данными, не полностью отфильтрованными. Тестовые результаты должны быть рассмотрены в контексте остаточного ряда. График нормального распределения невязок MAL12 показывает некоторую причину подозревать p-значения, о которых сообщают:
resAL12 = MAL12.Residuals.Raw; normplot(resAL12) xlabel('Residual') title('{\bf MAL12 Residuals}')
Общее убеждение состоит в том, что t и тесты F устойчивы к ненормальным инновациям. До некоторой степени это верно. Инновации от эллиптически симметричных дистрибутивов, таких как дистрибутивы t, которые обобщают многомерное нормальное распределение, производят t и статистические данные F, которые следуют за t и дистрибутивами F в конечных выборках [12]. Этот результат, однако, принимает диагональную структуру ковариации. Когда инновации показывают heteroscedasticity и автокорреляцию, стандарт t и тесты F становятся намного меньше устойчивыми [5], [16]. Искажения размера могут быть существенными в конечных выборках. Практически, однако, природу инновационного распределения и степень искажения, может быть трудно измерить.
t и статистика F включают и содействующие оценки и их стандартные погрешности. В присутствии heteroscedasticity или автокорреляции, содействующие оценки OLS остаются несмещенными, если предикторы являются внешними. Стандартные погрешности, однако, когда оценено с обычными формулами CNLM, смещаются.
Один ответ должен сформировать статистику с помощью оценок стандартной погрешности, которые устойчивы к несферическим инновациям [2], [3], как в примере на "Обобщенных Наименьших квадратах и Средствах оценки HAC". Мы иллюстрируем эту стратегию здесь.
P-значение t статистической величины обычно вычисляется с помощью t распределения Студента. Например, для AGELag2 в MAL12:
AGELag2Idx = find(strcmp(MAL12.CoefficientNames,'AGELag2'));
coeff_AGELag2 = MAL12.Coefficients.Estimate(AGELag2Idx);
se_AGELag2 = MAL12.Coefficients.SE(AGELag2Idx);
t_AGELag2 = coeff_AGELag2/se_AGELag2;
dfeAL12 = MAL12.DFE;
p_AGELag2 = 2*(1-tcdf(t_AGELag2,dfeAL12))p_AGELag2 = 0.1401
Это - p-значение, о котором сообщают в предыдущем отображении MAL12.
Используя heteroscedasticity-сопоставимый (HC), или более общий heteroscedasticity и автокорреляцию, сопоставимую (HAC), оценки стандартной погрешности, продолжая принимать t распределение Студента для получившейся статистики, приводят к совсем другим p-значениям:
% HC estimate: [~,seHC] = hac(MAL12,'type','HC','weights','HC3','display','off'); se_AGELag2HC = seHC(AGELag2Idx); t_AGELag2HC = coeff_AGELag2/se_AGELag2HC; p_AGELag2HC = 2*(1-tcdf(t_AGELag2HC,dfeAL12))
p_AGELag2HC = 0.3610
% HAC estimate: [~,seHAC] = hac(MAL12,'type','HAC','weights','BT','display','off'); se_AGELag2HAC = seHAC(AGELag2Idx); t_AGELag2HAC = coeff_AGELag2/se_AGELag2HAC; p_AGELag2HAC = 2*(1-tcdf(t_AGELag2HAC,dfeAL12))
p_AGELag2HAC = 0.0688
P-значение HC показывает AGELag2, чтобы быть относительно незначительным, в то время как p-значение HAC показывает его, чтобы быть потенциально довольно значительным. P-значение CNLM находится промежуток.
Существует много проблем с рисованием надежных выводов из этих результатов. Во-первых, без более полного анализа остаточного ряда (как в примере на "Остаточной Диагностике"), нет никакой причины выбрать одно средство оценки стандартной погрешности по другому. Во-вторых, оценки стандартной погрешности только сопоставимы асимптотически, и выборка здесь является маленькой, даже по эконометрическим стандартам. В-третьих, средства оценки требуют нескольких, иногда произвольно выбранных, параметры неприятности ('weights', 'bandwidth', 'whiten'), который может значительно изменить результаты, особенно в небольших выборках. Наконец, недавно составленный t и статистика F, сформированная с устойчивыми стандартными погрешностями, не следуют за t и дистрибутивами F в конечных выборках.
Короче говоря, оценки значения здесь могут быть не лучше, чем традиционные единицы, на основе предположений CNLM. Модификации основанных на HAC тестов, такие как тесты KVB [11], являются эффективными при решении проблем с отдельными параметрами неприятности, но они не решают большую проблему применения асимптотических методов к конечным выборкам.
Другой ответ на искажения размера в традиционных тестах спецификации загружается. Тестовая статистическая величина, вычисленная из исходных данных, сохраняется, но его распределение переоценено посредством моделируемой передискретизации, с целью создания более точного p-значения.
Передискретизация данных из генеральной совокупности является стандартным методом для оценки распределения статистической величины. Природа экономических временных рядов, однако, обычно делает это непрактичным. Экономические системы зафиксировали истории. Генерация реалистических альтернативных путей, со статистическими свойствами, подобными эмпирическим данным, требует дополнительных предположений.
В загруженном тесте пустая модель является подходящей к доступным данным, и пустое распределение невязок используется, чтобы аппроксимировать распределение генеральной совокупности инноваций. Невязки затем передискретизируются, с заменой, чтобы сгенерировать новый остаточный ряд. Соответствующие ответы начальной загрузки вычисляются с помощью фиксированных историй предиктора. Наконец, новые данные об ответе используются, чтобы переоборудовать альтернативную (исходную) модель и повторно вычислить тестовую статистическую величину. Этот процесс повторяется, чтобы сгенерировать загруженное распределение.
Для сравнения мы загружаем t статистическую величину AGELag2 по нулевой гипотезе, что ее коэффициент является нулем. Пустая модель:
MAL1 = MAL{1}MAL1 =
Linear regression model:
IGD ~ 1 + AGELag1 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ ________ _________
(Intercept) -0.1708 0.11961 -1.428 0.17521
AGELag1 -0.011149 0.011266 -0.98959 0.33917
AGE 0.01323 0.010845 1.2198 0.24268
BBB 0.0062225 0.0033386 1.8638 0.083456
CPF -0.017738 0.0047775 -3.7129 0.0023176
SPR 0.05048 0.036097 1.3985 0.18373
Number of observations: 20, Error degrees of freedom: 14
Root Mean Squared Error: 0.0786
R-squared: 0.634, Adjusted R-Squared: 0.503
F-statistic vs. constant model: 4.84, p-value = 0.00885
AGELag1, очень незначительный в модели MAL12, которая включает и AGELag1 и AGELag2, становится более значительным в отсутствие AGELag2, но его роль все еще незначительна относительно предикторов в M0. Его коэффициент становится отрицательным вопреки нашему пониманию его как предиктор кредитного риска. Вывод может быть то, что AGELag1 не важен. Тем не менее, мы поддерживаем его, чтобы оценить определенное ограничение MAL12 к MAL1, уменьшая порядок задержки 1:
DTAL1 = DTAL{1}; % Lag order 1 table
DTAL12 = DTAL{2}; % Lag order 2 table (one less observation)
numBoot = 1e3; % Number of statistics
res0 = MAL1.Residuals.Raw; % Bootstrap "population"
[~,IdxBoot] = bootstrp(numBoot,[],res0); % Bootstrap indices
ResBoot = res0(IdxBoot); % Bootstrap residuals
IGD0 = DTAL1.IGD - res0; % Residual-free response
IGDB = zeros(size(DTAL12,1),numBoot); % Bootstrap responses
DTBoot = DTAL12;
tBoot = zeros(numBoot,1); % Bootstrap t statistics
for boot = 1:numBoot
IGDBoot = IGD0 + ResBoot(:,boot);
IGDBoot(1) = []; % Trim to size of DTBoot
IGDBoot(IGDBoot < 0) = 0; % Set negative default rates to 0
DTBoot.IGD = IGDBoot;
MBoot = fitlm(DTBoot);
tBoot(boot) = MBoot.Coefficients.tStat(AGELag2Idx);
IGDB(:,boot) = IGDBoot;
endПроцедура генерирует ответы начальной загрузки numBoot, которые заменяют исходный ответ на фиксированные данные о предикторе:
figure hold on bootDates = dates(3:end); hIGD = plot(bootDates,IGDB,'b.'); hIGDEnd = plot(bootDates,IGDB(:,end),'b-'); hIGD0 = plot(bootDates,DTAL12.IGD,'ro-','LineWidth',2); hold off xlabel('Date') ylabel('Default Rate') title('{\bf Bootstrap Responses}') legend([hIGD(end),hIGDEnd,hIGD0],'Bootstrap Responses',... 'Typical Bootstrap Response',... 'Empirical Response',... 'Location','NW')
Загруженное p-значение не очень отличается от исходного p-значения, p_AGELag2, найденного использованием t распределения Студента:
p_AGELag2
p_AGELag2 = 0.1401
p_AGELag2Boot = sum(tBoot > t_AGELag2)/length(tBoot)
p_AGELag2Boot = 0.1380
Однако гистограмма показывает, что распределение загруженной t статистики переключило:
figure hold on numBins = 50; hHist = histogram(tBoot,numBins,'Normalization','probability',... 'FaceColor',[.8 .8 1]); x = hHist.BinLimits(1):0.001:hHist.BinLimits(end); y = tpdf(x,dfeAL12); hPDF = plot(x,y*hHist.BinWidth,'m','LineWidth',2); hStat = plot(t_AGELag2,0,'ro','MarkerFaceColor','r'); line([t_AGELag2 t_AGELag2],1.2*[0 max(hHist.Values)],'Color','r') axis tight legend([hHist,hPDF,hStat],'Bootstrap {\it t} Distribution',... 'Student''s {\it t} Distribution',... 'Original {\it t} Statistic',... 'Location','NE') xlabel('{\it t}') title('{\bf Bootstrap {\it t} Statistics}') hold off
T статистическая величина является менее значительной в распределении начальной загрузки, предлагая возможное влияние несферических инноваций на исходном тесте.
Загруженный тест испытывает свои собственные затруднения. Чтобы осуществить неотрицательность уровней по умолчанию, необходимо обрезать загруженные ответы с отрицательными величинами. Последствия для вывода неясны. Кроме того, загруженный тест полагается, существенно, при условии, что эмпирическое распределение невязок искренне представляет соответствующие характеристики распределения инноваций в DGP. В меньших выборках это трудно выровнять по ширине.
Существует много изменений начальной загрузки. Например, дикая начальная загрузка [7], который комбинирует устойчивую оценку с остаточной передискретизацией, кажется, выполняет хорошо с меньшими выборками в присутствии heteroscedasticity.
Версии t и тестов F, сформулированное использование предположения CNLM, могут обеспечить надежные выводы во множестве ситуаций, где инновационное распределение вылетает от спецификации. Основанные на вероятности тесты, в отличие от этого, требуют, чтобы формальная модель инноваций действовала вообще. Вероятности данных обычно вычисляются под предположением о независимых и нормально распределенных инновациях с фиксированным отклонением. Эта базовая модель DGP может быть настроена, чтобы разместить различные инновационные шаблоны, включая более высокие вероятности для экстремальных явлений, но сильное дистрибутивное предположение остается.
Как статистика F, вероятности данных (или, на практике, loglikelihoods) измеряют припадок целой модели, или структуры задержки, а не значения отдельных образцовых условий. Вероятности основаны на объединенной вероятности данных под дистрибутивным предположением, а не на остаточных суммах квадратов. Большие вероятности указывают на лучшую подгонку, но оценивать относительное качество моделей, статистическое значение различий в вероятности должно быть оценено.
Рассмотрите нормальный loglikelihoods оценок OLS MAL12 и его ограничений. Мы начинаем путем построения MAL2, только с AGELag2, чтобы завершить набор рассмотренных ограничений:
DTAL2 = [AGELags(:,2),DataTable]; MAL2 = fitlm(DTAL2)
MAL2 =
Linear regression model:
IGD ~ 1 + AGELag2 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ _______ _________
(Intercept) -0.29694 0.10622 -2.7955 0.01516
AGELag2 0.013694 0.0083803 1.6341 0.12621
AGE 0.017022 0.0095247 1.7872 0.097235
BBB 0.0035843 0.0027645 1.2965 0.21733
CPF -0.014476 0.0036275 -3.9907 0.0015388
SPR 0.033047 0.031661 1.0438 0.31562
Number of observations: 19, Error degrees of freedom: 13
Root Mean Squared Error: 0.0696
R-squared: 0.731, Adjusted R-Squared: 0.627
F-statistic vs. constant model: 7.05, p-value = 0.00216
% Unrestricted loglikelihood of MAL12:
uLLOLS = MAL12.LogLikelihooduLLOLS = 27.3282
% Restricted loglikelihoods of M0, MAL1, and MAL2:
rLLOLS = [M0.LogLikelihood;MAL1.LogLikelihood;MAL2.LogLikelihood]rLLOLS = 3×1
27.0796
26.0606
27.2799
Это OLS loglikelihoods, на основе остаточного ряда. Например, loglikelihood данных относительно M0 вычисляется с помощью:
resM0 = M0.Residuals.Raw; MSEM0 = M0.MSE; muM0 = mean(resM0); LLM0 = sum(log(normpdf(resM0,muM0,sqrt(MSEM0))))
LLM0 = 26.7243
Поскольку OLS, обязательно, не максимизирует вероятности, если предположения CNLM не удовлетворены, для ограничений пробела параметра модели возможно увеличить вероятности данных. Мы видим это для ограничений M0 и MAL2. Это предлагает, еще раз, ненормальный инновационный процесс.
Для сравнения рассмотрите меры на основе оценок наибольшего правдоподобия (MLEs) коэффициентов модели, с помощью функции arima. Мы соответствуем моделям ARMAX AR нулевого порядка и спецификациями MA (то есть, чистым моделям регрессии):
% Prepare data: LLOLS = [uLLOLS;rLLOLS]; DataAL12 = table2array(DTAL12); y = DataAL12(:,7); X = DataAL12(:,1:6); PredCols = {1:6,3:6,[1,3:6],2:6}; ModelNames = {'MAL12','M0','MAL1','MAL2'}; % Compute MLEs: LLMLE = zeros(4,1); Mdl = arima(0,0,0); options = optimoptions(@fmincon,'Display','off','Diagnostics','off',... 'Algorithm','sqp','TolCon',1e-7); for model = 1:4 [~,~,LL] = estimate(Mdl,y,'X',X(:,PredCols{model}),... 'Display','off','Options',options); LLMLE(model) = LL; end % Display results: fprintf('\nLoglikelihoods\n')
Loglikelihoods
fprintf('\n%-8s%-9s%-9s','Model |','OLSLL','MLELL')
Model | OLSLL MLELL
fprintf(['\n',repmat('=',1,24)])
========================
for model = 1:4 fprintf(['\n%-6s','| ','%-9.4f%-9.4f'],... ModelNames{model},LLOLS(model),LLMLE(model)) end
MAL12 | 27.3282 27.3282 M0 | 27.0796 25.5052 MAL1 | 26.0606 25.5324 MAL2 | 27.2799 27.2799
fprintf('\n')В случае MLEs все ограниченные модели имеют уменьшаемую вероятность описания данных, как ожидалось. OLS и меры по MLE не соглашаются на модели самой большой вероятности с OLS выбор M0 и MAL12 выбора MLE.
Являются значительными различия в вероятности? Для MLEs этот вопрос был традиционно обращен некоторой версией теста отношения правдоподобия (реализованный lratiotest), Вальдов тест (реализованный waldtest) или тест множителя Лагранжа (реализованный lmtest). Они обсуждены в примере на "Классических Образцовых Тестах Misspecification" (тесты CMM). Геометрия сравнения для тестов CMM базируется, существенно, на оптимальности коэффициентов модели. Они не должны использоваться с вероятностями OLS, если нет доказательство, что предположения CNLM удовлетворены.
Как тесты F, тесты CMM только применимы к сравнениям вложенных моделей, которые являются ограничениями или расширениями друг друга. Это - типичная ситуация при оценке структур задержки. В отличие от тестов F, тесты CMM применимы к сравнениям, включающим нелинейные модели, нелинейные ограничения, и ненормальный (но полностью заданный) инновационные дистрибутивы. Это важно в определенных эконометрических настройках, но редко в выборе порядка задержки. Недостаток тестов CMM - то, что они присваивают значение смоделировать различия только асимптотически, и так должны использоваться с осторожностью в конечных выборках.
Например, тест отношения правдоподобия, наиболее прямая оценка различий в вероятности MLE, может использоваться, чтобы оценить соответствие различных ограничений:
% Restrictions of |MAL12| to |M0|, |MAL1|, and |MAL2|: dof = [2;1;1]; % Number of restrictions [hHist,pValue] = lratiotest(LLMLE(1),LLMLE(2:4),dof)
hHist = 3x1 logical array
0
0
0
pValue = 3×1
0.1615
0.0581
0.7561
% Restrictions of |MAL1| and |MAL2| to |M0|: dof = [1;1]; % Number of restrictions [hHist,pValue] = lratiotest(LLMLE(3:4),LLMLE(2),dof)
hHist = 2x1 logical array
0
0
pValue = 2×1
0.8154
0.0596
На 5%-м уровне значения по умолчанию тесту не удается отклонить пустую, ограниченную модель в пользу альтернативной, неограниченной модели во всех случаях. Таким образом, статистический случай для включения любой структуры задержки слаб. Исходная модель, M0, может быть выбрана только по причинам образцовой бережливости.
Альтернатива тестам CMM является различными формами информационных критериев (IC). IC также рассматривает качество подгонки, измеренное вероятностями, но штрафует из-за отсутствия бережливости, измеренной количеством коэффициентов модели. Как с чистыми вероятностями, настроенные вероятности IC предоставляют родственнику, но не абсолюту, мере соответствия модели. Однако нет никаких обычно используемых тестов гипотезы, соответствуя тестам CMM, для оценки значения различий в IC. Основное преимущество, на практике, состоит в том, что IC может использоваться, чтобы сравнить невложенные модели, хотя это часто не важно при сравнении структур задержки.
Следующая таблица сравнивает два общих IC, AIC и BIC, вместе с эквивалентом OLS, настроенным :
AR2 = [MAL12.Rsquared.Adjusted; M0.Rsquared.Adjusted; ... MAL1.Rsquared.Adjusted; MAL2.Rsquared.Adjusted]; AIC = [MAL12.ModelCriterion.AIC; M0.ModelCriterion.AIC; ... MAL1.ModelCriterion.AIC; MAL2.ModelCriterion.AIC]; BIC = [MAL12.ModelCriterion.BIC; M0.ModelCriterion.BIC; ... MAL1.ModelCriterion.BIC; MAL2.ModelCriterion.BIC]; fprintf('\nSize-Adjusted Fit\n')
Size-Adjusted Fit
fprintf('\n%-8s%-7s%-9s%-9s','Model |','AR2','AIC','BIC')
Model | AR2 AIC BIC
fprintf(['\n',repmat('=',1,32)])
================================
for model = 1:4 fprintf(['\n%-6s','| ','%-7.4f','%-9.4f','%-9.4f'],... ModelNames{model},AR2(model),AIC(model),BIC(model)) end
MAL12 | 0.5979 -40.6563 -34.0452 M0 | 0.5264 -44.1593 -38.9367 MAL1 | 0.5028 -40.1213 -34.1469 MAL2 | 0.6269 -42.5598 -36.8932
fprintf('\n')При сравнении моделей, выше настроенных , и более низкий IC, укажите на лучший компромисс между подгонкой и уменьшаемыми степенями свободы. Результаты показывают настройку включению структуры задержки, когда оценено настроенным , но не, когда оценено IC. Этот вид разногласия весьма распространен, особенно с небольшими выборками, и далее предлагает сравнительное использование нескольких методов тестирования.
BIC, с его обычно более большими штрафами на дополнительных коэффициентах, имеет тенденцию выбирать более простые модели, хотя часто не столь простой как выбранные последовательным t и F, тестирующим со стандартными настройками. BIC имеет некоторые превосходящие свойства большой выборки, такой как являющийся асимптотически сопоставимым, но исследования Монте-Карло показали, что AIC может превзойти BIC по характеристикам в правильной идентификации DGP в маленьких выборках данных [6]. Альтернативная версия AIC, AICc, исправляет для небольших выборок и особенно полезна в этих ситуациях.
При попытке задать значительные но экономные структуры задержки в эконометрических моделях, часто используются две общих стратегии. Первое должно запуститься с маленькой модели, затем протестировать дополнительные задержки, пока их отдельное значение или объединенное значение целой структуры задержки, не опускается ниже уровня набора. Это представлено на рассмотрение, тестируя. Также щедрая начальная структура задержки систематически обрезается, пока самая большая задержка или целая структура задержки, не становится значительной. Это раскритиковано, тестируя.
Тестирование запускается с экономного описания данных, таких как статическая модель с одновременными значениями соответствующих предикторов, но никаких динамических условий. Это затем продолжает от определенного до генерала. Каждый шаг в процессе оценивает эффект добавления новой задержки, обычно с помощью некоторой комбинации тестов t, F тесты, тесты CMM или IC. Это останавливается при добавлении, что новая задержка становится незначительной на некотором предопределенном уровне. Это гарантирует, таким образом, что начальная образцовая бережливость сохраняется до некоторой степени.
Подтверждение бритвы Оккама и принципов научного метода, тестирование предлагают много преимуществ. Простые модели являются менее дорогостоящими, чтобы вычислить, легче интерпретировать и обнаружить misspecification, работать лучше с небольшими выборками, и более поддаются обобщению. Кроме того, они часто производят лучшие прогнозы [10].
Однако тестированию часто препятствуют для выбора порядка задержки и экономического моделирования в целом. Существует общий сценарий, где значительные задержки лежат за пределами первого незначительного, такой как с сезонными задержками. Автоматическое тестирование не обнаружит их. Кроме того, последовательное тестирование в присутствии не использованных переменных, которые еще не были добавлены к модели, создает смещение средства оценки и искажения тестовых размеров и степени, в конечном счете ведя к неправильным выводам. Не использованное переменное смещение обсуждено в примерах на "Побочной Регрессии" и "Изолированных Переменных и Смещении Средства оценки".
Как следствие тестирование вниз часто рекомендуется [9]. Эта стратегия начинается с модели, которая включает все потенциальные объясняющие переменные. Таким образом, это включает соединение предикторов с более или менее значением в объяснении изменения ответа. Это затем переходит от генерала к определенному (иногда названный GETS). Каждый шаг в процессе оценивает эффект удаления предиктора, с помощью тех же видов тестов, используемых для тестирования. Это останавливается, когда ограниченная модель достигает некоторого предопределенного уровня значения.
Существует несколько преимуществ для этого подхода. Если начальная структура модели и задержки является достаточно всесторонней, то все тестирование сделано, по крайней мере, в принципе, в отсутствие не использованного переменного смещения. Локализованные тесты, такие как тесты на самой большой задержке, могут привести к моделям, которые продолжают содержать соединение значительных и незначительных задержек, но поскольку они - весь подарок в модели, они могут быть исследованы на объединенное значение. Недостаток к этому подходу является отсутствием теоретического руководства или даже хорошими эвристическими советами, при выборе начального порядка задержки в различных ситуациях с моделированием.
Следующая таблица показывает p значения t статистики по коэффициентам изолированного AGE в структурах задержки порядка 1 - 5:
fprintf('\nt Statistic p Values\n')t Statistic p Values
fprintf('\n%-11s%-5s%-5s%-5s%-5s%-5s','Model |',... 'AL1','AL2','AL3','AL4','AL5')
Model | AL1 AL2 AL3 AL4 AL5
fprintf(['\n',repmat('=',1,35)])
===================================
for lag = 1:5 pVals = MAL{lag}.Coefficients.pValue(2:lag+1); fprintf(['\n%-9s','| ',repmat('%-5.2f',1,lag)],... MALName{lag},pVals(1:lag)) end
MAL1 | 0.34 MAL12 | 0.81 0.14 MAL123 | 0.77 0.45 0.44 MAL1234 | 0.55 0.76 0.55 0.30 MAL12345 | 0.88 0.91 0.19 0.14 0.29
fprintf('\n')На 15%-м уровне значения, тестируя от M0 не добавляет задержек в модель, поскольку этому не удается отклонить нулевой коэффициент для AgeLag1 в первой протестированной модели, MAL1. На том же уровне, тестируя вниз из самой большой модели, последовательно оценивая значение самой большой задержки, MAL12 выбран, добавив две задержки в M0. Относительная значимость определенных задержек через различные структуры задержки подсвечивает риск автоматизации этих локализованных оценок.
F статистика добавляют полезную информацию об объединенном значении. F тесты на дополнительных задержках, относительно модели со всеми предыдущими задержками, эквивалентны тестам t, с теми же p значениями. Однако F тесты целой структуры задержки, относительно статической спецификации, может обеспечить подсказки значительных задержек до самой большой задержки. F отношения вычисляются методом coefTest класса LinearModel:
fprintf('\nF Statistic p Values\n')F Statistic p Values
fprintf('\n%-11s%-5s%-5s','Model |','Last','All')
Model | Last All
fprintf(['\n',repmat('=',1,20)])
====================
for lag = 1:5 % Sequential F test (last lag = 0): HSq = [zeros(1,lag),1,zeros(1,4)]; pSq = coefTest(MAL{lag},HSq); % Static F test (all lags = 0): HSt = [zeros(lag,1),eye(lag),zeros(lag,4)]; pSt = coefTest(MAL{lag},HSt); fprintf(['\n%-9s','| ','%-5.2f','%-5.2f'],MALName{lag},pSq,pSt) end
MAL1 | 0.34 0.34 MAL12 | 0.14 0.32 MAL123 | 0.44 0.65 MAL1234 | 0.30 0.74 MAL12345 | 0.29 0.54
fprintf('\n')Статистика F не может начать остановленную стратегию тестирования, но при тестировании вниз, они действительно приводят причину, чтобы пересмотреть самую большую модель, с ее относительно ниже p значение. Увеличенное значение AgeLag3 и AgeLag4 в MAL12345, обозначенном t статистической величиной p значения, повышает объединенное значение той структуры задержки. Однако, старшая значащая полная структура задержки находится в MAL12, сопоставимом с тестированием вниз через t статистику.
Очевидно, исследования Монте-Карло показывают, что автоматизированный тестирующий стратегии будет часто под подгонкой, когда DGP является супермоделью, и тестирующий вниз будет аналогично сверхсоответствовать, когда DGP является подмоделью [14]. Производительность, в любом случае, улучшается путем систематической корректировки уровней значения, чтобы составлять различные степени свободы. В целом, однако, статистические последствия исключения соответствующих задержек обычно рассматриваются более серьезными, чем включение несоответствующих задержек, и допуски отклонения должны быть установлены соответственно.
На практике гибридные стратегии обычно предпочитаются, движущиеся предикторы в и из модели, пока некоторая мера подгонки не оптимизирована, и получена экономически разумная модель. Пошаговая регрессия (описанный в примере на "Выборе Предиктора") является одним способом автоматизировать этот подход. С современной вычислительной мощностью существует также возможность, в некоторых случаях, исчерпывающе оценить все модели уместности. Когда этот пример иллюстрирует, однако, автоматизация образцовых процедур отбора должна быть просмотрена с некоторым скептицизмом. Процесс является обязательно динамическим, тесты имеют различные степени уместности, и решения в конечном счете требуют некоторого фактора целей моделирования и экономической теории.
Из-за трудностей использования стандартных процедур тестирования в моделировании контекстов, где предположения CNLM нарушены, много специализированных способов были разработаны для использования с определенными типами модели. В некоторых случаях соответствующие порядки задержки могут быть определены только посредством анализа данных. Другие случаи требуют последовательной оценки и оценки области значений моделей кандидата.
Модели ARMA. Стационарные временные ряды часто представляются, теоретически, процессами MA бесконечного порядка [18]. Модели ARMA переводят эти представления в конечную, рациональную форму. Изолируйте порядки для AR, и компоненты MA модели должны быть выбраны вместе, чтобы достигнуть баланса между точностью и образцовой бережливостью. Стандартный метод идентификации [4], описанный в примере "Выбор Модели Поля-Jenkins", исследует шаблоны в демонстрационных автокорреляционных функциях, чтобы определить относительную значимость структур задержки кандидата.
Модели ARDL. Много экономических переменных под влиянием внешних ведущих процессов, которые могут передать персистентные шоки для DGP. Теоретически, они представлены бесконечным порядком модели DL, но как с моделями ARMA, конечные, рациональные формы требуются для практической оценки. Стандартные методы, такие как предложенные Алмоном [1] и Koyck [13], присваивают веса структуре задержки таким способом, которым модель может быть преобразована в AR, ARMA или форму ARMAX. Методы являются более оперативными, чем управляемый данными, и подвергающийся проблемам коллинеарности, которые прибывают из работы со многими задержками предиктора в ближайшие времена. (См. пример на "Коллинеарности и Отклонении Средства оценки".)
Модели GARCH. Модели GARCH обычно используются к образцовым шаблонам heteroscedasticity в инновационном процессе, особенно в финансовых приложениях. Как модели ARMA и ARDL, они комбинируют два типа задержек с порядками, которые должны быть сбалансированы соответственно. На практике существуют методы для преобразования моделей GARCH к форме ARMA [8], где методы Поля-Jenkins могут быть применены, но это редко делается на практике. Для большей части экономического и финансового ряда порядки задержки 1 и 1, кажется, служат хорошо.
Модульные Корневые Тесты. Модульный корень и тесты стационарности, такие как adftest и lmctest, используют динамические модели тестового процесса и требуют, чтобы пользователи выбрали порядок задержки. Этот параметр неприятности может иметь значительный эффект на результаты испытаний. Потенциальное присутствие неустановившихся данных в этой установке подвергает сомнению использование стандарта t и тестов F. Однако Симс, Сток и Уотсон [17] показали, что они выравниваются по ширине, когда регрессия включает все детерминированные компоненты DGP.
Модели VAR. Модели VAR являются типичной, широко используемой формой для представления систем взаимодействующих экономических переменных. Они требуют, чтобы задержка приказала, чтобы получил соответствующую предысторию всех переменных в модели. Поскольку модели многомерны, затраты на оценку растут быстро с увеличивающимся порядком задержки, таким образом, экономная процедура отбора важна. Lütkepohl [15] обсуждает множество стратегий, большинство которых является многомерными обобщениями методов, представленных в этом примере.
Этот пример рассматривает общие стратегии выбора порядка задержки и излагает доводы для адаптации стратегий к отдельным наборам данных и моделей. Данные, рассмотренные здесь, являются немногими, и далекий от идеализаций асимптотического анализа. Также довольно возможно, что модель при исследовании может быть misspecified, соединив его собственную оценку. Однако эти препятствия довольно типичны в эконометрической практике. Без продуманного, "практического" приложения, ведомого некоторым смыслом экономической действительности, выбор порядка задержки представляет много возможностей для искаженного вывода, который может привести к плохому выполнению моделей. Знакомство с общими трудностями, однако, может помочь вести путь к более резким спецификациям.
Конечно, не всегда необходимо выбрать "лучшую" модель или порядок задержки. Часто, учитывая статистическую неуверенность, достаточно устранить большое подмножество очень маловероятных кандидатов, оставляя меньшее подмножество для последующего анализа и сбора данных. Стратегии этого примера служат той цели хорошо.
[1] Алмон, S. "Распределенная Задержка Между Прописными Ассигнованиями и Расходами". Econometrica. Издание 33, 1965, стр 178-196.
[2] Эндрюс, D. W. K. "Heteroskedasticity и Autocorrelation Consistent Covariance Matrix Estimation". Econometrica. Издание 59, 1991, стр 817-858.
[3] Эндрюс, D. W. K. и J. C. Моноханьцы. "Улучшенный Heteroskedasticity и Автокорреляция Сопоставимое Средство оценки Ковариационной матрицы". Econometrica. Издание 60, 1992, стр 953-966.
[4] Поле, G. E. P. Г. М. Дженкинс и Г. К. Рейнсель. Анализ timeseries: прогнозирование и управляет. Верхний Сэддл-Ривер, NJ: Prentice Hall, 1994.
[5] Banerjee, A. N. и Дж. Р. Магнус. "На Чувствительности Обычного t-и F-тестов к Ковариации Misspecification". Журнал Эконометрики. Издание 95, 2000, стр 157-176.
[6] Бернэм, K. P. и Д. Р. Андерсон. Образцовый выбор и мультиобразцовый вывод: практический информационно-теоретический подход. Нью-Йорк: Спрингер, 2010.
[7] Дэвидсон, R. и Э. Флашер. "Дикая Начальная загрузка, Прирученная наконец". Журнал Эконометрики. Издание 146, 2008, стр 162-169.
[8] Гамильтон, анализ временных рядов степени доктора юридических наук. Принстон, NJ: Издательство Принстонского университета, 1994.
[9] Хендри, D. F. Эконометрика: алхимия или наука? Оксфорд: Издательство Оксфордского университета, 2001.
[10] Keuzenkamp, H. A. и М. Макэлир. "Простота, Научный Вывод и Экономическое Моделирование". Экономический Журнал. Издание 105, 1995, стр 1-21.
[11] Кифер, N. M. Т. Дж. Воджелсэнг и Х. Банзель. "Простое Устойчивое Тестирование Гипотез Регрессии". Econometrica. Издание 68, 2000, стр 695-714.
[12] Король, M. L. "Устойчивые Тесты для Сферической Симметрии и Их Приложения к Регрессии Наименьших квадратов". Летопись Статистики. Издание 8, 1980, стр 1265-1271.
[13] Koyck, L. M. Распределенные модели задержек и инвестиционный анализ. Амстердам: северная Голландия, 1954.
[14] Krolzig, H. M., и Хендри, D.F. "Компьютерная Автоматизация Общих-к-специфичному Образцовых Процедур отбора". Журнал Economic Dynamics & Control. Издание 25, 2001, стр 831-866.
[15] Lütkepohl, H. Новое введение в несколько анализ временных рядов. Нью-Йорк: Спрингер, 2007.
[16] Цинь, H. и А. Т. К. Вань. "На Свойствах t-и F-отношений в Линейных регрессиях с Ненормальными Ошибками". Эконометрическая Теория. Издание 20, № 4, 2004, стр 690-700.
[17] Симс, C. A. Дж. Х. Сток и М. В. Уотсон. "Заключите в Линейных Моделях Временных рядов с некоторыми Модульными Корнями". Econometrica. Издание 58, 1990, стр 113-144.
[18] Пустошь, H. Исследование в анализе стационарных временных рядов. Упсала, Швеция: Almqvist & Wiksell, 1938.