В этом примере показано, как выбрать статистически значительные истории предиктора для моделей многофакторной линейной регрессии. Это является девятым в серии примеров на регрессии временных рядов, после представления в предыдущих примерах.
Предикторы в моделях динамической регрессии могут включать изолированные значения внешних объясняющих переменных (распределенная задержка, или DL, термины), изолировал значения эндогенных переменных отклика (авторегрессивный, или AR, термины), или оба. Изолированные значения инновационного процесса (скользящее среднее значение, или MA, термины) могут иметь экономическое значение, представляя персистентность шоков, но они чаще всего включаются, чтобы возместить потребность в дополнительном DL или терминах AR. (См. Регрессию Временных рядов в качестве примера VIII: Изолированные Переменные и Смещение Средства оценки.)
Идеально, экономическая теория предлагает который задержки включать в модель. Часто, однако, задержка между изменениями предиктора и соответствующими изменениями ответа должна быть обнаружена посредством анализа данных. Общий подход моделирования должен включать историю предиктора время от времени t - 1, t - 2, t - 3..., t - p, учитывая, что значительные эффекты на текущем ответе только производятся недавними изменениями в предикторе. Анализ спецификации затем рассматривает расширение или ограничение структуры задержки и наконец выбор соответствующего порядка p задержки.
Этот пример исследует стратегии выбора порядка задержки. Несмотря на то, что детали зависят от данных и контекста моделирования, общая цель состоит в том, чтобы идентифицировать краткое, легко интерпретируемое описание генерирующего данные процесса (DGP), который приводит к точной оценке и надежному прогнозированию.
Мы начинаем путем загрузки соответствующих данных из предыдущих примеров в этом ряду:
load Data_TSReg8Классическая, нормальная линейная модель (CNLM), введенный в Регрессии Временных рядов в качестве примера I: Линейные Модели, данные о фильтрах, чтобы сгенерировать остаточные значения белого шума. Эконометрические модели не всегда стремятся к такому полному статистическому описанию DGP, особенно когда предикторы диктуют теория или политика, и цели моделирования фокусируются на определенных эффектах. Тем не менее, отклонения от CNLM и их степень, являются общими мерами модели misspecification.
В любой точке в процессе спецификации модели остаточные значения могут отобразить ненормальность, автокорреляцию, heteroscedasticity, и другие нарушения предположений CNLM. Когда предикторы добавлены или удалены, модели могут быть оценены относительным улучшением в качестве остаточных значений. Тесты для подгонки модели через остаточный анализ описаны в Регрессии Временных рядов в качестве примера VI: Остаточная Диагностика.
Спецификация модели должна также рассмотреть статистическое значение предикторов, чтобы не сверхпомещаться в сервис остаточного отбеливания и производить экономное представление DGP. Базовые тесты включают t-тест, который оценивает значение отдельных предикторов и F-тест, который используется, чтобы оценить объединенное значение, скажем, целой структуры задержки. Эти тесты обычно используются вместе, поскольку предиктор с незначительным отдельным эффектом может все еще способствовать значительному объединенному эффекту.
Много процедур отбора порядка задержки используют эти базовые тесты, чтобы оценить расширения и ограничения первоначальной спецификации задержки. Хорошая эконометрическая практика предлагает тщательную оценку каждого шага в процессе. Эконометрики должны судить статистические решения в контексте экономической теории и предположений модели. Автоматизированные процедуры обсуждены в примере на Регрессии Временных рядов V: Выбор Предиктора, но это часто затрудняет, чтобы полностью автоматизировать идентификацию полезной структуры задержки. Мы проявляем более "ручной" подход в этом примере. Конечно, надежность любой такой процедуры зависит критически от надежности базовых тестов.
Считайте базовую модель значений по умолчанию кредита введенной в Регрессии Временных рядов в качестве примера I: Линейные Модели:
M0
M0 =
Linear regression model:
IGD ~ 1 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ _______ _________
(Intercept) -0.22741 0.098565 -2.3072 0.034747
AGE 0.016781 0.0091845 1.8271 0.086402
BBB 0.0042728 0.0026757 1.5969 0.12985
CPF -0.014888 0.0038077 -3.91 0.0012473
SPR 0.045488 0.033996 1.338 0.1996
Number of observations: 21, Error degrees of freedom: 16
Root Mean Squared Error: 0.0763
R-squared: 0.621, Adjusted R-Squared: 0.526
F-statistic vs. constant model: 6.56, p-value = 0.00253
На основе p-значений t-статистики, AGE старший значащий отдельный фактор риска (положительный коэффициент) для уровней по умолчанию, измеренных ответом IGD. AGE представляет процент выпускающих облигации инвестиционного уровня, сначала оценил 3 года назад. Значения по умолчанию часто происходят после этого периода, когда капитал от начальной проблемы расходован, но они могут произойти рано или поздно. Кажется разумным рассмотреть модели, которые включают задержки, или ведет AGE.
Припадок M0 основан только на 21 наблюдении, и эти 5 коэффициентов, уже оцененных, оставляют только 16 степеней свободы для дальнейшего подбора кривой. Расширенные структуры задержки и соответствующее сокращение объема выборки, принесли бы в вопрос валидность диагностической статистики.
Для ссылки мы составляем таблицы и подбираем модели с AGE изолируйте порядки 1, 2, 3, 4, и 5:
% Lagged data: AGE = DataTable.AGE; maxLag = 5; lags = 1:maxLag; AGELags = lagmatrix(AGE,lags); lagNames = strcat({'AGELag'},num2str(lags','%-d')); AGELags = array2table(AGELags,'VariableNames',lagNames); % Preallocate tables and models: DTAL = cell(maxLag,1); MAL = cell(maxLag,1); % Fit models: AL = AGELags; DT = DataTable; for lagOrder = lags lagRange = 1:lagOrder; % Trim next presample row: AL(1,:) = []; DT(1,:) = []; % Fit model: DTAL{lagOrder} = [AL(:,lagRange),DT]; MAL{lagOrder} = fitlm(DTAL{lagOrder}); MALName{lagOrder} = strcat('MAL',num2str(lagRange,'%u')); end
Мы начинаем путем рассмотрения модели с AGE изолируйте порядок 2, то есть, с AGE данные по выпускающим сначала оценили 3 года назад и изолировали AGE данные по выпускающим сначала оценили 4 и 5 лет назад:
MAL12 = MAL{2}MAL12 =
Linear regression model:
IGD ~ 1 + AGELag1 + AGELag2 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ _______ ________
(Intercept) -0.31335 0.12871 -2.4345 0.031471
AGELag1 0.0030903 0.012504 0.24714 0.80898
AGELag2 0.014322 0.0090639 1.5802 0.14006
AGE 0.017683 0.010243 1.7263 0.10993
BBB 0.003078 0.0035264 0.87284 0.39988
CPF -0.013744 0.0047906 -2.869 0.014115
SPR 0.030392 0.034582 0.87883 0.39675
Number of observations: 19, Error degrees of freedom: 12
Root Mean Squared Error: 0.0723
R-squared: 0.732, Adjusted R-Squared: 0.598
F-statistic vs. constant model: 5.46, p-value = 0.00618
Изолированные переменные уменьшают объем выборки на два. Вместе с двумя новыми предполагаемыми коэффициентами степени свободы уменьшаются на 4, к 12.
Подгонка модели, как измерено среднеквадратической ошибкой и настроенным статистическая величина (который составляет дополнительные предикторы), немного улучшена относительно M0. Значение предикторов уже в M0, как измерено p значениями их t-статистики, уменьшается. Это типично, когда предикторы добавляются, если новые предикторы не абсолютно незначительны. Полная F-статистическая-величина показывает, что расширенная модель имеет немного уменьшаемое значение в описании изменения ответа.
Из двух новых предикторов, AGELag2 кажется, является намного более значительным, чем AGELag1. Это затрудняет, чтобы интерпретировать в экономических терминах, и это приносит в вопрос точность мер по значению. Действительно ли p-значения являются артефактом размера небольшой выборки? Они затронуты нарушениями предположений CNLM это underly оценка обычных наименьших квадратов (OLS)? Короче говоря, они обеспечивают законную причину изменить структуру задержки? Получение надежных ответов на эти вопросы в реалистично измеренных выборках экономических данных часто является проблемой.
Распределение любой диагностической статистической величины зависит от распределения инноваций процесса, как показано в остаточных значениях модели. Для t и тестов F, нормальные инновации достаточны, чтобы произвести тестовую статистику с t и распределениями F в конечных выборках. Если инновации вылетают от нормальности, однако, статистика не может следовать за этими ожидаемыми распределениями. Тесты страдают от искажений размера, где номинальные уровни значения искажают фактическую частоту отклонения нулевой гипотезы. Когда это происходит, выводы о значении предиктора становятся ненадежными.
Это - основная проблема в анализе спецификации, поскольку на любом этапе в процессе, модели кандидата, вероятно, будут misspecified и данными, не полностью отфильтрованными. Тестовые результаты должны быть рассмотрены в контексте остаточного ряда. График нормального распределения MAL12 остаточные значения показывают некоторую причину подозревать p-значения, о которых сообщают:
resAL12 = MAL12.Residuals.Raw; normplot(resAL12) xlabel('Residual') title('{\bf MAL12 Residuals}')
Общее убеждение состоит в том, что t и тесты F устойчивы к ненормальным инновациям. До некоторой степени это верно. Инновации от эллиптически симметричных распределений, таких как распределения t, которые обобщают многомерное нормальное распределение, производят t и статистические данные F, которые следуют за t и распределениями F в конечных выборках [12]. Этот результат, однако, принимает диагональную структуру ковариации. Когда инновации показывают heteroscedasticity и автокорреляцию, стандарт t и тесты F становятся намного меньше устойчивыми [5], [16]. Искажения размера могут быть существенными в конечных выборках. Практически, однако, природа инновационного распределения и степень искажения, могут затруднить меру.
t и статистика F включают и содействующие оценки и их стандартные погрешности. В присутствии heteroscedasticity или автокорреляции, содействующие оценки OLS остаются несмещенными, если предикторы являются внешними. Стандартные погрешности, однако, когда оценено с обычными формулами CNLM, смещаются.
Один ответ должен сформировать статистику с помощью оценок стандартной погрешности, которые устойчивы к несферическим инновациям [2], [3], как в Регрессии Временных рядов в качестве примера X: Обобщенные Наименьшие квадраты и Средства оценки HAC. Мы иллюстрируем эту стратегию здесь.
P-значение t статистической величины обычно вычисляется с помощью t распределения Студента. Например, для AGELag2 в MAL12:
AGELag2Idx = find(strcmp(MAL12.CoefficientNames,'AGELag2'));
coeff_AGELag2 = MAL12.Coefficients.Estimate(AGELag2Idx);
se_AGELag2 = MAL12.Coefficients.SE(AGELag2Idx);
t_AGELag2 = coeff_AGELag2/se_AGELag2;
dfeAL12 = MAL12.DFE;
p_AGELag2 = 2*(1-tcdf(t_AGELag2,dfeAL12))p_AGELag2 = 0.1401
Это - p-значение, о котором сообщают в предыдущем отображении MAL12.
Используя heteroscedasticity-сопоставимый (HC), или более общий heteroscedasticity и автокорреляцию, сопоставимую (HAC), оценки стандартной погрешности, продолжая принимать t распределение Студента для получившейся статистики, приводят к совсем другим p-значениям:
% HC estimate: [~,seHC] = hac(MAL12,'type','HC','weights','HC3','display','off'); se_AGELag2HC = seHC(AGELag2Idx); t_AGELag2HC = coeff_AGELag2/se_AGELag2HC; p_AGELag2HC = 2*(1-tcdf(t_AGELag2HC,dfeAL12))
p_AGELag2HC = 0.3610
% HAC estimate: [~,seHAC] = hac(MAL12,'type','HAC','weights','BT','display','off'); se_AGELag2HAC = seHAC(AGELag2Idx); t_AGELag2HAC = coeff_AGELag2/se_AGELag2HAC; p_AGELag2HAC = 2*(1-tcdf(t_AGELag2HAC,dfeAL12))
p_AGELag2HAC = 0.0688
P-значение HC показывает AGELag2 быть относительно незначительным, в то время как p-значение HAC показывает его, чтобы быть потенциально довольно значительным. P-значение CNLM находится промежуток.
Существует много проблем с рисованием надежных выводов из этих результатов. Во-первых, без более полного анализа остаточного ряда (как в Регрессии Временных рядов в качестве примера VI: Остаточная Диагностика), нет никакой причины выбрать одно средство оценки стандартной погрешности по другому. Во-вторых, оценки стандартной погрешности только сопоставимы асимптотически, и выборка здесь мала, даже по эконометрическим стандартам. В-третьих, средства оценки требуют нескольких, иногда произвольно выбранных, параметры неприятности ('weights'пропускная способность, 'whiten') это может значительно изменить результаты, особенно в небольших выборках. Наконец, недавно составленный t и статистика F, сформированная с устойчивыми стандартными погрешностями, не следуют за t и распределениями F в конечных выборках.
Короче говоря, оценки значения здесь могут быть не лучше, чем традиционные единицы, на основе предположений CNLM. Модификации основанных на HAC тестов, такие как тесты KVB [11], являются эффективными при решении проблем отдельными параметрами неприятности, но они не решают большую проблему применения асимптотических методов к конечным выборкам.
Другой ответ на искажения размера в традиционных тестах спецификации загружается. Тестовая статистическая величина, вычисленная из исходных данных, обеспечена, но его распределение переоценено посредством симулированной передискретизации, с целью создания более точного p-значения.
Передискретизация данных из населения является стандартным методом для того, чтобы вычислять распределение статистической величины. Природа экономических временных рядов, однако, обычно делает это непрактичным. Экономические системы зафиксировали истории. Генерация реалистических альтернативных путей, со статистическими свойствами, похожими на эмпирические данные, требует дополнительных предположений.
В загруженном тесте пустая модель является подходящей к доступным данным, и пустое распределение остаточных значений используется, чтобы аппроксимировать распределение населения инноваций. Остаточные значения затем передискретизируются, с заменой, чтобы сгенерировать новый остаточный ряд. Соответствующие ответы начальной загрузки вычисляются с помощью фиксированных историй предиктора. Наконец, новые данные об ответе используются, чтобы переоборудовать альтернативную (исходную) модель и повторно вычислить тестовую статистическую величину. Этот процесс повторяется, чтобы сгенерировать загруженное распределение.
Для сравнения мы загружаем t статистическую величину AGELag2 по нулевой гипотезе, что ее коэффициент является нулем. Пустая модель:
MAL1 = MAL{1}MAL1 =
Linear regression model:
IGD ~ 1 + AGELag1 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ ________ _________
(Intercept) -0.1708 0.11961 -1.428 0.17521
AGELag1 -0.011149 0.011266 -0.98959 0.33917
AGE 0.01323 0.010845 1.2198 0.24268
BBB 0.0062225 0.0033386 1.8638 0.083456
CPF -0.017738 0.0047775 -3.7129 0.0023176
SPR 0.05048 0.036097 1.3985 0.18373
Number of observations: 20, Error degrees of freedom: 14
Root Mean Squared Error: 0.0786
R-squared: 0.634, Adjusted R-Squared: 0.503
F-statistic vs. constant model: 4.84, p-value = 0.00885
AGELag1, очень незначительный в модели MAL12 это включает оба AGELag1 и AGELag2, становится более значительным в отсутствие AGELag2, но его роль все еще незначительна относительно предикторов в M0. Его коэффициент становится отрицательным вопреки нашему пониманию его как предиктор кредитного риска. Выводом может быть тот AGELag1 не важно. Тем не менее, мы обеспечиваем его, чтобы оценить определенное ограничение MAL12 к MAL1, сокращение задержки заказывает 1:
DTAL1 = DTAL{1}; % Lag order 1 table
DTAL12 = DTAL{2}; % Lag order 2 table (one less observation)
numBoot = 1e3; % Number of statistics
res0 = MAL1.Residuals.Raw; % Bootstrap "population"
[~,IdxBoot] = bootstrp(numBoot,[],res0); % Bootstrap indices
ResBoot = res0(IdxBoot); % Bootstrap residuals
IGD0 = DTAL1.IGD - res0; % Residual-free response
IGDB = zeros(size(DTAL12,1),numBoot); % Bootstrap responses
DTBoot = DTAL12;
tBoot = zeros(numBoot,1); % Bootstrap t statistics
for boot = 1:numBoot
IGDBoot = IGD0 + ResBoot(:,boot);
IGDBoot(1) = []; % Trim to size of DTBoot
IGDBoot(IGDBoot < 0) = 0; % Set negative default rates to 0
DTBoot.IGD = IGDBoot;
MBoot = fitlm(DTBoot);
tBoot(boot) = MBoot.Coefficients.tStat(AGELag2Idx);
IGDB(:,boot) = IGDBoot;
endПроцедура генерирует numBoot загрузите ответы, которые заменяют исходный ответ на фиксированные данные о предикторе:
figure hold on bootDates = dates(3:end); hIGD = plot(bootDates,IGDB,'b.'); hIGDEnd = plot(bootDates,IGDB(:,end),'b-'); hIGD0 = plot(bootDates,DTAL12.IGD,'ro-','LineWidth',2); hold off xlabel('Date') ylabel('Default Rate') title('{\bf Bootstrap Responses}') legend([hIGD(end),hIGDEnd,hIGD0],'Bootstrap Responses',... 'Typical Bootstrap Response',... 'Empirical Response',... 'Location','NW')
Загруженное p-значение не очень отличается от исходного p-значения, p_AGELag2, найденное использование t распределения Студента:
p_AGELag2
p_AGELag2 = 0.1401
p_AGELag2Boot = sum(tBoot > t_AGELag2)/length(tBoot)
p_AGELag2Boot = 0.1380
Однако гистограмма показывает, что распределение загруженной t статистики переключило:
figure hold on numBins = 50; hHist = histogram(tBoot,numBins,'Normalization','probability',... 'FaceColor',[.8 .8 1]); x = hHist.BinLimits(1):0.001:hHist.BinLimits(end); y = tpdf(x,dfeAL12); hPDF = plot(x,y*hHist.BinWidth,'m','LineWidth',2); hStat = plot(t_AGELag2,0,'ro','MarkerFaceColor','r'); line([t_AGELag2 t_AGELag2],1.2*[0 max(hHist.Values)],'Color','r') axis tight legend([hHist,hPDF,hStat],'Bootstrap {\it t} Distribution',... 'Student''s {\it t} Distribution',... 'Original {\it t} Statistic',... 'Location','NE') xlabel('{\it t}') title('{\bf Bootstrap {\it t} Statistics}') hold off
T статистическая величина является менее значительной в распределении начальной загрузки, предлагая возможное влияние несферических инноваций на исходном тесте.
Загруженный тест испытывает свои собственные затруднения. Чтобы осуществить неотрицательность уровней по умолчанию, необходимо обрезать загруженные ответы с отрицательными величинами. Последствия для вывода неясны. Кроме того, загруженный тест полагается, существенно, при условии, что эмпирическое распределение остаточных значений искренне представляет соответствующие характеристики распределения инноваций в DGP. В меньших выборках это трудно выровнять по ширине.
Существует много изменений начальной загрузки. Например, дикая начальная загрузка [7], который комбинирует устойчивую оценку с остаточной передискретизацией, кажется, выполняет хорошо с меньшими выборками в присутствии heteroscedasticity.
Версии t и тестов F, сформулированное использование предположения CNLM, могут обеспечить надежные выводы во множестве ситуаций, где инновационное распределение вылетает от спецификации. Основанные на вероятности тесты, в отличие от этого, требуют, чтобы формальная модель инноваций действовала вообще. Вероятности данных обычно вычисляются под предположением о независимых и нормально распределенных инновациях с фиксированным отклонением. Эта базовая модель DGP может быть настроена, чтобы вместить различные инновационные шаблоны, включая более высокие вероятности для экстремальных явлений, но сильное дистрибутивное предположение остается.
Как статистика F, вероятности данных (или, на практике, логарифмическая правдоподобность) измеряют припадок целой модели, или структуры задержки, а не значения отдельных терминов модели. Вероятности основаны на объединенной вероятности данных под дистрибутивным предположением, а не на остаточных суммах квадратов. Большие вероятности указывают на лучшую подгонку, но оценивать относительное качество моделей, статистическое значение различий в вероятности должно быть оценено.
Рассмотрите нормальную логарифмическую правдоподобность оценок OLS MAL12 и его ограничения. Мы начинаем путем построения MAL2, только с AGELag2, чтобы завершить набор рассмотренных ограничений:
DTAL2 = [AGELags(:,2),DataTable]; MAL2 = fitlm(DTAL2)
MAL2 =
Linear regression model:
IGD ~ 1 + AGELag2 + AGE + BBB + CPF + SPR
Estimated Coefficients:
Estimate SE tStat pValue
_________ _________ _______ _________
(Intercept) -0.29694 0.10622 -2.7955 0.01516
AGELag2 0.013694 0.0083803 1.6341 0.12621
AGE 0.017022 0.0095247 1.7872 0.097235
BBB 0.0035843 0.0027645 1.2965 0.21733
CPF -0.014476 0.0036275 -3.9907 0.0015388
SPR 0.033047 0.031661 1.0438 0.31562
Number of observations: 19, Error degrees of freedom: 13
Root Mean Squared Error: 0.0696
R-squared: 0.731, Adjusted R-Squared: 0.627
F-statistic vs. constant model: 7.05, p-value = 0.00216
% Unrestricted loglikelihood of MAL12:
uLLOLS = MAL12.LogLikelihooduLLOLS = 27.3282
% Restricted loglikelihoods of M0, MAL1, and MAL2:
rLLOLS = [M0.LogLikelihood;MAL1.LogLikelihood;MAL2.LogLikelihood]rLLOLS = 3×1
27.0796
26.0606
27.2799
Это логарифмическая правдоподобность OLS, на основе остаточного ряда. Например, логарифмическая правдоподобность данных относительно M0 вычисляется с помощью:
resM0 = M0.Residuals.Raw; MSEM0 = M0.MSE; muM0 = mean(resM0); LLM0 = sum(log(normpdf(resM0,muM0,sqrt(MSEM0))))
LLM0 = 26.7243
Поскольку OLS, обязательно, не максимизирует вероятности, если предположениям CNLM не удовлетворяют, для ограничений пробела параметра модели возможно увеличить вероятности данных. Мы видим это для ограничений M0 и MAL2. Это предлагает, еще раз, ненормальный инновационный процесс.
Для сравнения рассмотрите меры на основе оценок наибольшего правдоподобия (MLEs) коэффициентов модели, с помощью arima функция. Мы подбираем модели ARMAX с AR нулевого порядка и технические требования MA (то есть, чистые модели регрессии):
% Prepare data: LLOLS = [uLLOLS;rLLOLS]; DataAL12 = table2array(DTAL12); y = DataAL12(:,7); X = DataAL12(:,1:6); PredCols = {1:6,3:6,[1,3:6],2:6}; ModelNames = {'MAL12','M0','MAL1','MAL2'}; % Compute MLEs: LLMLE = zeros(4,1); Mdl = arima(0,0,0); options = optimoptions(@fmincon,'Display','off','Diagnostics','off',... 'Algorithm','sqp','TolCon',1e-7); for model = 1:4 [~,~,LL] = estimate(Mdl,y,'X',X(:,PredCols{model}),... 'Display','off','Options',options); LLMLE(model) = LL; end % Display results: fprintf('\nLoglikelihoods\n')
Loglikelihoods
fprintf('\n%-8s%-9s%-9s','Model |','OLSLL','MLELL')
Model | OLSLL MLELL
fprintf(['\n',repmat('=',1,24)])
========================
for model = 1:4 fprintf(['\n%-6s','| ','%-9.4f%-9.4f'],... ModelNames{model},LLOLS(model),LLMLE(model)) end
MAL12 | 27.3282 27.3282 M0 | 27.0796 25.5052 MAL1 | 26.0606 25.5324 MAL2 | 27.2799 27.2799
В случае MLEs все ограниченные модели имеют уменьшаемую вероятность описания данных, как ожидалось. OLS и меры по MLE не соглашаются на модели самой большой вероятности с OLS выбор M0, и MLE выбор MAL12.
Являются значительными различия в вероятности? Для MLEs этот вопрос был традиционно обращен некоторой версией теста отношения правдоподобия (реализованный lratiotest), Вальдов тест (реализованный waldtest), или тест множителя Лагранжа (реализованный lmtest). Они обсуждены в примере Классические Тесты Misspecification Модели (тесты CMM). Геометрия сравнения для тестов CMM базируется, существенно, на оптимальности коэффициентов модели. Они не должны использоваться с вероятностями OLS, если нет доказательство, что предположениям CNLM удовлетворяют.
Как тесты F, тесты CMM только применимы к сравнениям вложенных моделей, которые являются ограничениями или расширениями друг друга. Это - типичная ситуация при оценке структур задержки. В отличие от тестов F, тесты CMM применимы к сравнениям, включающим нелинейные модели, нелинейные ограничения, и ненормальный (но полностью заданный) инновационные распределения. Это важно в определенных эконометрических настройках, но редко в выборе порядка задержки. Недостаток тестов CMM - то, что они присваивают значение смоделировать различия только асимптотически, и так должны использоваться с осторожностью в конечных выборках.
Например, тест отношения правдоподобия, наиболее прямая оценка различий в вероятности MLE, может использоваться, чтобы оценить соответствие различных ограничений:
% Restrictions of |MAL12| to |M0|, |MAL1|, and |MAL2|: dof = [2;1;1]; % Number of restrictions [hHist,pValue] = lratiotest(LLMLE(1),LLMLE(2:4),dof)
hHist = 3x1 logical array
0
0
0
pValue = 3×1
0.1615
0.0581
0.7561
% Restrictions of |MAL1| and |MAL2| to |M0|: dof = [1;1]; % Number of restrictions [hHist,pValue] = lratiotest(LLMLE(3:4),LLMLE(2),dof)
hHist = 2x1 logical array
0
0
pValue = 2×1
0.8154
0.0596
На 5%-м уровне значения по умолчанию тесту не удается отклонить пустую, ограниченную модель в пользу альтернативной, неограниченной модели во всех случаях. Таким образом, статистический случай для включения любой структуры задержки слаб. Исходная модель, M0, может быть выбран только по причинам бережливости модели.
Альтернатива тестам CMM является различными формами информационных критериев (IC). IC также рассматривает качество подгонки, измеренное вероятностями, но штрафует из-за отсутствия бережливости, измеренной количеством коэффициентов модели. Как с чистыми вероятностями, настроенные вероятности IC предоставляют родственнику, но не абсолюту, мере соответствия модели. Однако нет никаких обычно используемых тестов гипотезы, соответствуя тестам CMM, для оценки значения различий в IC. Основное преимущество, на практике, состоит в том, что IC может использоваться, чтобы сравнить невложенные модели, хотя это часто не важно при сравнении структур задержки.
Следующая таблица сравнивает два общих IC, AIC и BIC, вместе с эквивалентом OLS, настроенным :
AR2 = [MAL12.Rsquared.Adjusted; M0.Rsquared.Adjusted; ... MAL1.Rsquared.Adjusted; MAL2.Rsquared.Adjusted]; AIC = [MAL12.ModelCriterion.AIC; M0.ModelCriterion.AIC; ... MAL1.ModelCriterion.AIC; MAL2.ModelCriterion.AIC]; BIC = [MAL12.ModelCriterion.BIC; M0.ModelCriterion.BIC; ... MAL1.ModelCriterion.BIC; MAL2.ModelCriterion.BIC]; fprintf('\nSize-Adjusted Fit\n')
Size-Adjusted Fit
fprintf('\n%-8s%-7s%-9s%-9s','Model |','AR2','AIC','BIC')
Model | AR2 AIC BIC
fprintf(['\n',repmat('=',1,32)])
================================
for model = 1:4 fprintf(['\n%-6s','| ','%-7.4f','%-9.4f','%-9.4f'],... ModelNames{model},AR2(model),AIC(model),BIC(model)) end
MAL12 | 0.5979 -40.6563 -34.0452 M0 | 0.5264 -44.1593 -38.9367 MAL1 | 0.5028 -40.1213 -34.1469 MAL2 | 0.6269 -42.5598 -36.8932
При сравнении моделей, выше настроенных , и более низкий IC, укажите на лучший компромисс между подгонкой и уменьшаемыми степенями свободы. Результаты показывают настройку включению структуры задержки, когда оценено настроенным , но не, когда оценено IC. Этот вид разногласия весьма распространен, особенно с небольшими выборками, и далее предлагает сравнительное использование нескольких методов тестирования.
BIC, с его обычно более большими штрафами на дополнительных коэффициентах, имеет тенденцию выбирать более простые модели, хотя часто не столь простой как выбранные последовательным t и F, тестирующим со стандартными настройками. BIC имеет некоторые превосходящие свойства большой выборки, такой как являющийся асимптотически сопоставимым, но исследования Монте-Карло показали, что AIC может превзойти BIC по характеристикам в правильной идентификации DGP в маленьких выборках данных [6]. Альтернативная версия AIC, AICc, корректирует для небольших выборок и особенно полезна в этих ситуациях.
При попытке задать значительные но экономные структуры задержки в эконометрических моделях, часто используются две общих стратегии. Первое должно запуститься с маленькой модели, затем протестировать дополнительные задержки, пока их отдельное значение или объединенное значение целой структуры задержки, не опускается ниже уровня набора. Это представлено на рассмотрение, тестируя. В качестве альтернативы щедрая начальная структура задержки систематически обрезается, пока самая большая задержка или целая структура задержки, не становится значительной. Это раскритиковано, тестируя.
Тестирование запускается с экономного описания данных, таких как статическая модель с одновременными значениями соответствующих предикторов, но никаких динамических терминов. Это затем продолжает от определенного до генерала. Каждый шаг в процессе оценивает эффект добавления новой задержки, обычно с помощью некоторой комбинации тестов t, F тесты, тесты CMM или IC. Это останавливается при добавлении, что новая задержка становится незначительной на некотором предопределенном уровне. Это гарантирует, таким образом, что начальная бережливость модели обеспечена до некоторой степени.
Подтверждение бритвы Оккама и принципов научного метода, тестирование предлагают много преимуществ. Простые модели являются менее дорогостоящими, чтобы вычислить, легче интерпретировать и обнаружить misspecification, работать лучше с небольшими выборками, и более поддаются обобщению. Кроме того, они часто производят лучшие прогнозы [10].
Однако тестированию часто препятствуют для выбора порядка задержки и экономического моделирования в целом. Существует общий сценарий, где значительные задержки лежат за пределами первого незначительного, такой как с сезонными задержками. Автоматическое тестирование не обнаружит их. Кроме того, последовательное тестирование в присутствии не использованных переменных, которые еще не были добавлены к модели, создает смещение средства оценки и искажения тестовых размеров и степени, в конечном счете ведя к неправильным выводам. Не использованное переменное смещение обсуждено в IV Регрессии Временных рядов в качестве примера: Побочная Регрессия Регрессии и Временных рядов VIII: Изолированные Переменные и Смещение Средства оценки.
Как следствие тестирование вниз часто рекомендуется [9]. Эта стратегия начинается с модели, которая включает все потенциальные объясняющие переменные. Таким образом, это включает соединение предикторов с более или менее значением в объяснении изменения ответа. Это затем переходит от генерала к определенному (иногда названный GETS). Каждый шаг в процессе оценивает эффект удаления предиктора, с помощью тех же видов тестов, используемых для тестирования. Это останавливается, когда ограниченная модель достигает некоторого предопределенного уровня значения.
Существует несколько преимуществ для этого подхода. Если начальная структура модели и задержки является достаточно всесторонней, то все тестирование сделано, по крайней мере, в принципе, в отсутствие не использованного переменного смещения. Локализованные тесты, такие как тесты на самой большой задержке, могут привести к моделям, которые продолжают содержать соединение значительных и незначительных задержек, но поскольку они - весь подарок в модели, они могут быть исследованы на объединенное значение. Недостаток к этому подходу является отсутствием теоретического руководства или даже хорошими эвристическими советами, при выборе начального порядка задержки в различных ситуациях с моделированием.
Следующая таблица показывает p значения t статистики по коэффициентам изолированного AGE в структурах задержки порядка 1 - 5:
fprintf('\nt Statistic p Values\n')t Statistic p Values
fprintf('\n%-11s%-5s%-5s%-5s%-5s%-5s','Model |',... 'AL1','AL2','AL3','AL4','AL5')
Model | AL1 AL2 AL3 AL4 AL5
fprintf(['\n',repmat('=',1,35)])
===================================
for lag = 1:5 pVals = MAL{lag}.Coefficients.pValue(2:lag+1); fprintf(['\n%-9s','| ',repmat('%-5.2f',1,lag)],... MALName{lag},pVals(1:lag)) end
MAL1 | 0.34 MAL12 | 0.81 0.14 MAL123 | 0.77 0.45 0.44 MAL1234 | 0.55 0.76 0.55 0.30 MAL12345 | 0.88 0.91 0.19 0.14 0.29
На 15%-м уровне значения, тестируя от M0 не добавляют никакие задержки к модели, поскольку ей не удается отклонить нулевой коэффициент для AgeLag1 в первой протестированной модели, MAL1. На том же уровне, тестируя вниз из самой большой модели, последовательно оценивая значение самой большой задержки, MAL12 выбран, добавив две задержки в M0. Относительная значимость определенных задержек через различные структуры задержки подсвечивает риск автоматизации этих локализованных оценок.
F статистика добавляют полезную информацию об объединенном значении. F тесты на дополнительных задержках, относительно модели со всеми предыдущими задержками, эквивалентны тестам t, с теми же p значениями. Однако F тесты целой структуры задержки, относительно статической спецификации, может обеспечить подсказки значительных задержек до самой большой задержки. F отношения вычисляются coefTest метод LinearModel класс:
fprintf('\nF Statistic p Values\n')F Statistic p Values
fprintf('\n%-11s%-5s%-5s','Model |','Last','All')
Model | Last All
fprintf(['\n',repmat('=',1,20)])
====================
for lag = 1:5 % Sequential F test (last lag = 0): HSq = [zeros(1,lag),1,zeros(1,4)]; pSq = coefTest(MAL{lag},HSq); % Static F test (all lags = 0): HSt = [zeros(lag,1),eye(lag),zeros(lag,4)]; pSt = coefTest(MAL{lag},HSt); fprintf(['\n%-9s','| ','%-5.2f','%-5.2f'],MALName{lag},pSq,pSt) end
MAL1 | 0.34 0.34 MAL12 | 0.14 0.32 MAL123 | 0.44 0.65 MAL1234 | 0.30 0.74 MAL12345 | 0.29 0.54
Статистика F не может начать остановленную стратегию тестирования, но при тестировании вниз, они действительно приводят причину, чтобы пересмотреть самую большую модель, с ее относительно ниже p значение. Увеличенное значение AgeLag3 и AgeLag4 в MAL12345, обозначенный t статистической величиной p значения, повысьте объединенное значение той структуры задержки. Однако, старшая значащая полная структура задержки находится в MAL12, сопоставимый с тестированием вниз через t статистику.
Очевидно, исследования Монте-Карло показывают, что автоматизированный тестирующий стратегии будет часто под подгонкой, когда DGP является супермоделью, и тестирующий вниз будет аналогично сверхсоответствовать, когда DGP является подмоделью [14]. Производительность, в любом случае, улучшается путем систематической корректировки уровней значения с учетом различных степеней свободы. В общем случае однако статистические последствия исключения соответствующих задержек обычно рассматриваются более серьезными, чем включение несоответствующих задержек, и погрешности отклонения должны быть установлены соответственно.
На практике гибридные стратегии обычно предпочитаются, движущиеся предикторы в и из модели, пока некоторая мера подгонки не оптимизирована, и получена экономически разумная модель. Ступенчатая регрессия (описанный в Регрессии Временных рядов в качестве примера V: Выбор Предиктора), один способ автоматизировать этот подход. С современной вычислительной мощностью существует также возможность, в некоторых случаях, исчерпывающе оценить все модели уместности. Когда этот пример иллюстрирует, однако, автоматизация процедур отбора модели должна быть просмотрена с некоторым скептицизмом. Процесс является обязательно динамическим, тесты имеют различные степени уместности, и решения в конечном счете требуют некоторого фактора целей моделирования и экономической теории.
Из-за трудностей использования стандартных процедур тестирования в моделировании контекстов, где предположения CNLM нарушены, много специализированных способов были разработаны для использования с определенными типами модели. В некоторых случаях соответствующие порядки задержки могут быть определены только посредством анализа данных. Другие случаи требуют последовательной оценки и оценки области значений моделей кандидата.
Модели ARMA. Стационарные временные ряды часто представляются, теоретически, процессами MA бесконечного порядка [18]. Модели ARMA переводят эти представления в конечную, рациональную форму. Изолируйте порядки для AR, и компоненты MA модели должны быть выбраны вместе, чтобы достигнуть баланса между точностью и бережливостью модели. Стандартный метод идентификации [4], описанный в Выборе Модели Поля-Jenkins в качестве примера, исследует шаблоны в демонстрационных автокорреляционных функциях, чтобы определить относительную значимость структур задержки кандидата.
Модели ARDL. Много экономических переменных под влиянием внешних ведущих процессов, которые могут передать персистентные шоки для DGP. Теоретически, они представлены бесконечным порядком модели DL, но как с моделями ARMA, конечные, рациональные формы требуются для практической оценки. Стандартные методы, такие как предложенные Алмоном [1] и Koyck [13], присваивают веса структуре задержки таким способом, которым модель может быть преобразована в AR, ARMA или форму ARMAX. Методы являются более оперативными, чем управляемый данными, и удовлетворяющий проблемам коллинеарности, которые прибывают из работы со многими задержками предиктора в ближайшие времена. (См. Регрессию Временных рядов в качестве примера II: Коллинеарность и Отклонение Средства оценки.)
Модели GARCH. Модели GARCH обычно используются к шаблонам модели heteroscedasticity в инновационном процессе, особенно в финансовых приложениях. Как модели ARMA и ARDL, они комбинируют два типа задержек с порядками, которые должны быть сбалансированы соответственно. На практике существуют методы для преобразования моделей GARCH к форме ARMA [8], где методы Поля-Jenkins могут быть применены, но это редко делается на практике. Для большей части экономического и финансового ряда порядки задержки 1 и 1, кажется, служат хорошо.
Модульные Корневые Тесты. Модульный корень и тесты стационарности, такие как adftest и lmctest, используйте динамические модели тестового процесса и потребуйте, чтобы пользователи выбрали порядок задержки. Этот параметр неприятности может оказать значительное влияние на результаты испытаний. Потенциальное присутствие неустановившихся данных в этой установке подвергает сомнению использование стандарта t и тестов F. Однако Симс, Сток и Уотсон [17] показали, что они выравниваются по ширине, когда регрессия включает все детерминированные компоненты DGP.
Модели VAR. Модели VAR являются типовой, широко используемой формой для представления систем взаимодействующих экономических переменных. Они требуют, чтобы задержка приказала, чтобы получил соответствующую предысторию всех переменных в модели. Поскольку модели многомерны, затраты на оценку растут быстро с увеличивающимся порядком задержки, таким образом, экономная процедура отбора важна. Lütkepohl [15] обсуждает множество стратегий, большинство которых является многомерными обобщениями методов, представленных в этом примере.
Этот пример рассматривает общие стратегии выбора порядка задержки и излагает доводы для адаптации стратегий к отдельным наборам данных и моделей. Данные, рассмотренные здесь, являются немногими, и далекий от идеализаций асимптотического анализа. Также довольно возможно, что модель при исследовании может быть misspecified, соединив его собственную оценку. Однако эти препятствия довольно типичны в эконометрической практике. Без продуманного, "практического" приложения, ведомого некоторым смыслом экономической действительности, выбор порядка задержки представляет много возможностей для искаженного вывода, который может привести к плохому выполнению моделей. Знакомство с общими трудностями, однако, может помочь вести путь к более резким техническим требованиям.
Конечно, не всегда необходимо выбрать "лучшую" модель или порядок задержки. Часто, учитывая статистическую неопределенность, достаточно устранить большое подмножество очень маловероятных кандидатов, оставляя меньшее подмножество для последующего анализа и сбора данных. Стратегии этого примера служат той цели хорошо.
[1] Алмон, S. "Распределенная Задержка Между Прописными Ассигнованиями и Расходами". Econometrica. Издание 33, 1965, стр 178–196.
[2] Эндрюс, D. W. K. "Heteroskedasticity и Autocorrelation Consistent Covariance Matrix Estimation". Econometrica. Издание 59, 1991, стр 817–858.
[3] Эндрюс, D. W. K. и J. C. Моноханьцы. "Улучшенный Heteroskedasticity и Автокорреляция Сопоставимое Средство оценки Ковариационной матрицы". Econometrica. Издание 60, 1992, стр 953–966.
[4] Поле, Джордж Э. П., Гвилим М. Дженкинс и Грегори К. Рейнсель. Анализ Временных Рядов: Прогнозирование и Управление. 3-й редактор Englewood Cliffs, NJ: Prentice Hall, 1994.
[5] Banerjee, A. N. и Дж. Р. Магнус. "На Чувствительности Обычного t - и F - Тесты к Ковариации Misspecification". Журнал Эконометрики. Издание 95, 2000, стр 157–176.
[6] Бернэм, Кеннет П. и Дэвид Р. Андерсон. Выбор модели и Вывод Мультимодели: Практический Информационно-теоретический Подход. 2-й редактор, Нью-Йорк: Спрингер, 2002.
[7] Дэвидсон, R. и Э. Флашер. "Дикая Начальная загрузка, Прирученная наконец". Журнал Эконометрики. Издание 146, 2008, стр 162–169.
[8] Гамильтон, анализ временных рядов Джеймса Д. Принстон, NJ: Издательство Принстонского университета, 1994.
[9] Хендри, D. F. Эконометрика: алхимия или наука? Оксфорд: Издательство Оксфордского университета, 2001.
[10] Keuzenkamp, H. A. и М. Макэлир. "Простота, Научный Вывод и Экономическое Моделирование". Экономический Журнал. Издание 105, 1995, стр 1–21.
[11] Кифер, N. M. Т. Дж. Воджелсэнг и Х. Банзель. "Простое Устойчивое Тестирование Гипотез Регрессии". Econometrica. Издание 68, 2000, стр 695–714.
[12] Король, M. L. "Устойчивые Тесты для Сферической Симметрии и Их Приложения к Регрессии Наименьших квадратов". Летопись Статистики. Издание 8, 1980, стр 1265–1271.
[13] Koyck, L. M. Распределенные модели задержек и инвестиционный анализ. Амстердам: северная Голландия, 1954.
[14] Krolzig, H.-M., и Хендри, D.F. "Компьютерная Автоматизация Общих-к-специфичному Процедур отбора Модели". Журнал Economic Dynamics & Control. Издание 25, 2001, стр 831–866.
[15] Lütkepohl, Гельмут. Новое введение в несколько анализ временных рядов. Нью-Йорк, Нью-Йорк: Springer-Verlag, 2007.
[16] Цинь, H. и А. Т. К. Вань. "На Свойствах t - и F - Отношения в Линейных регрессиях с Ненормальными Ошибками". Эконометрическая Теория. Издание 20, № 4, 2004, стр 690–700.
[17] Симс, C., Запас, J. и Уотсон, M. "Заключите в Линейных Моделях Временных рядов с Некоторыми Модульными Корнями". Econometrica. Издание 58, 1990, стр 113–144.
[18] Пустошь, H. Исследование в анализе стационарных временных рядов. Упсала, Швеция: Almqvist & Wiksell, 1938.