В этом примере показано, как оценить модели многофакторной линейной регрессии данных временных рядов в присутствии heteroscedastic или автокоррелировал (несферические) инновации. Это является десятым в серии примеров на регрессии временных рядов, после представления в предыдущих примерах.
Модели многофакторной линейной регрессии часто задаются с инновационным процессом, который, как известно, является или heteroscedastic или автокоррелируется (несферический). Если другие условия регулярности Классической линейной модели (CLM) продолжают содержать (см. Регрессию Временных рядов в качестве примера I: Линейные Модели), оценки обычных наименьших квадратов (OLS) коэффициентов регрессии остаются несмещенными, сопоставимыми, и, если инновации нормально распределены, асимптотически нормальны. Однако оценки более не эффективны относительно других средств оценки, и и тесты больше не действительны, даже асимптотически, потому что стандартные формулы для отклонения средства оценки становятся смещенными. В результате значение содействующих оценок OLS искажено (см. Регрессию Временных рядов в качестве примера VI: Остаточная Диагностика).
Обычное предписание для таких случаев должно повторно задать модель, выбрав альтернативные предикторы, чтобы минимизировать несферические характеристики в остаточных значениях. Однако это не всегда практично. Предикторы часто выбираются на основе теории, политики или доступных данных, и альтернативы могут быть ограничены. Изолированные предикторы, используемые с учетом автокорреляций, вводят дополнительные проблемы (см. Регрессию Временных рядов в качестве примера VIII: Изолированные Переменные и Смещение Средства оценки). Этот пример исследует два подхода, которые подтверждают присутствие nonsphericality и пересматривают процедуры оценки OLS соответственно.
Первый подход должен использовать heteroscedasticity и автокорреляцию сопоставимые оценки (HAC) стандартных погрешностей OLS. Содействующие оценки OLS неизменны, но тесты их значения становятся более надежными. Различные типы средств оценки HAC реализованы функцией Econometrics Toolbox hac
.
Второй подход изменяет содействующие оценки OLS путем явного слияния информации об инновационной ковариационной матрице более общей формы, чем . Это известно как Обобщенные наименьшие квадраты (GLS), и для известной инновационной ковариационной матрицы, любой формы, они реализованы функцией Statistics and Machine Learning Toolbox™ lscov
. К сожалению, форма инновационной ковариационной матрицы редко известна на практике. Тулбокс Эконометрики функционирует fgls
реализует процедуру Выполнимых обобщенных наименьших квадратов (FGLS), которая оценивает инновационную ковариационную матрицу с помощью заданных моделей, прежде, чем применить GLS, чтобы получить коэффициенты регрессии и их стандартные погрешности.
Чтобы продемонстрировать, мы симулируем генерирующий данные процесс (DGP) с известными коэффициентами регрессии (1, 2, 3, 4), соединенный с известным несферическим инновационным процессом. Как типично с эконометрическими моделями, инновации включают определенную степень и heteroscedasticity и автокорреляции. Цель регрессионного анализа состоит в том, чтобы восстановить коэффициенты максимально точно из симулированных данных.
% Simulate data: numObs = 50; % Number of observations rng(0); % Reset random number generators X = randn(numObs,3); % 3 random predictors % Simulate innovations: var = 0.1; phi = [0.5,0.3]; % Autocorrelation coefficients e = simulate(arima('Constant',0,'AR',phi,'Variance',var),numObs); e = X(:,1).*e; % Heteroscedasticity proportional to first predictor % Simulate response: b = [1;2;3;4]; % Regression coefficients, including intercept y = [ones(numObs,1),X]*b + e; % Store data: DataTable = array2table([X,y],'VariableNames',{'X1','X2','X3','Y'});
Предикторы в симуляции не являются внешними к модели, поскольку инновации заданы как продукт первого предиктора и AR (2) процесс. Это обеспечивает одновременную некорреляцию между предикторами и инновациями (никакие линейные отношения между ними), но отклонения коррелируются.
Мы сначала оцениваем коэффициенты и стандартные погрешности с помощью формул OLS на основе предположений CLM:
OLSModel = fitlm(DataTable)
OLSModel = Linear regression model: Y ~ 1 + X1 + X2 + X3 Estimated Coefficients: Estimate SE tStat pValue ________ ________ ______ __________ (Intercept) 1.016 0.05289 19.21 1.3187e-23 X1 1.9171 0.041097 46.649 2.1891e-40 X2 3.0239 0.050195 60.243 2.0541e-45 X3 4.022 0.047813 84.12 5.044e-52 Number of observations: 50, Error degrees of freedom: 46 Root Mean Squared Error: 0.359 R-squared: 0.997, Adjusted R-Squared: 0.996 F-statistic vs. constant model: 4.38e+03, p-value = 1.62e-56
Оценки OLS аппроксимируют коэффициенты в DGP, и статистические данные, кажется, являются очень значительными.
Остаточный ряд, однако, отображения и heteroscedasticity и автокорреляция (который, в симуляции только, может быть сравнен непосредственно с инновациями):
res = OLSModel.Residuals.Raw; figure hold on plot(e,'bo-','LineWidth',2) plot(res,'mo-','LineWidth',2) hold off legend({'Innovations','OLS Residuals'}) title('{\bf Nonspherical Innovations}') grid on
Средства оценки HAC спроектированы, чтобы откорректировать для смещения в вычислении стандартной погрешности OLS, введенном несферическими инновациями, и тем самым обеспечить более устойчивую установку для вывода относительно значения коэффициентов OLS. Преимущество средств оценки HAC состоит в том, что они не требуют детального знания природы heteroscedasticity или автокорреляции в инновациях для того, чтобы вычислить сопоставимые оценки стандартных погрешностей.
Оценки HAC с помощью ядра квадратичного спектрального (QS) достигают оптимального уровня непротиворечивости [1]:
hac(DataTable,'weights','QS','display','full');
Estimator type: HAC Estimation method: QS Bandwidth: 2.9266 Whitening order: 0 Effective sample size: 50 Small sample correction: on Coefficient Estimates: | Coeff SE ------------------------ Const | 1.0160 0.0466 X1 | 1.9171 0.0628 X2 | 3.0239 0.0569 X3 | 4.0220 0.0296 Coefficient Covariances: | Const X1 X2 X3 -------------------------------------------- Const | 0.0022 0.0007 -0.0005 -0.0004 X1 | 0.0007 0.0039 -0.0011 -0.0002 X2 | -0.0005 -0.0011 0.0032 0.0004 X3 | -0.0004 -0.0002 0.0004 0.0009
Размер стандартных погрешностей, и таким образом, надежность содействующих оценок OLS, изменяется относительно вычисления OLS, выше. Несмотря на то, что положительные автокорреляции, типичные в экономических данных, имеют тенденцию производить нисходящее смещение в стандартных погрешностях OLS, эффект может быть затенен в конечных выборках, и присутствием heteroscedasticity. Здесь, часть увеличения стандартных погрешностей оценок HAC, и другие уменьшается.
Существует много моделей heteroscedasticity и автокорреляции, встроенной в hac
среда. Полный анализ надежности содействующих стандартных погрешностей включил бы использование нескольких моделей с различными настройками для связанных параметров. Смотрите, например, [1].
[1] рекомендует предварительно белить средства оценки HAC, чтобы уменьшать смещение. Процедура имеет тенденцию увеличивать отклонение средства оценки и среднеквадратическую ошибку, но может улучшить вероятности покрытия доверительного интервала и уменьшать сверхотклонение статистика. Процедура реализована через 'whiten'
параметр hac
, но это включает "параметр неприятности" (порядок модели VAR), который должен быть привлечен по делу о чувствительности:
for order = 0:3 [~,se] = hac(DataTable,'weights','QS','whiten',order,'display','off') end
se = 4×1
0.0466
0.0628
0.0569
0.0296
se = 4×1
0.0553
0.0801
0.0612
0.0347
se = 4×1
0.1082
0.1486
0.1795
0.0390
se = 4×1
0.1153
0.1337
0.1827
0.0361
Модель с 0 порядками обходит фильтр перед отбеливанием, чтобы обеспечить те же результаты как прежде. Расширение и сжатие интервалов стандартной погрешности в различных порядках отбеливания иллюстрируют практические трудности настройки, и интерпретации, процедуры.
Альтернатива средствам оценки HAC является средствами оценки FGLS (также известный как Предполагаемый GLS, или EGLS, средства оценки), для обоих коэффициентов регрессии и их стандартных погрешностей. Эти средства оценки используют пересмотренные формулы, которые явным образом включают инновационную ковариационную матрицу. Трудность использования средств оценки FGLS, на практике, обеспечивает точную оценку ковариации. Снова, различные модели используются и оцениваются от остаточного ряда, но числовая чувствительность часто обеспечивает проблемы.
Первый шаг в идентификации соответствующей модели ковариации должен исследовать остаточный ряд от начальной регрессии OLS. Исследования этого типа обеспечиваются в Регрессии Временных рядов в качестве примера VI: Остаточная Диагностика. На основе очевидного heteroscedasticity в графике необработанных остаточных значений, выше, диагональная модель ковариации, таких как 'HC1'
опция для 'innovModel'
параметр в fgls
, разумный выбор:
fgls(DataTable,'innovMdl','HC1','display','final');
OLS Estimates: | Coeff SE ------------------------ Const | 1.0160 0.0529 X1 | 1.9171 0.0411 X2 | 3.0239 0.0502 X3 | 4.0220 0.0478 FGLS Estimates: | Coeff SE ------------------------ Const | 1.0117 0.0068 X1 | 1.9166 0.0062 X2 | 3.0256 0.0072 X3 | 4.0170 0.0067
Содействующие оценки похожи на тех для OLS, но стандартные погрешности значительно уменьшаются.
Чтобы рассмотреть эффекты автокорреляции в остаточных значениях и идентифицировать соответствующий порядок задержки для модели AR ковариации, графики автокорреляции полезны:
figure subplot(2,1,1) autocorr(res) subplot(2,1,2) parcorr(res)
Графики не приводят доказательства значительной автокорреляции. Как прежде, автокорреляция, кажется, затенена heteroscedasticity. Тесты гипотезы, такие как Q-тест Ljung-поля, одинаково неэффективны в обнаружении автокорреляции в DGP. Эта ситуация типична на практике и указывает на трудность определения точной модели инновационной ковариации.
Авторегрессивные модели ковариации используют 'AR'
опция для 'innovModel'
параметр в fgls
. Без доказательства определенного порядка задержки для модели, однако, это включает выбор другого "параметра неприятности":
numLags = 5; % Consider models with up to this many AR lags. numCoeffs = 4; coeffs = zeros(numLags,numCoeffs); ses = zeros(numLags,numCoeffs); for lag = 1:numLags [coeff,se] = fgls(DataTable,'innovMdl','AR','arLags',lag); coeffs(lag,:) = coeff'; ses(lag,:) = se'; end figure plot(coeffs,'o-','LineWidth',2) set(gca,'XTick',1:numLags) xlabel('AR Lag') legend({'Const','X1','X2','X3'}) title('{\bf Coefficients}') grid on
figure plot(ses,'o-','LineWidth',2) set(gca,'XTick',1:numLags) xlabel('AR Lag') legend({'Const','X1','X2','X3'}) title('{\bf Standard Errors}') grid on
Графики показывают, что мало эффекта на оценках через модель AR области значений заказывает только со стандартной погрешностью оценки прерывания, изменяющейся значительно.
Оценка FGLS часто выполняется с помощью итераций, путем перевычисления остаточных значений, и таким образом, оценка ковариации, на каждом шаге. Асимптотические распределения средств оценки FGLS неизменны после первой итерации, но эффект на конечных демонстрационных распределениях намного менее изучен. numIter
параметр в fgls
функция обеспечивает механизм для исследования поведения выполненных с помощью итераций оценок FGLS в конкретных случаях:
fgls(DataTable,'numIter',5,'plot',{'coeff','se'});
В этом случае модель AR (1) по умолчанию выполнена с помощью итераций пять раз. Оценки сходятся всего после нескольких итераций.
Оценки FGLS смещаются, но сопоставимы, и асимптотически более эффективные, чем оценки OLS, когда предикторы слабо зависят и строго внешние. Без exogeneity предикторов, однако, FGLS более не сопоставим, в целом (и так не эффективный). Для типа non-exogeneity, представленного в симуляции, нет никакого вреда непротиворечивости средства оценки.
Средства оценки FGLS имеют долгую историю в эконометрике. Рано вычислительные методы, как процедура Кокрейна-Оркатта и ее варианты (Prais-Winsten, Hatanaka, Hildreth-лютеций, и т.д.), используемые методы OLS, чтобы оценить параметры в моделях ковариации (обычно, AR (1) или AR (2)). Современные средства оценки FGLS, такие как fgls
, используйте асимптотически более эффективный метод оценки наибольшего правдоподобия (MLE), чтобы вычислить параметры модели, но общий подход является тем же самым.
Когда модель регрессии является "misspecified" относительно предположений CLM, и остаточный ряд предоставляет несферическое поведение, HAC и средства оценки FGLS могут быть полезными инструментами в оценке надежности коэффициентов модели. Как этот пример демонстрирует, никакой подход не без его ограничений в конечных выборках. Полезно помнить, что средства оценки FGLS требуют строго внешних регрессоров и определенных моделей инновационной ковариации, для того, чтобы обеспечить надежные результаты. Средства оценки HAC требуют намного меньшей начальной диагностической информации, но часто обеспечивают сравнительно уменьшаемую точность. В общем случае как в большинстве эконометрических исследований, несколько методов должны использоваться в качестве части более всеобъемлющего обзора чувствительности средства оценки. hac
и fgls
интерфейсы в Econometrics Toolbox служат гибкими основами для проведения этих расследований.
[1] Эндрюс, D. W. K. "Heteroskedasticity и Autocorrelation Consistent Covariance Matrix Estimation". Econometrica. Издание 59, 1991, стр 817–858.
[2] Эндрюс, D. W. K. и J. C. Моноханьцы. "Улучшенный Heteroskedasticity и Автокорреляция Сопоставимое Средство оценки Ковариационной матрицы". Econometrica. Издание 60, 1992, стр 953–966.
[3] Поле, Джордж Э. П., Гвилим М. Дженкинс и Грегори К. Рейнсель. Анализ Временных Рядов: Прогнозирование и Управление. 3-й редактор Englewood Cliffs, NJ: Prentice Hall, 1994.
[4] Дэвидсон, R. и Дж. Г. Маккиннон. Эконометрическая теория и методы. Оксфорд, Великобритания: Издательство Оксфордского университета, 2004.
[5] Грин, Уильям. H. Эконометрический Анализ. 6-й редактор Верхний Сэддл-Ривер, NJ: Prentice Hall, 2008.
[6] Гамильтон, Джеймс. D. Анализ Временных Рядов. Принстон, NJ: Издательство Принстонского университета, 1994.
[7] Судья, Г. Г., В. Э. Гриффитс, Р. К. Хилл, H. Lϋtkepohl и Т. К. Ли. Теория и практика эконометрики. Нью-Йорк, Нью-Йорк: John Wiley & Sons, Inc., 1985.