Введение

Модели многофакторной линейной регрессии часто задаются с инновационным процессом, который, как известно, является или heteroscedastic или автокоррелируется (несферический). Если другие условия регулярности Классической линейной модели (CLM) продолжают содержать (см. Регрессию Временных рядов в качестве примера I: Линейные Модели), оценки обычных наименьших квадратов (OLS) коэффициентов регрессии остаются несмещенными, сопоставимыми, и, если инновации нормально распределены, асимптотически нормальны. Однако оценки более не эффективны относительно других средств оценки, и $$t$$ и $$F$$ тесты больше не действительны, даже асимптотически, потому что стандартные формулы для отклонения средства оценки становятся смещенными. В результате значение содействующих оценок OLS искажено (см. Регрессию Временных рядов в качестве примера VI: Остаточная Диагностика).

Обычное предписание для таких случаев должно повторно задать модель, выбрав альтернативные предикторы, чтобы минимизировать несферические характеристики в остаточных значениях. Однако это не всегда практично. Предикторы часто выбираются на основе теории, политики или доступных данных, и альтернативы могут быть ограничены. Изолированные предикторы, используемые с учетом автокорреляций, вводят дополнительные проблемы (см. Регрессию Временных рядов в качестве примера VIII: Изолированные Переменные и Смещение Средства оценки). Этот пример исследует два подхода, которые подтверждают присутствие nonsphericality и пересматривают процедуры оценки OLS соответственно.

Первый подход должен использовать heteroscedasticity и автокорреляцию сопоставимые оценки (HAC) стандартных погрешностей OLS. Содействующие оценки OLS неизменны, но тесты их значения становятся более надежными. Различные типы средств оценки HAC реализованы функцией Econometrics Toolbox hac.

Второй подход изменяет содействующие оценки OLS путем явного слияния информации об инновационной ковариационной матрице более общей формы, чем $${\sigma }^{2}I$$. Это известно как Обобщенные наименьшие квадраты (GLS), и для известной инновационной ковариационной матрицы, любой формы, они реализованы функцией Statistics and Machine Learning Toolbox™ lscov. К сожалению, форма инновационной ковариационной матрицы редко известна на практике. Тулбокс Эконометрики функционирует fgls реализует процедуру Выполнимых обобщенных наименьших квадратов (FGLS), которая оценивает инновационную ковариационную матрицу с помощью заданных моделей, прежде, чем применить GLS, чтобы получить коэффициенты регрессии и их стандартные погрешности.

Несферические инновации

Чтобы продемонстрировать, мы симулируем генерирующий данные процесс (DGP) с известными коэффициентами регрессии (1, 2, 3, 4), соединенный с известным несферическим инновационным процессом. Как типично с эконометрическими моделями, инновации включают определенную степень и heteroscedasticity и автокорреляции. Цель регрессионного анализа состоит в том, чтобы восстановить коэффициенты максимально точно из симулированных данных.

% Simulate data:
numObs = 50;         % Number of observations
rng(0);              % Reset random number generators
X = randn(numObs,3); % 3 random predictors

% Simulate innovations:
var = 0.1;     
phi = [0.5,0.3];  % Autocorrelation coefficients
e = simulate(arima('Constant',0,'AR',phi,'Variance',var),numObs);
e = X(:,1).*e; % Heteroscedasticity proportional to first predictor

% Simulate response:
b = [1;2;3;4]; % Regression coefficients, including intercept
y = [ones(numObs,1),X]*b + e;

% Store data:
DataTable = array2table([X,y],'VariableNames',{'X1','X2','X3','Y'});

Предикторы в симуляции не являются внешними к модели, поскольку инновации заданы как продукт первого предиктора и AR (2) процесс. Это обеспечивает одновременную некорреляцию между предикторами и инновациями (никакие линейные отношения между ними), но отклонения коррелируются.

Оценки OLS

Мы сначала оцениваем коэффициенты и стандартные погрешности с помощью формул OLS на основе предположений CLM:

OLSModel = fitlm(DataTable)

OLSModel = 
Linear regression model:
    Y ~ 1 + X1 + X2 + X3

Estimated Coefficients:
                   Estimate       SE       tStat       pValue  
                   ________    ________    ______    __________

    (Intercept)      1.016      0.05289     19.21    1.3187e-23
    X1              1.9171     0.041097    46.649    2.1891e-40
    X2              3.0239     0.050195    60.243    2.0541e-45
    X3               4.022     0.047813     84.12     5.044e-52


Number of observations: 50, Error degrees of freedom: 46
Root Mean Squared Error: 0.359
R-squared: 0.997,  Adjusted R-Squared: 0.996
F-statistic vs. constant model: 4.38e+03, p-value = 1.62e-56

Оценки OLS аппроксимируют коэффициенты в DGP, и $$t$$ статистические данные, кажется, являются очень значительными.

Остаточный ряд, однако, отображения и heteroscedasticity и автокорреляция (который, в симуляции только, может быть сравнен непосредственно с инновациями):

res = OLSModel.Residuals.Raw;

figure
hold on
plot(e,'bo-','LineWidth',2)
plot(res,'mo-','LineWidth',2)
hold off
legend({'Innovations','OLS Residuals'})
title('{\bf Nonspherical Innovations}')
grid on

Оценки HAC

Средства оценки HAC спроектированы, чтобы откорректировать для смещения в вычислении стандартной погрешности OLS, введенном несферическими инновациями, и тем самым обеспечить более устойчивую установку для вывода относительно значения коэффициентов OLS. Преимущество средств оценки HAC состоит в том, что они не требуют детального знания природы heteroscedasticity или автокорреляции в инновациях для того, чтобы вычислить сопоставимые оценки стандартных погрешностей.

Оценки HAC с помощью ядра квадратичного спектрального (QS) достигают оптимального уровня непротиворечивости [1]:

hac(DataTable,'weights','QS','display','full');

Estimator type: HAC
Estimation method: QS
Bandwidth: 2.9266
Whitening order: 0
Effective sample size: 50
Small sample correction: on

Coefficient Estimates:

       |  Coeff    SE   
------------------------
 Const | 1.0160  0.0466 
 X1    | 1.9171  0.0628 
 X2    | 3.0239  0.0569 
 X3    | 4.0220  0.0296 

Coefficient Covariances:

       |  Const      X1       X2       X3   
--------------------------------------------
 Const |  0.0022   0.0007  -0.0005  -0.0004 
 X1    |  0.0007   0.0039  -0.0011  -0.0002 
 X2    | -0.0005  -0.0011   0.0032   0.0004 
 X3    | -0.0004  -0.0002   0.0004   0.0009 

Размер стандартных погрешностей, и таким образом, надежность содействующих оценок OLS, изменяется относительно вычисления OLS, выше. Несмотря на то, что положительные автокорреляции, типичные в экономических данных, имеют тенденцию производить нисходящее смещение в стандартных погрешностях OLS, эффект может быть затенен в конечных выборках, и присутствием heteroscedasticity. Здесь, часть увеличения стандартных погрешностей оценок HAC, и другие уменьшается.

Существует много моделей heteroscedasticity и автокорреляции, встроенной в hac среда. Полный анализ надежности содействующих стандартных погрешностей включил бы использование нескольких моделей с различными настройками для связанных параметров. Смотрите, например, [1].

[1] рекомендует предварительно белить средства оценки HAC, чтобы уменьшать смещение. Процедура имеет тенденцию увеличивать отклонение средства оценки и среднеквадратическую ошибку, но может улучшить вероятности покрытия доверительного интервала и уменьшать сверхотклонение $$t$$ статистика. Процедура реализована через 'whiten' параметр hac, но это включает "параметр неприятности" (порядок модели VAR), который должен быть привлечен по делу о чувствительности:

for order = 0:3
    [~,se] = hac(DataTable,'weights','QS','whiten',order,'display','off')
end

se = 4×1

    0.0466
    0.0628
    0.0569
    0.0296

se = 4×1

    0.0553
    0.0801
    0.0612
    0.0347

se = 4×1

    0.1082
    0.1486
    0.1795
    0.0390

se = 4×1

    0.1153
    0.1337
    0.1827
    0.0361

Модель с 0 порядками обходит фильтр перед отбеливанием, чтобы обеспечить те же результаты как прежде. Расширение и сжатие интервалов стандартной погрешности в различных порядках отбеливания иллюстрируют практические трудности настройки, и интерпретации, процедуры.

Оценки FGLS

Альтернатива средствам оценки HAC является средствами оценки FGLS (также известный как Предполагаемый GLS, или EGLS, средства оценки), для обоих коэффициентов регрессии и их стандартных погрешностей. Эти средства оценки используют пересмотренные формулы, которые явным образом включают инновационную ковариационную матрицу. Трудность использования средств оценки FGLS, на практике, обеспечивает точную оценку ковариации. Снова, различные модели используются и оцениваются от остаточного ряда, но числовая чувствительность часто обеспечивает проблемы.

Первый шаг в идентификации соответствующей модели ковариации должен исследовать остаточный ряд от начальной регрессии OLS. Исследования этого типа обеспечиваются в Регрессии Временных рядов в качестве примера VI: Остаточная Диагностика. На основе очевидного heteroscedasticity в графике необработанных остаточных значений, выше, диагональная модель ковариации, таких как 'HC1' опция для 'innovModel' параметр в fgls, разумный выбор:

fgls(DataTable,'innovMdl','HC1','display','final');

OLS Estimates:

       |  Coeff    SE   
------------------------
 Const | 1.0160  0.0529 
 X1    | 1.9171  0.0411 
 X2    | 3.0239  0.0502 
 X3    | 4.0220  0.0478 

FGLS Estimates:

       |  Coeff    SE   
------------------------
 Const | 1.0117  0.0068 
 X1    | 1.9166  0.0062 
 X2    | 3.0256  0.0072 
 X3    | 4.0170  0.0067 

Содействующие оценки похожи на тех для OLS, но стандартные погрешности значительно уменьшаются.

Чтобы рассмотреть эффекты автокорреляции в остаточных значениях и идентифицировать соответствующий порядок задержки для модели AR ковариации, графики автокорреляции полезны:

figure
subplot(2,1,1)
autocorr(res)
subplot(2,1,2)
parcorr(res)

Графики не приводят доказательства значительной автокорреляции. Как прежде, автокорреляция, кажется, затенена heteroscedasticity. Тесты гипотезы, такие как Q-тест Ljung-поля, одинаково неэффективны в обнаружении автокорреляции в DGP. Эта ситуация типична на практике и указывает на трудность определения точной модели инновационной ковариации.

Авторегрессивные модели ковариации используют 'AR' опция для 'innovModel' параметр в fgls. Без доказательства определенного порядка задержки для модели, однако, это включает выбор другого "параметра неприятности":

numLags = 5; % Consider models with up to this many AR lags.
numCoeffs = 4;
coeffs = zeros(numLags,numCoeffs);
ses = zeros(numLags,numCoeffs);
for lag = 1:numLags
    [coeff,se] = fgls(DataTable,'innovMdl','AR','arLags',lag);
    coeffs(lag,:) = coeff';
    ses(lag,:) = se';
end

figure
plot(coeffs,'o-','LineWidth',2)
set(gca,'XTick',1:numLags)
xlabel('AR Lag')
legend({'Const','X1','X2','X3'})
title('{\bf Coefficients}')
grid on

figure
plot(ses,'o-','LineWidth',2)
set(gca,'XTick',1:numLags)
xlabel('AR Lag')
legend({'Const','X1','X2','X3'})
title('{\bf Standard Errors}')
grid on

Графики показывают, что мало эффекта на оценках через модель AR области значений заказывает только со стандартной погрешностью оценки точки пересечения, изменяющейся значительно.

Оценка FGLS часто выполняется с помощью итераций, путем перевычисления остаточных значений, и таким образом, оценка ковариации, на каждом шаге. Асимптотические распределения средств оценки FGLS неизменны после первой итерации, но эффект на конечных демонстрационных распределениях намного менее изучен. numIter параметр в fgls функция обеспечивает механизм для исследования поведения выполненных с помощью итераций оценок FGLS в конкретных случаях:

fgls(DataTable,'numIter',5,'plot',{'coeff','se'});

В этом случае модель AR (1) по умолчанию выполнена с помощью итераций пять раз. Оценки сходятся всего после нескольких итераций.

Оценки FGLS смещаются, но сопоставимы, и асимптотически более эффективные, чем оценки OLS, когда предикторы слабо зависят и строго внешние. Без exogeneity предикторов, однако, FGLS более не сопоставим, в целом (и так не эффективный). Для типа non-exogeneity, представленного в симуляции, нет никакого вреда непротиворечивости средства оценки.

Средства оценки FGLS имеют долгую историю в эконометрике. Рано вычислительные методы, как процедура Кокрейна-Оркатта и ее варианты (Prais-Winsten, Hatanaka, Hildreth-лютеций, и т.д.), используемые методы OLS, чтобы оценить параметры в моделях ковариации (обычно, AR (1) или AR (2)). Современные средства оценки FGLS, такие как fgls, используйте асимптотически более эффективный метод оценки наибольшего правдоподобия (MLE), чтобы вычислить параметры модели, но общий подход является тем же самым.

Сводные данные

Когда модель регрессии является "misspecified" относительно предположений CLM, и остаточный ряд предоставляет несферическое поведение, HAC и средства оценки FGLS могут быть полезными инструментами в оценке надежности коэффициентов модели. Как этот пример демонстрирует, никакой подход не без его ограничений в конечных выборках. Полезно помнить, что средства оценки FGLS требуют строго внешних регрессоров и определенных моделей инновационной ковариации, для того, чтобы обеспечить надежные результаты. Средства оценки HAC требуют намного меньшей начальной диагностической информации, но часто обеспечивают сравнительно уменьшаемую точность. В общем случае как в большинстве эконометрических исследований, несколько методов должны использоваться в качестве части более всеобъемлющего обзора чувствительности средства оценки. hac и fgls интерфейсы в Econometrics Toolbox служат гибкими основами для проведения этих расследований.