Регрессия временных рядов VIII: изолированные переменные и смещение средства оценки

Скрипт Open Live Script

В этом примере показано, как изолированные предикторы влияют на оценку наименьших квадратов моделей многофакторной линейной регрессии. Это является восьмым в серии примеров на регрессии временных рядов, после представления в предыдущих примерах.

Введение

Много эконометрических моделей являются динамическими, с помощью изолированных переменных, чтобы включать обратную связь в зависимости от времени. В отличие от этого, статические модели временных рядов представляют системы, которые исключительно отвечают на текущие события.

Изолированные переменные прибывают в несколько типов:

Переменные Распределенной задержки (DL) являются изолированными значениями $x_{t - k}$ из наблюдаемых внешних переменных предикторов $x_{t}$ .
Авторегрессивные переменные (AR) являются изолированными значениями $y_{t - k}$ из наблюдаемых эндогенных переменных отклика $y_{t}$ .
Переменные Скользящего среднего значения (MA) являются изолированными значениями $e_{t - k}$ из ненаблюдаемых стохастических инновационных процессов $e_{t}$ .

Динамические модели часто создаются с помощью линейных комбинаций различных типов изолированных переменных, чтобы создать ARMA, ARDL и другие гибриды. Цель моделирования, в каждом случае, состоит в том, чтобы отразить важные взаимодействия среди соответствующих экономических факторов, точно и кратко.

В технических требованиях динамической модели задается вопрос: Какие задержки важны? Некоторые модели, такие как сезонные модели, используют задержки в отличные периоды в данных. Другие модели основывают свою структуру задержки на теоретических факторах того, как, и когда, экономические агенты реагируют на изменяющиеся условия. В общем случае отстаньте, структуры идентифицируют задержку ответа на известные ведущие индикаторы.

Однако отстаньте, структуры должны сделать, больше, чем только представляют доступную теорию. Поскольку динамические технические требования производят взаимодействия среди переменных, которые могут влиять на стандартные методы регрессии, структуры задержки должны также быть спроектированы с точной оценкой модели в памяти.

Проблемы спецификации

Рассмотрите модель многофакторной линейной регрессии (MLR):

$y_{t} = Z_{t} β + e_{t},$

где $y_{t}$ наблюдаемый ответ, $Z_{t}$ включает столбцы для каждого потенциально соответствующего переменного предиктора, включая изолированные переменные, и $e_{t}$ стохастический инновационный процесс. Точность оценки коэффициентов в $β$ зависит от составляющих столбцов $Z_{t}$ , а также совместное распределение $e_{t}$ . Выбор предикторов для $Z_{t}$ это и статистически и экономически значительно, обычно включает циклы оценки, остаточного анализа и respecification.

Предположения классической линейной модели (CLM), обсужденные в Регрессии Временных рядов в качестве примера I: Линейные Модели, позвольте обычным наименьшим квадратам (OLS) производить оценки $β$ с желательными свойствами: несмещенный, сопоставимый, и эффективный относительно других средств оценки. Изолированные предикторы в $Z_{t}$ , однако, может ввести нарушения предположений CLM. Определенные нарушения зависят от типов изолированных переменных в модели, но присутствие динамических механизмов обратной связи, в целом, имеет тенденцию преувеличивать проблемы, сопоставленные со статическими техническими требованиями.

Вопросы спецификации модели обычно обсуждаются относительно генерирующего данные процесса (DGP) для переменной отклика $y_{t}$ . Практически, однако, DGP является теоретическим построением, понятым только в симуляции. Никакая модель никогда не получает реальную динамику полностью и коэффициенты модели в $β$ всегда подмножество тех в истинном DGP. В результате инновации в $e_{t}$ станьте соединением свойственной стохастичности процесса и потенциально большого количества не использованных переменных (OVs). Автокорреляции в $e_{t}$ распространены в эконометрических моделях, где OVs показывают персистентность в зависимости от времени. Вместо того, чтобы сравнивать модель с теоретическим DGP, это более практично, чтобы оценить или, или до какой степени, движущие силы в данных отличили от автокорреляций в остаточных значениях.

Первоначально, отстаньте, структуры могут включать наблюдения за экономическими факторами в нескольких, ближайших временах. Однако наблюдения во время t, вероятно, будут время от времени коррелироваться с наблюдениями t - 1, t - 2, и т.д, через экономическую инерцию. Таким образом структура задержки может чрезмерно определить динамику ответа включением последовательности изолированных предикторов только с крайними вкладами в DGP. Спецификация преувеличит эффекты прошлого и не введет соответствующие ограничения для модели. Расширенные структуры задержки также требуют расширенных преддемонстрационных данных, уменьшая объем выборки и уменьшая количество степеней свободы в процедурах оценки. Следовательно, чрезмерно определенные модели могут показать объявленные проблемы коллинеарности и высокого отклонения средства оценки. Получившиеся оценки $β$ имейте низкую точность, и становится трудным разделить отдельные эффекты.

Чтобы уменьшать зависимости от предиктора, структуры задержки могут быть ограничены. Если ограничения слишком серьезны, однако, другие проблемы оценки возникают. Ограниченная структура задержки может underspecify динамика ответа исключением предикторов, которые являются на самом деле значительной частью DGP. Это приводит к модели, которая недооценивает эффекты прошлого, обеспечивая значительные предикторы в инновационный процесс. Если изолированные предикторы в $e_{t}$ коррелируются с ближайшими изолированными предикторами в $Z_{t}$ , предположение CLM о строгом exogeneity регрессоров нарушено, и оценки OLS $β$ станьте смещенными и противоречивыми.

Конкретные вопросы сопоставлены с различными типами изолированных предикторов.

Изолированные внешние предикторы $x_{t - k}$ , собой не нарушайте предположения CLM. Однако модели DL часто описываются, по крайней мере, первоначально, длинной последовательностью потенциально соответствующих задержек, и тем самым пострадайте от проблем упомянутой выше сверхспецификации. Распространенный, если несколько оперативно, методы для того, чтобы ввести ограничения для весов задержки (то есть, коэффициенты в $β$ ) обсуждены в Регрессии Временных рядов в качестве примера IX: Изолируйте Выбор Порядка. В принципе, однако, анализ модели DL параллелен анализу статической модели. Проблемы оценки, связанные с коллинеарностью, влиятельными наблюдениями, побочной регрессией, автокоррелируемыми или heteroscedastic инновациями, и т.д. должны все еще быть исследованы.

Изолированные эндогенные предикторы $y_{t - k}$ более проблематичны. Модели AR вводят нарушения предположений CLM, которые приводят к смещенным оценкам OLS $β$ . Отсутствующий любые другие нарушения CLM, оценки, тем не менее, сопоставимы и относительно эффективны. Рассмотрите простую авторегрессию первого порядка $y_{t}$ on $y_{t - 1}$ :

$y_{t} = β y_{t - 1} + e_{t} .$

В этой модели, $y_{t}$ определяется обоими $y_{t - 1}$ и $e_{t}$ . Перемещение уравнения назад один шаг за один раз, $y_{t - 1}$ определяется обоими $y_{t - 2}$ и $e_{t - 1}$ , $y_{t - 2}$ определяется обоими $y_{t - 3}$ и $e_{t - 2}$ , и т.д. Transitively, предиктор $y_{t - 1}$ коррелируется с целой предыдущей историей инновационного процесса. Так же, как с underspecification, предположение CLM о строгом exogeneity нарушено, и оценки OLS $β$ станьте смещенными. Поскольку $β$ должен поглотить эффекты каждого $e_{t - k}$ , остаточные значения модели больше не представляют истинные инновации [10].

Проблема усугублена, когда инновации в модели AR автокоррелируются. Как обсуждено в Регрессии Временных рядов в качестве примера VI: Остаточная Диагностика, автокоррелируемые инновации в отсутствие других нарушений CLM производят несмещенный, если потенциально высокое отклонение, оценки OLS коэффициентов модели. Главное осложнение, в этом случае, состоит в том, что обычное средство оценки для стандартных погрешностей коэффициентов становится смещенным. (Эффекты heteroscedastic инноваций подобны, хотя обычно менее явный.), Если, однако, автокоррелированые инновации объединены с нарушениями строгого exogeneity, как произведенные терминами AR, оценками $β$ станьте и смещенными и противоречивыми.

Если изолированные инновации $e_{t - k}$ используются в качестве предикторов, природа процесса оценки существенно изменяется, поскольку инновации не могут непосредственно наблюдаться. Оценка требует, чтобы термины MA были инвертированы, чтобы сформировать бесконечные представления AR, и затем ограничены, чтобы произвести модель, которая может быть оценена на практике. Поскольку ограничения должны быть введены во время оценки, числовые методы оптимизации кроме OLS, такие как оценка наибольшего правдоподобия (MLE), требуются. Модели с терминами MA рассматриваются в Регрессии Временных рядов в качестве примера IX: Изолируйте Выбор Порядка.

Симуляция смещения средства оценки

Чтобы проиллюстрировать смещение средства оценки, введенное изолированными эндогенными предикторами, рассмотрите следующий DGP:

$y_{t} = β_{0} y_{t - 1} + e_{t},$

$e_{t} = γ_{0} e_{t - 1} + δ_{t},$

$δ_{t} \sim N (0, σ^{2}) .$

Мы запускаем два набора повторных симуляций Монте-Карло модели. Первый набор использует обычно и независимо распределенный (NID) инновации с $γ_{0} = 0$ . Второй набор использует AR (1) инновации с $| γ_{0} | > 0$ .

% Build the model components:
beta0 = 0.9;  % AR(1) parameter for y_t
gamma0 = 0.2; % AR(1) parameter for e_t
AR1 = arima('AR',beta0,'Constant',0,'Variance',1);
AR2 = arima('AR',gamma0,'Constant',0,'Variance',1);

% Simulation sample sizes:
T = [10,50,100,500,1000];
numSizes = length(T);

% Run the simulations:
numObs = max(T); % Length of simulation paths
numPaths = 1e4;  % Number of simulation paths
burnIn = 100;    % Initial transient period, to be discarded
sigma = 2.5;     % Standard deviation of the innovations
E0 = sigma*randn(burnIn+numObs,numPaths,2); % NID innovations
E1Full = E0(:,:,1);
Y1Full = filter(AR1,E1Full); % AR(1) process with NID innovations
E2Full = filter(AR2,E0(:,:,2));
Y2Full = filter(AR1,E2Full); % AR(1) process with AR(1) innovations
clear E0

% Extract simulation data, after transient period:
Y1 = Y1Full(burnIn+1:end,:);  % Y1(t)
LY1 = Y1Full(burnIn:end-1,:); % Y1(t-1)
Y2 = Y2Full(burnIn+1:end,:);  % Y2(t)
LY2 = Y2Full(burnIn:end-1,:); % Y2(t-1)
clear Y1Full Y2Full

% Compute OLS estimates of beta0:
BetaHat1 = zeros(numSizes,numPaths);
BetaHat2 = zeros(numSizes,numPaths);
for i = 1:numSizes
    
    n = T(i);
    
    for j = 1:numPaths
        BetaHat1(i,j) = LY1(1:n,j)\Y1(1:n,j);
        BetaHat2(i,j) = LY2(1:n,j)\Y2(1:n,j);
    end
    
end

% Set plot domains:
w1 = std(BetaHat1(:));
x1 = (beta0-w1):(w1/1e2):(beta0+w1);
w2 = std(BetaHat2(:));
x2 = (beta0-w2):(w2/1e2):(beta0+w2);

% Create figures and plot handles: 
hFig1 = figure;
hold on
hPlots1 = zeros(numSizes,1);
hFig2 = figure;
hold on
hPlots2 = zeros(numSizes,1);

% Plot estimator distributions:
colors = winter(numSizes);    
for i = 1:numSizes

    c = colors(i,:);
    
    figure(hFig1);
    f1 = ksdensity(BetaHat1(i,:),x1);    
    hPlots1(i) = plot(x1,f1,'Color',c,'LineWidth',2);
    
    figure(hFig2);
    f2 = ksdensity(BetaHat2(i,:),x2);    
    hPlots2(i) = plot(x2,f2,'Color',c,'LineWidth',2);
    
end

% Annotate plots:
figure(hFig1)
hBeta1 = line([beta0 beta0],[0 (1.1)*max(f1)],'Color','c','LineWidth',2);
xlabel('Estimate')
ylabel('Density')
title(['{\bf OLS Estimates of \beta_0 = ',num2str(beta0,2),', NID Innovations}'])
legend([hPlots1;hBeta1],[strcat({'T = '},num2str(T','%-d'));['\beta_0 = ',num2str(beta0,2)]])
axis tight
grid on
hold off

$Figure contains an axes object. The axes object with title blank O L S blank E s t i m a t e s blank o f blank beta indexOf 0 baseline blank = blank 0 . 9 , blank N I D blank I n n o v a t i o n s contains 6 objects of type line. These objects represent T = 10, T = 50, T = 100, T = 500, T = 1000, \beta_0 = 0.9.$

figure(hFig2)
hBeta2 = line([beta0 beta0],[0 (1.1)*max(f2)],'Color','c','LineWidth',2);
xlabel('Estimate')
ylabel('Density')
title(['{\bf OLS Estimates of \beta_0 = ',num2str(beta0,2),', AR(1) Innovations}'])
legend([hPlots2;hBeta2],[strcat({'T = '},num2str(T','%-d'));['\beta_0 = ',num2str(beta0,2)]])
axis tight
grid on
hold off

$Figure contains an axes object. The axes object with title blank O L S blank E s t i m a t e s blank o f blank beta indexOf 0 baseline blank = blank 0 . 9 , blank A R ( 1 ) blank I n n o v a t i o n s contains 6 objects of type line. These objects represent T = 10, T = 50, T = 100, T = 500, T = 1000, \beta_0 = 0.9.$

Во всех симуляциях выше, $β_{0} = 0.9$ . Графики являются распределениями ${β_{0}}_{}^{ˆ}$ через несколько симуляций каждого процесса, показывая смещение и отклонение средства оценки OLS в зависимости от объема выборки.

Скос распределений мешает визуально оценивать их центры. Смещение задано как $E [{β_{0}}_{}^{ˆ}] - β_{0}$ , таким образом, мы используем среднее значение, чтобы измерить совокупную оценку. В случае инноваций NID относительно маленькое отрицательное смещение исчезает асимптотически, когда совокупные оценки увеличиваются монотонно к $β_{0}$ :

AggBetaHat1 = mean(BetaHat1,2);
fprintf('%-6s%-6s\n','Size','Mean1')

Size  Mean1

for i = 1:numSizes
    fprintf('%-6u%-6.4f\n',T(i),AggBetaHat1(i))
end

10    0.7974
50    0.8683
100   0.8833
500   0.8964
1000  0.8981

В случае AR (1) инновации, совокупные оценки с отрицательным смещением в небольших выборках увеличиваются монотонно к $β_{0}$ , как выше, но затем проходят через значение DGP в умеренных объемах выборки и становятся прогрессивно более положительно смещенными в больших выборках:

AggBetaHat2 = mean(BetaHat2,2);
fprintf('%-6s%-6s\n','Size','Mean2')

Size  Mean2

for i = 1:numSizes
    fprintf('%-6u%-6.4f\n',T(i),AggBetaHat2(i))
end

10    0.8545
50    0.9094
100   0.9201
500   0.9299
1000  0.9310

Несоответствие средства оценки OLS в присутствии автокоррелированых инноваций широко известно среди эконометриков. То, что это, тем не менее, дает точные оценки для области значений объемов выборки, имеет практические последствия, которые менее широко ценятся. Мы описываем это поведение далее в разделе Dynamic и Correlation Effects.

Основная разница между двумя наборами симуляций выше, в терминах оценки OLS, существует ли задержка взаимодействия между инновациями и предиктором. В AR (1) процесс с инновациями NID, предиктором $y_{t - 1}$ является одновременно некоррелированым с $e_{t}$ , но коррелируемый со всеми предыдущими инновациями, аналогичными описанному ранее. В AR (1) процесс с AR (1) инновации, предиктор $y_{t - 1}$ становится коррелированым с $e_{t}$ также, посредством автокорреляции между $e_{t}$ и $e_{t - 1}$ .

Чтобы видеть эти отношения, мы вычисляем коэффициенты корреляции между $y_{t - 1}$ и оба $e_{t}$ и $e_{t - 1}$ , соответственно, для каждого процесса:

% Extract innovations data, after transient period:
E1 = E1Full(burnIn+1:end,:);  % E1(t)
LE1 = E1Full(burnIn:end-1,:); % E1(t-1) 
E2 = E2Full(burnIn+1:end,:);  % E2(t)
LE2 = E2Full(burnIn:end-1,:); % E2(t-1)
clear E1Full E2Full

% Preallocate for correlation coefficients:
CorrE1 = zeros(numSizes,numPaths);
CorrLE1 = zeros(numSizes,numPaths);
CorrE2 = zeros(numSizes,numPaths);
CorrLE2 = zeros(numSizes,numPaths);

% Compute correlation coefficients:
for i = 1:numSizes
    
    n = T(i);
    
    for j = 1:numPaths
        
        % With NID innovations:
        CorrE1(i,j) = corr(LY1(1:n,j),E1(1:n,j));
        CorrLE1(i,j) = corr(LY1(1:n,j),LE1(1:n,j));
        
        % With AR(1) innovations
        CorrE2(i,j) = corr(LY2(1:n,j),E2(1:n,j));
        CorrLE2(i,j) = corr(LY2(1:n,j),LE2(1:n,j));
        
    end
end

% Set plot domains:
sigmaE1 = std(CorrE1(:));
muE1 = mean(CorrE1(:));
xE1 = (muE1-sigmaE1):(sigmaE1/1e2):(muE1+sigmaE1);
sigmaLE1 = std(CorrLE1(:));
muLE1 = mean(CorrLE1(:));
xLE1 = (muLE1-sigmaLE1/2):(sigmaLE1/1e3):muLE1;
sigmaE2 = std(CorrE2(:));
muE2 = mean(CorrE2(:));
xE2 = (muE2-sigmaE2):(sigmaE2/1e2):(muE2+sigmaE2);
sigmaLE2 = std(CorrLE2(:));
muLE2 = mean(CorrLE2(:));
xLE2 = (muLE2-sigmaLE2):(sigmaLE2/1e2):(muLE2+sigmaLE2);

% Create figures and plot handles:
hFigE1 = figure;
hold on
hPlotsE1 = zeros(numSizes,1);
hFigLE1 = figure;
hold on
hPlotsLE1 = zeros(numSizes,1);
hFigE2 = figure;
hold on
hPlotsE2 = zeros(numSizes,1);
hFigLE2 = figure;
hold on
hPlotsLE2 = zeros(numSizes,1);

% Plot correlation coefficient distributions:
colors = copper(numSizes);    
for i = 1:numSizes

    c = colors(i,:);
    
    figure(hFigE1)
    fE1 = ksdensity(CorrE1(i,:),xE1);    
    hPlotsE1(i) = plot(xE1,fE1,'Color',c,'LineWidth',2);
    
    figure(hFigLE1)
    fLE1 = ksdensity(CorrLE1(i,:),xLE1);    
    hPlotsLE1(i) = plot(xLE1,fLE1,'Color',c,'LineWidth',2);
        
    figure(hFigE2)
    fE2 = ksdensity(CorrE2(i,:),xE2);    
    hPlotsE2(i) = plot(xE2,fE2,'Color',c,'LineWidth',2);
    
    figure(hFigLE2)
    fLE2 = ksdensity(CorrLE2(i,:),xLE2);    
    hPlotsLE2(i) = plot(xLE2,fLE2,'Color',c,'LineWidth',2);
    
end

clear CorrE1 CorrLE1 CorrE2 CorrLE2

% Annotate plots:
figure(hFigE1)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and NID {\it e_t}}')
legend(hPlotsE1,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fE1)])
hold off

Figure contains an axes object. The axes object with title blank S a m p l e blank C o r r e l a t i o n blank o f blank blank y indexOf t - 1 baseline blank a n d blank N I D blank blank e indexOf t baseline contains 5 objects of type line. These objects represent T = 10, T = 50, T = 100, T = 500, T = 1000.

figure(hFigLE1)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and NID {\it e_{t-1}}}')
legend(hPlotsLE1,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fLE1)])
hold off

Figure contains an axes object. The axes object with title blank S a m p l e blank C o r r e l a t i o n blank o f blank blank y indexOf t - 1 baseline blank a n d blank N I D blank blank e indexOf t - 1 baseline contains 5 objects of type line. These objects represent T = 10, T = 50, T = 100, T = 500, T = 1000.

figure(hFigE2)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and AR(1) {\it e_t}}')
legend(hPlotsE2,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fE2)])
hold off

Figure contains an axes object. The axes object with title blank S a m p l e blank C o r r e l a t i o n blank o f blank blank y indexOf t - 1 baseline blank a n d blank A R ( 1 ) blank blank e indexOf t baseline contains 5 objects of type line. These objects represent T = 10, T = 50, T = 100, T = 500, T = 1000.

figure(hFigLE2)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and AR(1) {\it e_{t-1}}}')
legend(hPlotsLE2,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fLE2)])
hold off

Figure contains an axes object. The axes object with title blank S a m p l e blank C o r r e l a t i o n blank o f blank blank y indexOf t - 1 baseline blank a n d blank A R ( 1 ) blank blank e indexOf t - 1 baseline contains 5 objects of type line. These objects represent T = 10, T = 50, T = 100, T = 500, T = 1000.

Графики показывают корреляцию между $y_{t - 1}$ и $e_{t - 1}$ в обоих случаях. Одновременная корреляция между $y_{t - 1}$ и $e_{t}$ , однако, сохраняется асимптотически только в случае AR (1) инновации.

Коэффициент корреляции является базисом для стандартных мер автокорреляции. Графики выше подсвечивают смещение и отклонение коэффициента корреляции в конечных выборках, который усложняет практическую оценку автокорреляций в остаточных значениях модели. Меры по корреляции были исследованы экстенсивно Фишером ([3], [4], [5]), кто предложил много альтернатив.

Используя смещенные оценки $β_{0}$ оценить $γ_{0}$ в остаточных значениях также смещается [11]. Аналогичный описанному ранее, остаточные значения OLS в случае AR (1) инновации точно не представляют инновации процесса из-за тенденции для ${β_{0}}_{}^{ˆ}$ поглощать систематический удар, произведенный автокоррелироваными воздействиями.

Еще более того, статистическая величина Дербин-Уотсона, обычно сообщил как мера степени автокорреляции первого порядка, смещается против обнаружения любого отношения между ${e_{t}}_{}^{ˆ}$ и ${e_{}^{ˆ}}_{t - 1}$ в точно моделях AR, где такое отношение присутствует. Смещение является вдвое более большим, чем смещение в ${β_{0}}_{}^{ˆ}$ [8].

Таким образом OLS может постоянно переоценивать $β_{0}$ в то время как стандартные меры остаточной автокорреляции недооценивают условия тот вывод к несоответствию. Это производит искаженный смысл качества подгонки и искажение значения динамических терминов. Дербин $h$ тест столь же неэффективен в этом контексте [7]. Дербин $m$ протестируйте, или эквивалентный тест Бреуш-Годфри, часто предпочитаются [1].

Аппроксимация смещения средства оценки

На практике процесс, который производит временные ряды, должен быть обнаружен из доступных данных, и этот анализ в конечном счете ограничивается потерей доверия, которое идет со смещением средства оценки и отклонением. Объемы выборки для экономических данных часто на более низком уровне рассмотренных в симуляциях выше, таким образом, погрешности могут быть значительными. Эффекты на эффективности прогноза авторегрессивных моделей могут быть серьезными.

Для простых моделей AR с простыми инновационными структурами приближения смещения средства оценки OLS получены теоретически. Эти формулы полезны при оценке надежности коэффициентов модели AR, выведенных из одной выборки данных.

В случае инноваций NID мы можем сравнить смещение симуляции с широко используемым приближенным значением [11], [13]:

$E [{β_{0}}_{}^{ˆ}] - β_{0} \approx - 2 β_{0} / T .$

m = min(T);
M = max(T);
eBias1 = AggBetaHat1-beta0; % Estimated bias
tBias1 = -2*beta0./T;       % Theoretical bias
eB1interp = interp1(T,eBias1,m:M,'pchip');
tB1interp = interp1(T,tBias1,m:M,'pchip');

figure
plot(T,eBias1,'ro','LineWidth',2)
hold on
he1 = plot(m:M,eB1interp,'r','LineWidth',2);
plot(T,tBias1,'bo')
ht1 = plot(m:M,tB1interp,'b');
hold off
legend([he1 ht1],'Simulated Bias','Approximate Theoretical Bias','Location','E')
xlabel('Sample Size')
ylabel('Bias')
title('{\bf Estimator Bias, NID Innovations}')
grid on

Figure contains an axes object. The axes object with title blank E s t i m a t o r blank B i a s , blank N I D blank I n n o v a t i o n s contains 4 objects of type line. These objects represent Simulated Bias, Approximate Theoretical Bias.

Приближение довольно надежно в даже умеренно измеренных выборках, и обычно улучшается как $β_{0}$ уменьшения в абсолютном значении.

В случае AR (1) инновации, смещение зависит от обоих $β_{0}$ и $γ_{0}$ . Асимптотически, это аппроксимировано [6]:

$E [{β_{0}}_{}^{ˆ}] - β_{0} \approx γ_{0} (1 - β_{0}^{2}) / (1 + γ_{0} β_{0}) .$

eBias2 = AggBetaHat2-beta0; % Estimated bias
tBias2 = gamma0*(1-beta0^2)/(1+gamma0*beta0); % Asymptotic bias
eB2interp = interp1(T,eBias2,m:M,'pchip');

figure
plot(T,eBias2,'ro','LineWidth',2)
hold on
he2 = plot(m:M,eB2interp,'r','LineWidth',2);
ht2 = plot(0:M,repmat(tBias2,1,M+1),'b','LineWidth',2);
hold off
legend([he2 ht2],'Simulated Bias','Approximate Asymptotic Bias','Location','E')
xlabel('Sample Size')
ylabel('Bias')
title('{\bf Estimator Bias, AR(1) Innovations}')
grid on

Figure contains an axes object. The axes object with title blank E s t i m a t o r blank B i a s , blank A R ( 1 ) blank I n n o v a t i o n s contains 3 objects of type line. These objects represent Simulated Bias, Approximate Asymptotic Bias.

Здесь мы видим, что смещение перемещается от отрицательного до положительных значений, когда объем выборки увеличивается, затем в конечном счете приблизьтесь к связанному асимптотическому. Существует область значений объемов выборки от приблизительно 25 - 100, где абсолютное значение смещения ниже 0.02. В такой "зоне наилучшего восприятия" средство оценки OLS может превзойти по характеристикам альтернативные средства оценки, спроектированные, чтобы в частности составлять присутствие автокорреляции. Мы описываем это поведение далее в разделе Dynamic и Correlation Effects.

Полезно построить аппроксимированное асимптотическое смещение в ${β_{0}}_{}^{ˆ}$ в зависимости от обоих $β_{0}$ и $γ_{0}$ , видеть влияние варьирования степени автокорреляции в обоих $y_{t}$ и $e_{t}$ :

figure
beta = -1:0.05:1;
gamma = -1:0.05:1;
[Beta,Gamma] = meshgrid(beta,gamma);
hold on
surf(Beta,Gamma,Gamma.*(1-Beta.^2)./(1+Gamma.*Beta))
fig = gcf;
CM = fig.Colormap;
numC = size(CM,1);
zL = zlim;
zScale = zL(2)-zL(1);
iSim = (tBias2-zL(1))*numC/zScale;    
cSim = interp1(1:numC,CM,iSim);
hSim = plot3(beta0,gamma0,tBias2,'ko','MarkerSize',8,'MarkerFaceColor',cSim);
view(-20,20)
ax = gca;
u = ax.XTick;
v = ax.YTick;
mesh(u,v,zeros(length(v),length(u)),'FaceAlpha',0.7,'EdgeColor','k','LineStyle',':')
hold off
legend(hSim,'Simulated Model','Location','Best')
xlabel('\beta_0')
ylabel('\gamma_0')
zlabel('Bias')
title('{\bf Approximate Asymptotic Bias}')
camlight
colorbar
grid on

Figure contains an axes object. The axes object with title blank A p p r o x i m a t e blank A s y m p t o t i c blank B i a s contains 3 objects of type surface, line. This object represents Simulated Model.

Асимптотическое смещение становится значительным когда $β_{0}$ и $γ_{0}$ переместитесь в противоположные направления далеко от нулевой автокорреляции. Конечно, смещение может быть значительно меньше в конечных выборках.

Динамический и эффекты корреляции

Как уже отмечалось, проблемы использования OLS для оценки динамической модели являются результатом нарушений предположений CLM. Два нарушения очень важны, и мы обсуждаем их эффекты здесь более подробно.

Первым является динамический эффект, вызванный корреляцией между предиктором $y_{t - 1}$ и все предыдущие инновации $e_{t - k}$ . Это происходит в любой модели AR и приводит к смещенным оценкам OLS от конечных выборок. В отсутствие других нарушений OLS, тем не менее, остается сопоставимым, и смещение исчезает в больших выборках.

Вторым является эффект корреляции, вызванный одновременной корреляцией между предиктором $y_{t - 1}$ и инновации $e_{t}$ . Это происходит, когда инновационный процесс автокоррелируется и приводит к коэффициенту OLS предиктора, получающего слишком много, или слишком мало, кредит на одновременные изменения ответа, в зависимости от знака корреляции. Таким образом, это производит персистентное смещение.

Первый набор симуляций выше иллюстрирует ситуацию в который $β_{0}$ положительно и $γ_{0}$ нуль. Второй набор симуляций иллюстрирует ситуацию в который оба $β_{0}$ и $γ_{0}$ положительны. Для положительного $β_{0}$ , динамический эффект на ${β_{0}}_{}^{ˆ}$ отрицательно. Для положительного $γ_{0}$ , эффект корреляции на ${β_{0}}_{}^{ˆ}$ положительно. Таким образом в первом наборе симуляций существует отрицательное смещение через объемы выборки. Во втором наборе симуляций, однако, существует соревнование между этими двумя эффектами с динамическим доминированием эффекта в небольших выборках и доминированием эффекта корреляции в больших выборках.

Положительные коэффициенты AR распространены в эконометрических моделях, таким образом, это типично для этих двух эффектов возместить друг друга, создавая область значений объемов выборки, для которых значительно уменьшается смещение OLS. Ширина этой области значений зависит от $β_{0}$ и $γ_{0}$ , и определяет OLS-превосходящую область значений, в которой OLS превосходит по характеристикам альтернативные средства оценки, спроектированные, чтобы непосредственно составлять автокорреляции в инновациях.

Некоторые факторы, влияющие на размер динамических эффектов и эффектов корреляции, получены в итоге в [9]. Среди них:

Динамический эффект

Увеличения с уменьшением объема выборки.
Уменьшения с увеличением $β_{0}$ если отклонение инноваций считается зафиксированное.
Уменьшения с увеличением $β_{0}$ если отклонение инноваций настроено, чтобы обеспечить константу $R^{2}$ .
Увеличения с отклонением инноваций.

Эффект корреляции

Увеличения с увеличением $γ_{0}$ , на уменьшающемся уровне.
Уменьшения с увеличением $β_{0}$ , на увеличивающемся уровне.

Влияние этих факторов может быть протестировано путем изменения коэффициентов в симуляциях выше. В общем случае, чем больше динамический эффект и чем меньший эффект корреляции, тем шире, тем OLS-превосходящая область значений.

Сокращение смещения складного ножа

Процедура складного ножа является методом перекрестной проверки, обычно раньше уменьшал смещение демонстрационной статистики. Средства оценки Jacknife коэффициентов модели относительно легко вычислить без потребности в больших симуляциях или передискретизации.

Основная идея состоит в том, чтобы вычислить оценку из полной выборки и из последовательности подвыборок, затем объединить оценки способом, который устраняет некоторый фрагмент смещения. В общем случае для выборки размера $T$ , смещение средства оценки OLS ${β_{0}}_{}^{ˆ}$ может быть описан как расширение в степенях $T^{- 1}$ :

$E ({β_{0}}_{}^{ˆ}) - β_{0} = \frac{w_{1}}{T} + \frac{w_{2}}{T^{2}} + O (T^{- 3}),$

где веса $w_{1}$ и $w_{2}$ зависьте от определенного коэффициента и модели. Если оценки ${β_{i}}_{}^{ˆ}$ сделаны на последовательности $i = 1, . . ., m$ из подвыборок длины $l = O (T)$ , затем средство оценки складного ножа $β_{0}$ :

${β_{J}}_{}^{ˆ} = (\frac{T}{T - l}) {β_{0}}_{}^{ˆ} - (\frac{l}{T - l}) \frac{1}{m} \sum_{i = 1}^{m} {β_{i}}_{}^{ˆ} .$

Можно показать, что средство оценки складного ножа удовлетворяет:

$E ({β_{0}}_{}^{ˆ}) - β_{0} = O (T^{- 2}),$

таким образом удаление $O (T^{- 1})$ назовите от расширения смещения. Уменьшается ли смещение на самом деле, зависит от размера остающихся терминов в расширении, но средства оценки складного ножа выполнили хорошо на практике. В частности, метод устойчив относительно ненормальных инноваций, эффектов ДУГИ и различного misspecifications [2] модели.

Функция Statistics and Machine Learning Toolbox™ jackknife реализует процедуру складного ножа с помощью систематической последовательности подвыборок, "пропускают один". Для временных рядов удаление наблюдений изменяет структуру автокорреляции. Чтобы обеспечить структуру зависимости во временных рядах, процедура складного ножа должна использовать неперекрывающиеся подвыборки, такие как разделы или движущиеся блоки.

Следующие реализации простая оценка складного ножа ${β_{0}}_{}^{ˆ}$ использование раздела данных в каждой из симуляций, чтобы произвести поддемонстрационные оценки ${β_{i}}_{}^{ˆ}$ . Мы сравниваем эффективность до и после складывания на симулированных данных или с NID или с AR (1) инновации:

m = 5; % Number of subsamples

% Preallocate memory:
betaHat1 = zeros(m,1); % Subsample estimates, NID innovations
betaHat2 = zeros(m,1); % Subsample estimates, AR(1) innovations
BetaHat1J = zeros(numSizes,numPaths); % Jackknife estimates, NID innovations
BetaHat2J = zeros(numSizes,numPaths); % Jackknife estimates, AR(1) innovations

% Compute jackknife estimates:
for i = 1:numSizes
    
    n = T(i); % Sample size
    l = n/m;  % Length of partition subinterval
                
    for j = 1:numPaths
        
        for s = 1:m
              
            betaHat1(s) = LY1((s-1)*l+1:s*l,j)\Y1((s-1)*l+1:s*l,j);
            betaHat2(s) = LY2((s-1)*l+1:s*l,j)\Y2((s-1)*l+1:s*l,j);
            
            BetaHat1J(i,j) = (n/(n-l))*BetaHat1(i,j)-(l/((n-l)*m))*sum(betaHat1);
            BetaHat2J(i,j) = (n/(n-l))*BetaHat2(i,j)-(l/((n-l)*m))*sum(betaHat2);
            
        end
        
    end
    
end

clear BetaHat1 BetaHat2

% Display mean estimates, before and after jackknifing:
AggBetaHat1J = mean(BetaHat1J,2);
clear BetaHat1J
fprintf('%-6s%-8s%-8s\n','Size','Mean1','Mean1J')

Size  Mean1   Mean1J

for i = 1:numSizes
    fprintf('%-6u%-8.4f%-8.4f\n',T(i),AggBetaHat1(i),AggBetaHat1J(i))
end

10    0.7974  0.8055  
50    0.8683  0.8860  
100   0.8833  0.8955  
500   0.8964  0.8997  
1000  0.8981  0.8998

AggBetaHat2J = mean(BetaHat2J,2);
clear BetaHat2J
fprintf('%-6s%-8s%-8s\n','Size','Mean2','Mean2J')

Size  Mean2   Mean2J

for i = 1:numSizes
    fprintf('%-6u%-8.4f%-8.4f\n',T(i),AggBetaHat2(i),AggBetaHat2J(i))
end

10    0.8545  0.8594  
50    0.9094  0.9233  
100   0.9201  0.9294  
500   0.9299  0.9323  
1000  0.9310  0.9323

Количество подвыборок, $m = 5$ , выбран с самым маленьким объемом выборки, $n = 10$ , в памяти. Больше $m$ может улучшать производительность в больших выборках, но нет никакой принятой эвристики для выбора подобъемов выборки, таким образом, некоторое экспериментирование необходимо. Код легко адаптируется, чтобы использовать альтернативные методы подвыборки, такие как перемещение блоков.

Результаты показывают универсальное сокращение смещения для случая инноваций NID. В случае AR (1) инновации, процедура, кажется, продвигает оценку более быстро через OLS-превосходящую область значений.

Сводные данные

Этот пример показывает простую модель AR, вместе с несколькими простыми инновационными структурами, как способ проиллюстрировать некоторые общие вопросы, связанные с оценкой динамических моделей. Код здесь легко изменяется, чтобы наблюдать эффекты изменения значений параметров, корректировки инновационного отклонения, использования различных структур задержки, и так далее. Объяснительные термины DL могут также быть добавлены к моделям. Термины DL имеют способность уменьшать смещение средства оценки, хотя OLS имеет тенденцию переоценивать коэффициенты AR за счет коэффициентов DL [11]. Общая настройка здесь допускает большое экспериментирование, как часто требуется при оценке моделей на практике.

При считании компромиссов представленными смещением и отклонением любого средства оценки, важно помнить, что смещенные оценки с уменьшаемым отклонением могут иметь превосходящие среднеквадратические ошибочные характеристики когда по сравнению с более высоким отклонением несмещенные средства оценки. Сильная сторона средства оценки OLS, вне его простоты в расчете, является своим относительным КПД в сокращении его отклонения с увеличением объема выборки. Это достаточно часто, чтобы принять OLS как предпочтительное средство оценки, даже для динамических моделей. Другая сильная сторона, когда этот пример показал, является присутствием OLS-превосходящей области значений, где OLS может превзойти другие средства оценки по характеристикам, даже под тем, что обычно рассматривается как неблагоприятные условия. Самое слабое место средства оценки OLS является своей эффективностью в небольших выборках, где смещение и отклонение могут быть недопустимыми.

Вопросы оценки, поднятые в этом примере, предлагают, чтобы потребность в новых индикаторах автокорреляции и другие устойчивые методы оценки использовалась в ее присутствии. Некоторые из этих методов описаны в Регрессии Временных рядов в качестве примера X: Обобщенные Наименьшие квадраты и Средства оценки HAC. Однако как мы видели, несоответствия средства оценки OLS для моделей AR с автокорреляцией недостаточно, чтобы исключить его, в целом, как жизнеспособный конкурент более сложных, сопоставимых средств оценки, таких как наибольшее правдоподобие, выполнимые обобщенные наименьшие квадраты, и инструментальные переменные, которые пытаются устранить эффект корреляции, но не изменяют динамический эффект. Лучший выбор будет зависеть от объема выборки, структуры задержки, присутствия внешних переменных, и так далее, и часто требует видов симуляций, представленных в этом примере.

Ссылки

[1] Breusch, T.S., и Л. Г. Годфри. "Анализ Недавней работы над Тестированием на Автокорреляцию в Динамических Одновременных Моделях". В Currie, D., Р. Нобей и Д. Пил (Редакторы)., Макроэкономический Анализ: Эссе в Макроэкономике и Эконометрике. Лондон: Руль Croom, 1981.

[2] Емкости, M. J. "Оценка складного ножа стационарных авторегрессивных моделей". Университет Эссексского документа для обсуждения № 684, 2011.

[3] Фишер, R. A.. "Плотность распределения Значений Коэффициента корреляции в Выборках от Неопределенно Значительной части населения". Biometrika. Издание 10, 1915, стр 507–521.

[4] Фишер, R. A. "При "Вероятной Ошибке" Коэффициента Корреляции, Выведенной из Небольшой выборки". Метрон. Издание 1, 1921, стр 3–32.

[5] Фишер, R. A. "Распределение Частичного Коэффициента корреляции". Метрон. Издание 3, 1924, стр 329–332.

[6] Hibbs, D. "Проблемы статистической оценки и причинного вывода в динамических моделях временных рядов". В Кеснере, H. (Эд). Социологическая методология. Сан-Франциско: Jossey-бас, 1974.

[7] Inder, B. A. "Конечная Демонстрационная Степень Тестов для Автокорреляции в Моделях, Содержащих Изолированные Зависимые переменные". Экономические Буквы. Издание 14, 1984, pp.179-185.

[8] Джонстон, J. Эконометрические методы. Нью-Йорк: McGraw-Hill, 1972.

[9] Maeshiro, A. "Преподавая Регрессии с Изолированной Зависимой переменной и Автокоррелироваными Воздействиями". Журнал Экономического Образования. Издание 27, 1996, стр 72–84.

[10] Maeshiro, A. "Рисунок Смещения OLS для Y _t = λ Y _{t –1+U}_t". Журнал Экономического Образования. Издание 31, 2000, стр 76–80.

[11] Malinvaud, E. Статистические методы эконометрики. Амстердам: северная Голландия, 1970.

[12] Marriott, F. и J. Папа Римский. "Сместите по Оценке Автокорреляций". Biometrika. Издание 41, 1954, стр 390–402.

[13] Белый, J. S. "Асимптотические Расширения для Среднего значения и Отклонения Сериального коэффициента корреляции". Biometrika. Vol 48, 1961, стр 85–94.

Документация