Регрессия временных рядов VIII: изолированные переменные и смещение средства оценки

Этот пример показывает, как изолированные предикторы влияют на оценку наименьших квадратов нескольких моделей линейной регрессии. Это является восьмым в серии примеров на регрессии временных рядов, после представления в предыдущих примерах.

Введение

Много эконометрических моделей являются динамическими, с помощью изолированных переменных, чтобы включать обратную связь в зависимости от времени. В отличие от этого, статические модели временных рядов представляют системы, которые исключительно отвечают на текущие события.

Изолированные переменные прибывают в несколько типов:

$•$ Переменные Распределенной задержки (DL) являются изолированными значениями $x_{t - k}$ из наблюдаемых внешних переменных прогноза $x_{t}$ .

$•$ Авторегрессивные переменные (AR) являются изолированными значениями $y_{t - k}$ из наблюдаемых эндогенных переменных отклика $y_{t}$ .

$•$ Переменные Скользящего среднего значения (MA) являются изолированными значениями $e_{t - k}$ из ненаблюдаемых стохастических инновационных процессов $e_{t}$ .

Динамические модели часто создаются с помощью линейных комбинаций различных типов изолированных переменных, чтобы создать ARMA, ARDL и другие гибриды. Цель моделирования, в каждом случае, состоит в том, чтобы отразить важные взаимодействия среди соответствующих экономических факторов, точно и кратко.

Спецификации динамической модели задают вопрос: Какие задержки важны? Некоторые модели, такие как сезонные модели, используют задержки в отличные периоды в данных. Другие модели основывают свою структуру задержки на теоретических факторах того, как, и когда, экономические агенты реагируют на изменяющиеся условия. В целом отстаньте, структуры идентифицируют задержку ответа на известные ведущие индикаторы.

Однако отстаньте, структуры должны сделать, больше, чем только представляют доступную теорию. Поскольку динамические спецификации производят взаимодействия среди переменных, которые могут влиять на стандартные методы регрессии, структуры задержки должны также быть разработаны с точной образцовой оценкой в памяти.

Проблемы спецификации

Рассмотрите модель нескольких линейных регрессий (MLR):

$y_{t} = Z_{t} β + e_{t},$

где $y_{t}$ наблюдаемый ответ, $Z_{t}$ включает столбцы для каждой потенциально соответствующей переменной прогноза, включая изолированные переменные, и $e_{t}$ стохастический инновационный процесс. Точность оценки коэффициентов в $β$ зависит от составляющих столбцов $Z_{t}$ , а также совместное распределение $e_{t}$ . Выбор предикторов для $Z_{t}$ это и статистически и экономически значительно, обычно включает циклы оценки, остаточного анализа и respecification.

Предположения классической линейной модели (CLM), обсужденные в примере на "Линейных Моделях", позволяют обычным наименьшим квадратам (OLS) производить оценки $β$ с желательными свойствами: несмещенный, сопоставимый, и эффективный относительно других средств оценки. Изолированные предикторы в $Z_{t}$ , однако, может ввести нарушения предположений CLM. Определенные нарушения зависят от типов изолированных переменных в модели, но присутствие динамических механизмов обратной связи, в целом, имеет тенденцию преувеличивать проблемы, сопоставленные со статическими спецификациями.

Образцовые вопросы спецификации обычно обсуждаются относительно генерирующего данные процесса (DGP) для переменной отклика $y_{t}$ . Практически, однако, DGP является теоретическим построением, понятым только в симуляции. Никакая модель никогда не получает реальную динамику полностью и коэффициенты модели в $β$ всегда подмножество тех в истинном DGP. В результате инновации в $e_{t}$ станьте соединением свойственной стохастичности процесса и потенциально большого количества не использованных переменных (OVs). Автокорреляции в $e_{t}$ распространены в эконометрических моделях, где OVs показывают персистентность в зависимости от времени. Вместо того, чтобы сравнивать модель с теоретическим DGP, это более практично, чтобы оценить или, или до какой степени, движущие силы в данных отличили от автокорреляций в невязках.

Первоначально, отстаньте, структуры могут включать наблюдения за экономическими факторами в нескольких, ближайших временах. Однако наблюдения во время t, вероятно, будут время от времени коррелироваться с наблюдениями t - 1, t - 2, и т.д, через экономическую инерцию. Таким образом структура задержки может чрезмерно определить динамику ответа включением последовательности изолированных предикторов только с крайними вкладами в DGP. Спецификация преувеличит эффекты прошлого и не введет соответствующие ограничения для модели. Расширенные структуры задержки также требуют расширенных преддемонстрационных данных, уменьшая объем выборки и уменьшая количество степеней свободы в процедурах оценки. Следовательно, чрезмерно определенные модели могут показать объявленные проблемы коллинеарности и высокого отклонения средства оценки. Получившиеся оценки $β$ имейте низкую точность, и становится трудным разделить отдельные эффекты.

Чтобы уменьшать зависимости от предиктора, структуры задержки могут быть ограничены. Если ограничения слишком серьезны, однако, другие проблемы оценки возникают. Ограниченная структура задержки может underspecify динамика ответа исключением предикторов, которые являются на самом деле значительной частью DGP. Это приводит к модели, которая недооценивает эффекты прошлого, обеспечивая значительные предикторы в инновационный процесс. Если изолированные предикторы в $e_{t}$ коррелируются с ближайшими изолированными предикторами в $Z_{t}$ , предположение CLM о строгом exogeneity регрессоров нарушено, и оценки OLS $β$ станьте смещенными и противоречивыми.

Конкретные вопросы сопоставлены с различными типами изолированных предикторов.

Изолированные внешние предикторы $x_{t - k}$ , собой не нарушайте предположения CLM. Однако модели DL часто описываются, по крайней мере, первоначально, длинной последовательностью потенциально соответствующих задержек, и тем самым пострадайте от проблем упомянутой выше сверхспецификации. Распространенный, если несколько оперативно, методы для того, чтобы ввести ограничения для весов задержки (то есть, коэффициенты в $β$ ) обсуждены в примере на "Выборе Порядка Задержки". В принципе, однако, анализ модели DL параллелен анализу статической модели. Проблемы оценки, связанные с коллинеарностью, влиятельными наблюдениями, побочной регрессией, автокоррелируемыми или heteroscedastic инновациями, и т.д. должны все еще быть исследованы.

Изолированные эндогенные предикторы $y_{t - k}$ более проблематичны. Модели AR вводят нарушения предположений CLM, которые приводят к смещенным оценкам OLS $β$ . Отсутствующий любые другие нарушения CLM, оценки, тем не менее, сопоставимы и относительно эффективны. Рассмотрите простую авторегрессию первого порядка $y_{t}$ на $y_{t - 1}$ :

$y_{t} = β y_{t - 1} + e_{t} .$

В этой модели, $y_{t}$ определяется обоими $y_{t - 1}$ и $e_{t}$ . Перемещение уравнения назад один шаг за один раз, $y_{t - 1}$ определяется обоими $y_{t - 2}$ и $e_{t - 1}$ , $y_{t - 2}$ определяется обоими $y_{t - 3}$ и $e_{t - 2}$ , и т.д. Transitively, предиктор $y_{t - 1}$ коррелируется с целой предыдущей историей инновационного процесса. Так же, как с underspecification, предположение CLM о строгом exogeneity нарушено, и оценки OLS $β$ станьте смещенными. Поскольку $β$ должен поглотить эффекты каждого $e_{t - k}$ , образцовые невязки больше не представляют истинные инновации [10].

Проблема усугублена, когда инновации в модели AR автокоррелируются. Как обсуждено в примере на "Остаточной Диагностике", автокоррелируемые инновации в отсутствие других нарушений CLM производят несмещенный, если потенциально высокое отклонение, оценки OLS коэффициентов модели. Главное осложнение, в этом случае, состоит в том, что обычное средство оценки для стандартных погрешностей коэффициентов становится смещенным. (Эффекты heteroscedastic инноваций подобны, хотя обычно менее явный.), Если, однако, автокоррелированые инновации объединены с нарушениями строгого exogeneity, как произведенные условиями AR, оценками $β$ станьте и смещенными и противоречивыми.

Если изолированные инновации $e_{t - k}$ используются в качестве предикторов, природа процесса оценки существенно изменяется, поскольку инновации не могут непосредственно наблюдаться. Оценка требует, чтобы условия MA были инвертированы, чтобы сформировать бесконечные представления AR, и затем ограничены, чтобы произвести модель, которая может быть оценена на практике. Поскольку ограничения должны быть введены во время оценки, числовые методы оптимизации кроме OLS, такие как оценка наибольшего правдоподобия (MLE), требуются. Модели с условиями MA рассматриваются в примере на "Выборе Порядка Задержки".

Симуляция смещения средства оценки

Чтобы проиллюстрировать смещение средства оценки, введенное изолированными эндогенными предикторами, рассмотрите следующий DGP:

$y_{t} = β_{0} y_{t - 1} + e_{t},$

$e_{t} = γ_{0} e_{t - 1} + δ_{t},$

$δ_{t} \sim N (0, σ^{2}) .$

Мы запускаем два набора повторных симуляций Монте-Карло модели. Первый набор использует обычно и независимо распределенный (NID) инновации с $γ_{0} = 0$ . Второй набор использует AR (1) инновации с $| γ_{0} | > 0$ .

% Build the model components:
beta0 = 0.9;  % AR(1) parameter for y_t
gamma0 = 0.2; % AR(1) parameter for e_t
AR1 = arima('AR',beta0,'Constant',0,'Variance',1);
AR2 = arima('AR',gamma0,'Constant',0,'Variance',1);

% Simulation sample sizes:
T = [10,50,100,500,1000];
numSizes = length(T);

% Run the simulations:
numObs = max(T); % Length of simulation paths
numPaths = 1e4;  % Number of simulation paths
burnIn = 100;    % Initial transient period, to be discarded
sigma = 2.5;     % Standard deviation of the innovations
E0 = sigma*randn(burnIn+numObs,numPaths,2); % NID innovations
E1Full = E0(:,:,1);
Y1Full = filter(AR1,E1Full); % AR(1) process with NID innovations
E2Full = filter(AR2,E0(:,:,2));
Y2Full = filter(AR1,E2Full); % AR(1) process with AR(1) innovations
clear E0

% Extract simulation data, after transient period:
Y1 = Y1Full(burnIn+1:end,:);  % Y1(t)
LY1 = Y1Full(burnIn:end-1,:); % Y1(t-1)
Y2 = Y2Full(burnIn+1:end,:);  % Y2(t)
LY2 = Y2Full(burnIn:end-1,:); % Y2(t-1)
clear Y1Full Y2Full

% Compute OLS estimates of beta0:
BetaHat1 = zeros(numSizes,numPaths);
BetaHat2 = zeros(numSizes,numPaths);
for i = 1:numSizes
    
    n = T(i);
    
    for j = 1:numPaths
        BetaHat1(i,j) = LY1(1:n,j)\Y1(1:n,j);
        BetaHat2(i,j) = LY2(1:n,j)\Y2(1:n,j);
    end
    
end

% Set plot domains:
w1 = std(BetaHat1(:));
x1 = (beta0-w1):(w1/1e2):(beta0+w1);
w2 = std(BetaHat2(:));
x2 = (beta0-w2):(w2/1e2):(beta0+w2);

% Create figures and plot handles: 
hFig1 = figure;
hold on
hPlots1 = zeros(numSizes,1);
hFig2 = figure;
hold on
hPlots2 = zeros(numSizes,1);

% Plot estimator distributions:
colors = winter(numSizes);    
for i = 1:numSizes

    c = colors(i,:);
    
    figure(hFig1);
    f1 = ksdensity(BetaHat1(i,:),x1);    
    hPlots1(i) = plot(x1,f1,'Color',c,'LineWidth',2);
    
    figure(hFig2);
    f2 = ksdensity(BetaHat2(i,:),x2);    
    hPlots2(i) = plot(x2,f2,'Color',c,'LineWidth',2);
    
end

% Annotate plots:
figure(hFig1)
hBeta1 = line([beta0 beta0],[0 (1.1)*max(f1)],'Color','c','LineWidth',2);
xlabel('Estimate')
ylabel('Density')
title(['{\bf OLS Estimates of \beta_0 = ',num2str(beta0,2),', NID Innovations}'])
legend([hPlots1;hBeta1],[strcat({'T = '},num2str(T','%-d'));['\beta_0 = ',num2str(beta0,2)]])
axis tight
grid on
hold off

figure(hFig2)
hBeta2 = line([beta0 beta0],[0 (1.1)*max(f2)],'Color','c','LineWidth',2);
xlabel('Estimate')
ylabel('Density')
title(['{\bf OLS Estimates of \beta_0 = ',num2str(beta0,2),', AR(1) Innovations}'])
legend([hPlots2;hBeta2],[strcat({'T = '},num2str(T','%-d'));['\beta_0 = ',num2str(beta0,2)]])
axis tight
grid on
hold off

Во всех симуляциях выше, $β_{0} = 0.9$ . Графики являются дистрибутивами ${β_{0}}_{}^{ˆ}$ через несколько симуляций каждого процесса, показывая смещение и отклонение средства оценки OLS как функция объема выборки.

Скос дистрибутивов мешает визуально оценивать их центры. Смещение задано как $E [{β_{0}}_{}^{ˆ}] - β_{0}$ , таким образом, мы используем среднее значение, чтобы измерить совокупную оценку. В случае инноваций NID относительно маленькое отрицательное смещение исчезает асимптотически, когда совокупные оценки увеличиваются монотонно к $β_{0}$ :

AggBetaHat1 = mean(BetaHat1,2);
fprintf('%-6s%-6s\n','Size','Mean1')

Size  Mean1

for i = 1:numSizes
    fprintf('%-6u%-6.4f\n',T(i),AggBetaHat1(i))
end

10    0.7974
50    0.8683
100   0.8833
500   0.8964
1000  0.8981

В случае AR (1) инновации, совокупные оценки с отрицательным смещением в небольших выборках увеличиваются монотонно к $β_{0}$ , как выше, но затем проходят через значение DGP в умеренных объемах выборки и становятся прогрессивно более положительно смещенными в больших выборках:

AggBetaHat2 = mean(BetaHat2,2);
fprintf('%-6s%-6s\n','Size','Mean2')

Size  Mean2

for i = 1:numSizes
    fprintf('%-6u%-6.4f\n',T(i),AggBetaHat2(i))
end

10    0.8545
50    0.9094
100   0.9201
500   0.9299
1000  0.9310

Несоответствие средства оценки OLS в присутствии автокоррелированых инноваций широко известно среди эконометриков. То, что это, тем не менее, дает точные оценки для области значений объемов выборки, имеет практические последствия, которые менее широко ценятся. Мы описываем это поведение далее в разделе по "Dynamic & Correlation Effects".

Основная разница между двумя наборами симуляций выше, с точки зрения оценки OLS, существует ли задержка взаимодействия между инновациями и предиктором. В AR (1) процесс с инновациями NID, предиктором $y_{t - 1}$ является одновременно некоррелированым с $e_{t}$ , но коррелируемый со всеми предыдущими инновациями, как описано ранее. В AR (1) процесс с AR (1) инновации, предиктор $y_{t - 1}$ становится коррелированым с $e_{t}$ также, посредством автокорреляции между $e_{t}$ и $e_{t - 1}$ .

Чтобы видеть эти отношения, мы вычисляем коэффициенты корреляции между $y_{t - 1}$ и оба $e_{t}$ и $e_{t - 1}$ , соответственно, для каждого процесса:

% Extract innovations data, after transient period:
E1 = E1Full(burnIn+1:end,:);  % E1(t)
LE1 = E1Full(burnIn:end-1,:); % E1(t-1) 
E2 = E2Full(burnIn+1:end,:);  % E2(t)
LE2 = E2Full(burnIn:end-1,:); % E2(t-1)
clear E1Full E2Full

% Preallocate for correlation coefficients:
CorrE1 = zeros(numSizes,numPaths);
CorrLE1 = zeros(numSizes,numPaths);
CorrE2 = zeros(numSizes,numPaths);
CorrLE2 = zeros(numSizes,numPaths);

% Compute correlation coefficients:
for i = 1:numSizes
    
    n = T(i);
    
    for j = 1:numPaths
        
        % With NID innovations:
        CorrE1(i,j) = corr(LY1(1:n,j),E1(1:n,j));
        CorrLE1(i,j) = corr(LY1(1:n,j),LE1(1:n,j));
        
        % With AR(1) innovations
        CorrE2(i,j) = corr(LY2(1:n,j),E2(1:n,j));
        CorrLE2(i,j) = corr(LY2(1:n,j),LE2(1:n,j));
        
    end
end

% Set plot domains:
sigmaE1 = std(CorrE1(:));
muE1 = mean(CorrE1(:));
xE1 = (muE1-sigmaE1):(sigmaE1/1e2):(muE1+sigmaE1);
sigmaLE1 = std(CorrLE1(:));
muLE1 = mean(CorrLE1(:));
xLE1 = (muLE1-sigmaLE1/2):(sigmaLE1/1e3):muLE1;
sigmaE2 = std(CorrE2(:));
muE2 = mean(CorrE2(:));
xE2 = (muE2-sigmaE2):(sigmaE2/1e2):(muE2+sigmaE2);
sigmaLE2 = std(CorrLE2(:));
muLE2 = mean(CorrLE2(:));
xLE2 = (muLE2-sigmaLE2):(sigmaLE2/1e2):(muLE2+sigmaLE2);

% Create figures and plot handles:
hFigE1 = figure;
hold on
hPlotsE1 = zeros(numSizes,1);
hFigLE1 = figure;
hold on
hPlotsLE1 = zeros(numSizes,1);
hFigE2 = figure;
hold on
hPlotsE2 = zeros(numSizes,1);
hFigLE2 = figure;
hold on
hPlotsLE2 = zeros(numSizes,1);

% Plot correlation coefficient distributions:
colors = copper(numSizes);    
for i = 1:numSizes

    c = colors(i,:);
    
    figure(hFigE1)
    fE1 = ksdensity(CorrE1(i,:),xE1);    
    hPlotsE1(i) = plot(xE1,fE1,'Color',c,'LineWidth',2);
    
    figure(hFigLE1)
    fLE1 = ksdensity(CorrLE1(i,:),xLE1);    
    hPlotsLE1(i) = plot(xLE1,fLE1,'Color',c,'LineWidth',2);
        
    figure(hFigE2)
    fE2 = ksdensity(CorrE2(i,:),xE2);    
    hPlotsE2(i) = plot(xE2,fE2,'Color',c,'LineWidth',2);
    
    figure(hFigLE2)
    fLE2 = ksdensity(CorrLE2(i,:),xLE2);    
    hPlotsLE2(i) = plot(xLE2,fLE2,'Color',c,'LineWidth',2);
    
end

clear CorrE1 CorrLE1 CorrE2 CorrLE2

% Annotate plots:
figure(hFigE1)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and NID {\it e_t}}')
legend(hPlotsE1,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fE1)])
hold off

figure(hFigLE1)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and NID {\it e_{t-1}}}')
legend(hPlotsLE1,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fLE1)])
hold off

figure(hFigE2)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and AR(1) {\it e_t}}')
legend(hPlotsE2,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fE2)])
hold off

figure(hFigLE2)
xlabel('Correlation Coefficient')
ylabel('Density')
title('{\bf Sample Correlation of {\it y_{t-1}} and AR(1) {\it e_{t-1}}}')
legend(hPlotsLE2,strcat({'T = '},num2str(T','%-d')),'Location','NW')
axis tight
grid on
ylim([0 (1.1)*max(fLE2)])
hold off

Графики показывают корреляцию между $y_{t - 1}$ и $e_{t - 1}$ в обоих случаях. Одновременная корреляция между $y_{t - 1}$ и $e_{t}$ , однако, сохраняется асимптотически только в случае AR (1) инновации.

Коэффициент корреляции является основанием для стандартных мер автокорреляции. Графики выше подсвечивают смещение и отклонение коэффициента корреляции в конечных выборках, который усложняет практическую оценку автокорреляций в образцовых невязках. Меры по корреляции были исследованы экстенсивно Фишером ([3], [4], [5]), кто предложил много альтернатив.

Используя смещенные оценки $β_{0}$ оценить $γ_{0}$ в невязках также смещается [11]. Как описано ранее, невязки OLS в случае AR (1) инновации точно не представляют инновации процесса из-за тенденции для ${β_{0}}_{}^{ˆ}$ поглощать систематическое влияние, произведенное автокоррелироваными воздействиями.

Еще более того, статистическая величина Дербин-Уотсона, обычно сообщил как мера степени автокорреляции первого порядка, смещается против обнаружения любого отношения между ${e_{t}}_{}^{ˆ}$ и ${e_{}^{ˆ}}_{t - 1}$ в точно моделях AR, где такое отношение присутствует. Смещение является вдвое более большим, чем смещение в ${β_{0}}_{}^{ˆ}$ [8].

Таким образом OLS может постоянно переоценивать $β_{0}$ в то время как стандартные меры остаточной автокорреляции недооценивают условия тот вывод к несоответствию. Это производит искаженный смысл качества подгонки и искажение значения динамических условий. Дербин $h$ тест столь же неэффективен в этом контексте [7]. Дербин $m$ протестируйте, или эквивалентный тест Бреуш-Годфри, часто предпочитаются [1].

Приближение смещения средства оценки

На практике процесс, который производит временные ряды, должен быть обнаружен от доступных данных, и этот анализ в конечном счете ограничивается потерей уверенности, которая идет со смещением средства оценки и отклонением. Объемы выборки для экономических данных часто на более низком уровне рассмотренных в симуляциях выше, таким образом, погрешности могут быть значительными. Эффекты на производительность прогноза авторегрессивных моделей могут быть серьезными.

Для простых моделей AR с простыми инновационными структурами приближения смещения средства оценки OLS получены теоретически. Эти формулы полезны при оценке надежности коэффициентов модели AR, выведенных от одной выборки данных.

В случае инноваций NID мы можем сравнить смещение симуляции с широко используемым приближенным значением [11], [13]:

$E [{β_{0}}_{}^{ˆ}] - β_{0} \approx - 2 β_{0} / T .$

m = min(T);
M = max(T);
eBias1 = AggBetaHat1-beta0; % Estimated bias
tBias1 = -2*beta0./T;       % Theoretical bias
eB1interp = interp1(T,eBias1,m:M,'pchip');
tB1interp = interp1(T,tBias1,m:M,'pchip');

figure
plot(T,eBias1,'ro','LineWidth',2)
hold on
he1 = plot(m:M,eB1interp,'r','LineWidth',2);
plot(T,tBias1,'bo')
ht1 = plot(m:M,tB1interp,'b');
hold off
legend([he1 ht1],'Simulated Bias','Approximate Theoretical Bias','Location','E')
xlabel('Sample Size')
ylabel('Bias')
title('{\bf Estimator Bias, NID Innovations}')
grid on

Приближение довольно надежно в даже умеренно измеренных выборках, и обычно улучшается как $β_{0}$ уменьшения в абсолютном значении.

В случае AR (1) инновации, смещение зависит от обоих $β_{0}$ и $γ_{0}$ . Асимптотически, это аппроксимировано [6]:

$E [{β_{0}}_{}^{ˆ}] - β_{0} \approx γ_{0} (1 - β_{0}^{2}) / (1 + γ_{0} β_{0}) .$

eBias2 = AggBetaHat2-beta0; % Estimated bias
tBias2 = gamma0*(1-beta0^2)/(1+gamma0*beta0); % Asymptotic bias
eB2interp = interp1(T,eBias2,m:M,'pchip');

figure
plot(T,eBias2,'ro','LineWidth',2)
hold on
he2 = plot(m:M,eB2interp,'r','LineWidth',2);
ht2 = plot(0:M,repmat(tBias2,1,M+1),'b','LineWidth',2);
hold off
legend([he2 ht2],'Simulated Bias','Approximate Asymptotic Bias','Location','E')
xlabel('Sample Size')
ylabel('Bias')
title('{\bf Estimator Bias, AR(1) Innovations}')
grid on

Здесь мы видим, что смещение перемещается от отрицательного до положительных значений, когда объем выборки увеличивается, затем в конечном счете приблизьтесь к связанному асимптотическому. Существует область значений объемов выборки от приблизительно 25 - 100, где абсолютное значение смещения ниже 0.02. В такой "зоне наилучшего восприятия" средство оценки OLS может превзойти по характеристикам альтернативные средства оценки, разработанные, чтобы в частности составлять присутствие автокорреляции. Мы описываем это поведение далее в разделе по "Dynamic & Correlation Effects".

Полезно построить аппроксимированное асимптотическое смещение в ${β_{0}}_{}^{ˆ}$ как функция обоих $β_{0}$ и $γ_{0}$ , видеть влияние варьирования степени автокорреляции в обоих $y_{t}$ и $e_{t}$ :

figure
beta = -1:0.05:1;
gamma = -1:0.05:1;
[Beta,Gamma] = meshgrid(beta,gamma);
hold on
surf(Beta,Gamma,Gamma.*(1-Beta.^2)./(1+Gamma.*Beta))
fig = gcf;
CM = fig.Colormap;
numC = size(CM,1);
zL = zlim;
zScale = zL(2)-zL(1);
iSim = (tBias2-zL(1))*numC/zScale;    
cSim = interp1(1:numC,CM,iSim);
hSim = plot3(beta0,gamma0,tBias2,'ko','MarkerSize',8,'MarkerFaceColor',cSim);
view(-20,20)
ax = gca;
u = ax.XTick;
v = ax.YTick;
mesh(u,v,zeros(length(v),length(u)),'FaceAlpha',0.7,'EdgeColor','k','LineStyle',':')
hold off
legend(hSim,'Simulated Model','Location','Best')
xlabel('\beta_0')
ylabel('\gamma_0')
zlabel('Bias')
title('{\bf Approximate Asymptotic Bias}')
camlight
colorbar
grid on

Асимптотическое смещение становится значительным когда $β_{0}$ и $γ_{0}$ переместитесь в противоположные направления далеко от нулевой автокорреляции. Конечно, смещение может быть значительно меньше в конечных выборках.

Динамический и эффекты корреляции

Как уже отмечалось, проблемы использования OLS для оценки динамической модели являются результатом нарушений предположений CLM. Два нарушения очень важны, и мы обсуждаем их эффекты здесь более подробно.

Первым является динамический эффект, вызванный корреляцией между предиктором $y_{t - 1}$ и все предыдущие инновации $e_{t - k}$ . Это происходит в любой модели AR и приводит к смещенным оценкам OLS от конечных выборок. В отсутствие других нарушений OLS, тем не менее, остается сопоставимым, и смещение исчезает в больших выборках.

Вторым является эффект корреляции, вызванный одновременной корреляцией между предиктором $y_{t - 1}$ и инновации $e_{t}$ . Это происходит, когда инновационный процесс автокоррелируется и приводит к коэффициенту OLS предиктора, получающего слишком много, или слишком мало, кредит на одновременные изменения в ответе, в зависимости от знака корреляции. Таким образом, это производит персистентное смещение.

Первый набор симуляций выше иллюстрирует ситуацию в который $β_{0}$ положительно и $γ_{0}$ нуль. Второй набор симуляций иллюстрирует ситуацию в который оба $β_{0}$ и $γ_{0}$ положительны. Для положительного $β_{0}$ , динамический эффект на ${β_{0}}_{}^{ˆ}$ отрицательно. Для положительного $γ_{0}$ , эффект корреляции на ${β_{0}}_{}^{ˆ}$ положительно. Таким образом в первом наборе симуляций существует отрицательное смещение через объемы выборки. Во втором наборе симуляций, однако, существует соревнование между этими двумя эффектами с динамическим доминированием эффекта в небольших выборках и доминированием эффекта корреляции в больших выборках.

Положительные коэффициенты AR распространены в эконометрических моделях, таким образом, это типично для этих двух эффектов сместить друг друга, создавая область значений объемов выборки, для которых значительно уменьшается смещение OLS. Ширина этой области значений зависит от $β_{0}$ и $γ_{0}$ , и определяет OLS-превосходящую область значений, в которой OLS превосходит по характеристикам альтернативные средства оценки, разработанные, чтобы непосредственно составлять автокорреляции в инновациях.

Некоторые факторы, влияющие на размер динамических эффектов и эффектов корреляции, получены в итоге в [9]. Среди них:

Динамический эффект

$•$ Увеличения с уменьшением объема выборки.

$•$ Уменьшения с увеличением $β_{0}$ если отклонение инноваций считается зафиксированное.

$•$ Уменьшения с увеличением $β_{0}$ если отклонение инноваций настроено, чтобы поддержать константу $R^{2}$ .

$•$ Увеличения с отклонением инноваций.

Эффект корреляции

$•$ Увеличения с увеличением $γ_{0}$ , на уменьшающемся уровне.

$•$ Уменьшения с увеличением $β_{0}$ , на увеличивающемся уровне.

Влияние этих факторов может быть протестировано путем изменения коэффициентов в симуляциях выше. В целом, чем больше динамический эффект и чем меньший эффект корреляции, тем шире, тем OLS-превосходящая область значений.

Сокращение смещения складного ножа

Процедура складного ножа является методом перекрестной проверки, обычно раньше уменьшал смещение демонстрационной статистики. Средства оценки Jacknife коэффициентов модели относительно легко вычислить без потребности в больших симуляциях или передискретизации.

Основная идея состоит в том, чтобы вычислить оценку из полной выборки и из последовательности подвыборок, затем объединить оценки способом, который устраняет некоторый фрагмент смещения. В целом, для выборки размера $T$ , смещение средства оценки OLS ${β_{0}}_{}^{ˆ}$ может быть выражен как расширение в степенях $T^{- 1}$ :

$E ({β_{0}}_{}^{ˆ}) - β_{0} = \frac{w_{1}}{T} + \frac{w_{2}}{T^{2}} + O (T^{- 3}),$

где веса $w_{1}$ и $w_{2}$ зависьте от определенного коэффициента и модели. Если оценки ${β_{i}}_{}^{ˆ}$ сделаны на последовательности $i = 1, . . ., m$ из подвыборок длины $l = O (T)$ , затем средство оценки складного ножа $β_{0}$ :

${β_{J}}_{}^{ˆ} = (\frac{T}{T - l}) {β_{0}}_{}^{ˆ} - (\frac{l}{T - l}) \frac{1}{m} \sum_{i = 1}^{m} {β_{i}}_{}^{ˆ} .$

Можно показать, что средство оценки складного ножа удовлетворяет:

$E ({β_{0}}_{}^{ˆ}) - β_{0} = O (T^{- 2}),$

таким образом удаление $O (T^{- 1})$ назовите от расширения смещения. Уменьшается ли смещение на самом деле, зависит от размера остающихся условий в расширении, но средства оценки складного ножа выполнили хорошо на практике. В частности, метод устойчив относительно ненормальных инноваций, эффектов ДУГИ и различного образцового misspecifications [2].

Функция Statistics and Machine Learning Toolbox™ jackknife реализует процедуру складного ножа с помощью систематической последовательности подвыборок, "пропускает один". Для временных рядов удаление наблюдений изменяет структуру автокорреляции. Чтобы поддержать структуру зависимости во временных рядах, процедура складного ножа должна использовать неперекрывающиеся подвыборки, такие как разделы или движущиеся блоки.

Следующие реализации простая оценка складного ножа ${β_{0}}_{}^{ˆ}$ использование раздела данных в каждой из симуляций, чтобы произвести поддемонстрационные оценки ${β_{i}}_{}^{ˆ}$ . Мы сравниваем производительность до и после складывания на моделируемых данных или с NID или с AR (1) инновации:

m = 5; % Number of subsamples

% Preallocate memory:
betaHat1 = zeros(m,1); % Subsample estimates, NID innovations
betaHat2 = zeros(m,1); % Subsample estimates, AR(1) innovations
BetaHat1J = zeros(numSizes,numPaths); % Jackknife estimates, NID innovations
BetaHat2J = zeros(numSizes,numPaths); % Jackknife estimates, AR(1) innovations

% Compute jackknife estimates:
for i = 1:numSizes
    
    n = T(i); % Sample size
    l = n/m;  % Length of partition subinterval
                
    for j = 1:numPaths
        
        for s = 1:m
              
            betaHat1(s) = LY1((s-1)*l+1:s*l,j)\Y1((s-1)*l+1:s*l,j);
            betaHat2(s) = LY2((s-1)*l+1:s*l,j)\Y2((s-1)*l+1:s*l,j);
            
            BetaHat1J(i,j) = (n/(n-l))*BetaHat1(i,j)-(l/((n-l)*m))*sum(betaHat1);
            BetaHat2J(i,j) = (n/(n-l))*BetaHat2(i,j)-(l/((n-l)*m))*sum(betaHat2);
            
        end
        
    end
    
end

clear BetaHat1 BetaHat2

% Display mean estimates, before and after jackknifing:
AggBetaHat1J = mean(BetaHat1J,2);
clear BetaHat1J
fprintf('%-6s%-8s%-8s\n','Size','Mean1','Mean1J')

Size  Mean1   Mean1J

for i = 1:numSizes
    fprintf('%-6u%-8.4f%-8.4f\n',T(i),AggBetaHat1(i),AggBetaHat1J(i))
end

10    0.7974  0.8055  
50    0.8683  0.8860  
100   0.8833  0.8955  
500   0.8964  0.8997  
1000  0.8981  0.8998

fprintf('\n')

AggBetaHat2J = mean(BetaHat2J,2);
clear BetaHat2J
fprintf('%-6s%-8s%-8s\n','Size','Mean2','Mean2J')

Size  Mean2   Mean2J

for i = 1:numSizes
    fprintf('%-6u%-8.4f%-8.4f\n',T(i),AggBetaHat2(i),AggBetaHat2J(i))
end

10    0.8545  0.8594  
50    0.9094  0.9233  
100   0.9201  0.9294  
500   0.9299  0.9323  
1000  0.9310  0.9323

Количество подвыборок, $m = 5$ , выбран с самым маленьким объемом выборки, $n = 10$ , в памяти. Больше $m$ может улучшать производительность в больших выборках, но нет никакой принятой эвристики для выбора подобъемов выборки, таким образом, некоторое экспериментирование необходимо. Код легко адаптируется, чтобы использовать альтернативные методы подвыборки, такие как перемещение блоков.

Результаты показывают универсальное сокращение смещения для случая инноваций NID. В случае AR (1) инновации, процедура, кажется, продвигает оценку более быстро через OLS-превосходящую область значений.

Сводные данные

Этот пример показывает простую модель AR, вместе с несколькими простыми инновационными структурами, как способ проиллюстрировать некоторые общие вопросы, связанные с оценкой динамических моделей. Код здесь легко изменяется, чтобы наблюдать эффекты изменения значений параметров, корректировки инновационного отклонения, использования различных структур задержки, и так далее. Объяснительные условия DL могут также быть добавлены к моделям. Условия DL имеют способность уменьшать смещение средства оценки, хотя OLS имеет тенденцию переоценивать коэффициенты AR за счет коэффициентов DL [11]. Общая настройка здесь допускает большое экспериментирование, как часто требуется при оценке моделей на практике.

При считании компромиссов представленными смещением и отклонением любого средства оценки, важно помнить, что смещенные оценки с уменьшаемым отклонением могут иметь превосходящие среднеквадратические ошибочные характеристики когда по сравнению с более высоким отклонением несмещенные средства оценки. Сильная сторона средства оценки OLS, вне его простоты в вычислении, является своей относительной эффективностью в сокращении ее отклонения с увеличением объема выборки. Это достаточно часто, чтобы принять OLS как предпочтительное средство оценки, даже для динамических моделей. Другая сильная сторона, когда этот пример показал, является присутствием OLS-превосходящей области значений, где OLS может превзойти другие средства оценки по характеристикам, даже под тем, что обычно рассматривается как неблагоприятные условия. Самое слабое место средства оценки OLS является своей производительностью в небольших выборках, где смещение и отклонение могут быть недопустимыми.

Вопросы оценки, поднятые в этом примере, предлагают, чтобы потребность в новых индикаторах автокорреляции и больше устойчивых методов оценки использовались в ее присутствии. Некоторые из этих методов описаны в примере на "Generalized Least Squares & HAC Estimators". Однако как мы видели, несоответствия средства оценки OLS для моделей AR с автокорреляцией недостаточно, чтобы исключить его, в целом, как жизнеспособный конкурент более сложных, сопоставимых средств оценки, таких как наибольшее правдоподобие, выполнимые обобщенные наименьшие квадраты, и инструментальные переменные, которые пытаются устранить эффект корреляции, но не изменяют динамический эффект. Лучший выбор будет зависеть от объема выборки, структуры задержки, присутствия внешних переменных, и так далее, и часто требует видов симуляций, представленных в этом примере.

Ссылки

[1] Breusch, T.S., и Л. Г. Годфри. "Анализ Недавней работы над Тестированием на Автокорреляцию в Динамических Одновременных Моделях". В Currie, D., Р. Нобей и Д. Пил (Редакторы)., Макроэкономический Анализ: Эссе в Макроэкономике и Эконометрике. Лондон: Руль Croom, 1981.

[2] Камеры, M. J. "Оценка складного ножа стационарных авторегрессивных моделей". Университет Эссексского документа для обсуждения № 684, 2011.

[3] Фишер, R. A.. "Плотность распределения Значений Коэффициента корреляции в Выборках от Неопределенно Значительной части населения". Biometrika. Vol 10, 1915, стр 507-521.

[4] Фишер, R. A. "При "Вероятной Ошибке" Коэффициента Корреляции, Выведенной из Небольшой выборки". Метрон. Vol 1, 1921, стр 3-32.

[5] Фишер, R. A. "Распределение Частичного Коэффициента корреляции". Метрон. Vol 3, 1924, стр 329-332.

[6] Hibbs, D. "Проблемы статистической оценки и причинного вывода в динамических моделях временных рядов". В Кеснере, H. (Эд). Социологическая методология. Сан-Франциско: Jossey-бас, 1974.

[7] Inder, B. A. "Конечная Демонстрационная Степень Тестов для Автокорреляции в Моделях, Содержащих Изолированные Зависимые переменные". Экономические Буквы. Vol 14, 1984, pp.179-185.

[8] Джонстон, J. Эконометрические методы. Нью-Йорк: McGraw-Hill, 1972.

[9] Maeshiro, A. "Преподавая Регрессии с Изолированной Зависимой переменной и Автокоррелироваными Воздействиями". Журнал Экономического Образования. Vol 27, 1996, стр 72-84.

[10] Maeshiro, A. "Рисунок смещения OLS для $Y_{t} = λ Y_{t - 1} + U_{t}$ ." Журнал Экономического Образования. Vol 31, 2000, стр 76-80.

[11] Malinvaud, E. Статистические методы эконометрики. Амстердам: северная Голландия, 1970.

[12] Marriott, F. и J. Папа Римский. "Сместите по Оценке Автокорреляций". Biometrika. Vol 41, 1954, стр 390-402.

[13] Белый, J. S. "Асимптотические Расширения для Среднего значения и Отклонения Сериального коэффициента корреляции". Biometrika. Vol 48, 1961, стр 85-94.

Документация