Введение

Анализ данных о кредитном дефолте в предыдущих примерах в этой серии предложил ряд различных моделей, используя различные преобразования данных и различных подмножеств предикторов. Остаточный анализ является важным шагом для уменьшения количества рассмотренных моделей, оценки опций и предложения путей назад к респецификации. Многофакторные линейные регрессии (MLR) с невязками, которые заметно отходят от допущений классической линейной модели (CLM) (обсуждаются в примере Регрессия временных рядов I: Линейные модели) вряд ли будут хорошо работать, или в объяснении переменных отношений, или в предсказании новых откликов. Многие статистические тесты были разработаны для оценки допущений CLM о процессе инноваций, как показано в остаточных рядах. Мы исследуем некоторые из этих тестов здесь.

Начнем с загрузки соответствующих данных из предыдущего примера Временные Ряды Regression V: Predictor Selection:

load Data_TSReg5

Невязка Графиков

Следующее создает остаточные графики для каждой модели, идентифицированной в предыдущем примере, в каждой из двух категорий модели (недифференцированные и дифференцированные данные):

map = cool(3); % Model color map 

% Undifferenced data:

res0 = M0.Residuals.Raw;
res0SW = M0SW.Residuals.Raw;
res0SWAC = M0SWAC.Residuals.Raw;

model0Res = [res0,res0SW,res0SWAC];

figure
hold on
ax = gca;
ax.ColorOrder = map;
plot(dates,model0Res,'.-','LineWidth',2,'MarkerSize',20)
plot(dates,zeros(size(dates)),'k-','LineWidth',2)
hold off
legend({'M0', 'M0SW', 'M0SWAC'},'Location','N')
xlabel('Year') 
ylabel('Residual') 
title('{\bf Model Residuals (Undifferenced Data)}')
axis tight
grid on

% Differenced data:

resD1 = MD1.Residuals.Raw;
res0SW = MD1SW.Residuals.Raw;
res0SWAC = MD1SWA.Residuals.Raw;

modelD1Res = NaN(length(dates),3);
modelD1Res(2:end,:) = [resD1,res0SW,res0SWAC];

figure
hold on
ax = gca;
ax.ColorOrder = map;
plot(dates,modelD1Res,'.-','LineWidth',2,'MarkerSize',20)
plot(dates,zeros(size(dates)),'k-','LineWidth',2)
hold off
legend({'MD1', 'MD1SW', 'MD1SWA'},'Location','N')
xlabel('Year') 
ylabel('Residual') 
title('{\bf Model Residuals (Differenced Data)}')
axis tight
grid on

Для каждой модели невязки рассеиваются вокруг среднего около нуля, как они должны, без явных трендов или шаблонов, указывающих на миссидификацию. Шкала невязок на несколько порядков величины меньше, чем шкала исходных данных (см. Пример Регрессии временных рядов I: Линейные модели), что является признаком того, что модели захватили значительный фрагмент процесса генерации данных (DGP). По-видимому, существуют некоторые свидетельства автокорреляции в нескольких постоянно положительных или отрицательных отклонениях от среднего, особенно в недифференцированных данных. Небольшое количество гетероскедастичности также очевидно, хотя для визуальной оценки трудно отделить это от случайных изменений в такой небольшой выборке.

Автокорреляция

При наличии автокорреляции оценки OLS остаются объективными, но они больше не имеют минимального отклонения среди объективных оценок. Это является значительной проблемой в небольших выборках, где доверительные интервалы будут относительно большими. Добавляя задачу, автокорреляция вводит смещение в стандартные оценки отклонения, даже асимптотически. Поскольку автокорреляции в экономических данных, вероятно, будут положительными, отражая сходные случайные факторы и опущенные переменные, перенесенные с одного временного периода на следующий, оценки отклонения, как правило, смещаются вниз к t-тестам с чрезмерно оптимистичными заявлениями о точности. Результатом является то, что оценка интервала и проверка гипотез становятся ненадежными. Рекомендуются более консервативные уровни значимости для t-тестов. Робастность оценок зависит от степени или стойкости автокорреляций, влияющих на текущие наблюдения.

The autocorr функция, без выходных аргументов, производит автокоррелограмму невязок, и дает быстрое визуальное взятие остаточной автокорреляционной структуры:

figure
autocorr(res0)
title('{\bf M0 Residual Autocorrelations}')

Нет никаких доказательств автокорреляции за пределами двух стандартных полос ошибок Бартлетта для белого шума, заданных синими линиями.

Статистика Дурбина-Ватсона [3] является показателем автокорреляции, наиболее часто сообщаемым в эконометрическом анализе. Одна из причин заключается в том, что его легко вычислить. Для M0 модель:

diffRes0 = diff(res0);  
SSE0 = res0'*res0;
DW0 = (diffRes0'*diffRes0)/SSE0 % Durbin-Watson statistic

DW0 = 2.1474

В предположениях стационарных, обычно распределенных инноваций, статистическая величина приблизительно $$2(1-{\rho }_1)$$, где $${\rho }_1$$ - автокорреляция первого порядка (одинарная задержка), рассчитанная по autocorr:

rho0 = autocorr(res0,'NumLags',1); % Sample autocorrelations at lags, 0, 1
DW0Normal = 2*(1-rho0(2))

DW0Normal = 2.1676

Статистика около 2 не предоставляет никаких доказательств автокорреляции первого порядка. Соответствующие p-значения для статистики вычисляются dwtest метод LinearModel класс:

[pValueDW0,DW0] = dwtest(M0)

pValueDW0 = 0.8943

DW0 = 2.1474

Значение p для значения null без автокорреляции первого порядка намного выше стандартного 5% критического значения.

Экономисты традиционно полагались на правило большого пальца, что статистика Дурбина-Ватсона ниже примерно 1,5 является причиной подозревать положительную автокорреляцию первого порядка. Это специальное критическое значение игнорирует зависимость от размера выборки, но это призвано быть консервативным руководством, учитывая серьезные последствия игнорирования автокорреляции.

Тест Дурбина-Ватсона, хотя традиционно очень популярный, имеет ряд недостатков. Кроме своего предположения о стационарных, нормально распределенных инновациях и своей способности обнаруживать только автокорреляцию первого порядка, он очень чувствителен к другим миссидификациям модели. То есть он мощен против многих альтернатив, для которых тест не предназначен. Это также недопустимо при наличии переменных с запаздывающим откликом (см. Пример Временных рядов Регрессия VIII: Задержанные переменные и смещение оценщика).

Q-тест Ljung-Box [5], реализованный функцией lbqtest, тесты на «общее» или «портманто» отсутствие автокорреляции. Он рассматривает лаги до заданного порядка L, и так же является естественным расширением теста Дурбина-Ватсона первого порядка. Следующее проверяет M0 невязки для автокорреляции при L = 5, 10 и 15:

[hLBQ0,pValueLBQ0] = lbqtest(res0,'Lags',[5,10,15])

hLBQ0 = 1x3 logical array

   0   0   0

pValueLBQ0 = 1×3

    0.8175    0.1814    0.2890

На уровне значимости 5% по умолчанию тест не может отклонить значение null отсутствия автокорреляции в каждой из расширенных структур задержки. Результаты аналогичны для MD1 модель, но гораздо более высокие p-значения указывают еще меньше доказательств отклонения null:

[hLBQD1,pValueLBQD1] = lbqtest(resD1,'Lags',[5,10,15])

hLBQD1 = 1x3 logical array

   0   0   0

pValueLBQD1 = 1×3

    0.9349    0.7287    0.9466

Q-тест также имеет свои недостатки. Если L слишком мал, тест не обнаружит автокорреляции более высокого порядка. Если он слишком велик, тест потеряет степень, поскольку значительная корреляция при любой задержке может быть вымыта незначительными корреляциями при других лагах. Кроме того, тест мощен против последовательных зависимостей, отличных от автокорреляции.

Другой недостаток Q-теста заключается в том, что используемые тестом распределения хи-квадрат по умолчанию являются асимптотическими и могут привести к ненадежным результатам в небольших выборках. Для моделей ARMA (p, q), для которых был разработан тест, получаются более точные распределения, если количество степеней свободы уменьшается на количество оцененных коэффициентов, p + q. Это ограничивает тест, однако, значениями L, большими, чем p + q, поскольку степени свободы должны быть положительными. Подобные корректировки могут быть сделаны для общих регрессионых моделей, но lbqtest не делает этого по умолчанию.

Другой тест на «общее» отсутствие автокорреляции - тест запусков, реализованный функцией runstest, что определяет, отклоняются ли знаки невязок систематически от нуля. Тест ищет длительные запуски либо того же знака (положительная автокорреляция), либо чередующихся признаков (отрицательная автокорреляция):

[hRT0,pValueRT0] = runstest(res0)

hRT0 = 0

pValueRT0 = 0.2878

Тест не может отклонить значение null случайности в невязках M0 модель.

Автокоррелированные невязки могут быть признаком значительной ошибки спецификации, при которой опущенные, автокоррелированные переменные стали неявными компонентами инновационного процесса. Отсутствие каких-либо теоретических предположений о том, какими могут быть эти переменные, типичным средством устранения является включение запаздывающих значений переменной отклика среди предикторов при задержках до порядка автокорреляции. Введение в модель такого рода динамической зависимости, однако, является значительным отходом от статической спецификации MLR. Динамические модели представляют новый набор факторов относительно допущений CLM и рассматриваются в примере Временные Ряды Regression VIII: Lagged Variables and Estimator Bias.

Heteroscedasticity

Гетероскедастичность возникает, когда отклонение предикторов и процесс инноваций дают в совокупности условное отклонение в отклике. Явление обычно связано с данными поперечных сечений, где систематические изменения ошибки измерения могут происходить между наблюдениями. В данных временных рядов гетероскедастичность чаще является результатом взаимодействий между предикторами модели и опущенными переменными, и так же является еще одним признаком фундаментальной миссидификации. Оценки OLS в присутствии гетероскедастичности показывают фактически идентичные проблемы, связанные с автокорреляцией; они объективны, но больше не имеют минимального отклонения среди объективных оценок, и стандартные формулы для отклонения оценщика становятся предвзятыми. Однако исследования Монте-Карло предполагают, что эффекты на оценку интервала обычно довольно незначительны [1]. Если гетероскедастичность не выражена, искажение стандартных ошибок невелико, и тесты на значимость в значительной степени не затрагиваются. С большинством экономических данных эффекты гетероскедастичности будут незначительными по сравнению с эффектами автокорреляции.

Тест ARCH Engle [4], реализованный archtest функция является примером теста, используемого для выявления остаточной гетероскедастичности. Он оценивает нулевую гипотезу о серии невязок $$r_t$$ не проявляет условной гетероскедастичности (эффекты ARCH), против альтернативы, что модель ARCH (L)

описывает серию по крайней мере с одним ненулевым $$a_k$$ для $$k=0,...,L$$. Здесь $${\zeta }_t$$ является независимым инновационным процессом. Невязки в процессе ARCH зависимы, но не коррелированы, поэтому тест на гетероскедастичность без автокорреляции.

Применение теста к M0 остаточный ряд с лагами L = 5, 10 и 15 дает:

[hARCH0,pARCH0] = archtest(res0,'Lags',[5,10,15])

hARCH0 = 1x3 logical array

   0   0   0

pARCH0 = 1×3

    0.4200    0.3575    0.9797

Тест не обнаружил признаков гетероскедастичности в невязках. Для MD1 моделировать доказательства еще слабее:

[hARCHD1,pARCHD1] = archtest(resD1,'Lags',[5,10,15])

hARCHD1 = 1x3 logical array

   0   0   0

pARCHD1 = 1×3

    0.5535    0.4405    0.9921

Распределение

Предположение, что процесс инноваций обычно распределен, не требуется теоремой Гаусса-Маркова, но необходимо, чтобы доверительные интервалы были построены с использованием стандартных методов, и для t и F тестов, чтобы предоставить точные оценки предикторной значимости. Предположение особенно важно в малых выборках, где теорема Центрального предела не может полагаться, чтобы обеспечить приблизительно нормальные распределения оценок, независимо от распределения инноваций.

Обычным обоснованием для допущения нормальности является то, что инновации являются суммой присущей стохастичности плюс все переменные, опущенные из регрессии. Теорема Central Limit говорит, что эта сумма приблизится к нормальности, когда количество опущенных переменных увеличивается. Однако этот вывод зависит от того, какие опущенные переменные являются независимыми друг от друга, и это часто неоправданно на практике. Таким образом, для небольших выборок, независимо от результатов автокорреляции и гетероскедастичности, проверка допущения нормальности является важным компонентом точной спецификации.

График нормальной вероятности остаточного ряда дает быструю оценку:

figure
hNPlot0 = normplot(model0Res);
legend({'M0', 'M0SW', 'M0SWAC'},'Location','Best')
title('{\bf Model Residuals (Undifferenced Data)}')
set(hNPlot0,'Marker','.')
set(hNPlot0([1 4 7]),'Color',map(1,:))
set(hNPlot0([2 5 8]),'Color',map(2,:))
set(hNPlot0([3 6 9]),'Color',map(3,:))
set(hNPlot0,'LineWidth',2)
set(hNPlot0,'MarkerSize',20)

figure
hNPlotD1 = normplot(modelD1Res);
legend({'MD1', 'MD1SW', 'MD1SWA'},'Location','Best')
title('{\bf Model Residuals (Differenced Data)}')
set(hNPlotD1,'Marker','.')
set(hNPlotD1([1 4 7]),'Color',map(1,:))
set(hNPlotD1([2 5 8]),'Color',map(2,:))
set(hNPlotD1([3 6 9]),'Color',map(3,:))
set(hNPlotD1,'LineWidth',2)
set(hNPlotD1,'MarkerSize',20)

Графики показывают эмпирическую вероятность от остаточных значений. Сплошные линии соединяют 25-й и 75-й процентили в данных, затем удлиняются штриховыми линиями. Вертикальная шкала нелинейна, расстояние между отметками деления равно расстоянию между нормальными величинами. Если данные падают рядом с линией, предположение о нормальности разумно. Здесь мы видим очевидное отклонение от нормальности для данных с большими невязками (снова, особенно в недифференцированных данных), что указывает на то, что распределения могут быть искажены. Очевидно, что удаление наиболее влиятельных наблюдений, рассмотренных в примере «Регрессия временных рядов III: Влиятельные наблюдения», улучшит нормальность невязок.

Рекомендуется подтвердить любой визуальный анализ соответствующим тестом. Существует много статистических тестов для распределительных предположений, но тест Lilliefors, реализованный lillietest function, является тестом нормальности, разработанным специально для небольших выборок:

[hNorm0,pNorm0] = lillietest(res0)

hNorm0 = 1

pNorm0 = 0.0484

На уровне значимости 5% по умолчанию тест отклоняет нормальность в M0 серия, но едва ли. Тест не находит причин отклонять нормальность в MD1 данные:

s = warning('off','stats:lillietest:OutOfRangePHigh'); % Turn off small statistic warning
[hNormD1,pNormD1] = lillietest(resD1)

hNormD1 = 0

pNormD1 = 0.5000

warning(s) % Restore warning state

Статистическая величина находится на краю таблицы критических значений, сведенных в таблицу lillietest, и сообщается самое большое значение p.

Общим средством для ненормальности является применение преобразования Box-Cox к переменной отклика [2]. В отличие от логарифмических и силовых преобразований предикторов, которые в основном используются для создания линейности и облегчения удаления тренда, преобразования Box-Cox предназначены для создания нормальности в невязках. Они часто имеют положительный побочный эффект регуляции остаточного отклонения.

В совокупности преобразования Box-Cox образуют параметризованное семейство с log и стандартизированные преобразования степени как особые случаи. Преобразование с параметром $$\lambda$$ заменяет переменную отклика $$y_t$$ с переменной:

для $$\lambda \ne 0$$. Для $$\lambda =0$$, преобразование задается его предельным значением, журнал ($$y_t$$).

The boxcox функция в Financial Toolbox находит параметр $${\lambda }_0$$ что максимизирует нормальную логарифмическую правдоподобность невязок. Чтобы применить функцию к IGD данные в y0, необходимо возмущать нулевые ставки дефолта, чтобы сделать их положительными:

alpha = 0.01;
y0(y0 == 0) = alpha;
% y0BC = boxcox(y0); % In Financial Toolbox
y0BC = [-3.5159
        -1.6942
        -3.5159
        -3.5159
        -1.7306
        -1.7565
        -1.4580
        -3.5159
        -3.5159
        -2.4760
        -2.5537
        -3.5159
        -2.1858
        -1.7071
        -1.7277
        -1.5625
        -1.4405
        -0.7422
        -2.0047
        -3.5159
        -2.8346];

Преобразование чувствительно к значению alpha, что добавляет осложнения уровня к анализу. Тест Лиллифорса, однако, подтверждает, что преобразование имеет желаемый эффект:

M0BC = fitlm(X0,y0BC);
res0BC = M0BC.Residuals.Raw;
[hNorm0BC,pNorm0BC] = lillietest(res0BC)

hNorm0BC = 0

pNorm0BC = 0.4523

warning(s) % Restore warning state

Поскольку доказательства ненормальности в исходном остаточном ряду незначительны, мы не проводим подстройку преобразования Box-Cox.

Сводные данные

Основной целью остаточного анализа является проверка допущений CLM и поиск доказательств определения модели. Шаблоны в невязках предполагают возможности респецификации для получения модели с более точными оценками коэффициентов OLS, повышенной объяснительной степенью и лучшей прогнозной эффективностью.

Различные модели могут демонстрировать одинаковые остаточные характеристики. Если это так, то альтернативные модели могут потребоваться сохранить и дополнительно оценить на этапе прогнозирования. С точки зрения прогнозирования, если модель успешно представила всю систематическую информацию в данных, то невязками должны быть белый шум. То есть, если нововведениями являются белый шум, а модель имитирует DGP, то одноэтапными ошибками прогноза должны быть белый шум. Невязки модели являются выборочными показателями этих выборочных ошибок прогноза. Прогнозная эффективность рассматриваются в примере Регрессия временных рядов VII: Прогнозирование.

Проблемы оценки OLS, связанные с небелыми инновациями, в сочетании с ограниченными опциями для уважения многих экономических моделей, привели к фактору более устойчивой гетероскедастичности и допустимой автокорреляции (HAC) оценок отклонения, таких как оценки Хансена-Уайта и Ньюи-Уэста, которые устраняют асимптотические (хотя и Пересмотренные методы оценки, такие как обобщенные наименьшие квадраты (GLS), также были разработаны для оценки коэффициентов в этих случаях. GLS предназначен для придания меньшего веса влиятельным наблюдениям с большими невязками. Оценщик GLS является BLUE (см. Пример Регрессии временных рядов I: Линейные Модели), и эквивалентен максимальной оценке правдоподобия (MLE), когда нововведения нормальны. Эти методы рассматриваются в примере Регрессия временных рядов X: Обобщенные оценки методом наименьших квадратов и HAC.