Введение

Анализ данных кредитного дефолта в предыдущих примерах в этой серии предложил ряд различных моделей, использующих различные преобразования данных и различные подмножества предикторов. Остаточный анализ является важным шагом для сокращения числа рассматриваемых моделей, оценки вариантов и предложения путей обратно к рефекификации. Модели множественной линейной регрессии (MLR) с остатками, которые заметно отходят от предположений классической линейной модели (CLM) (обсуждаемые в примере Регрессия временных рядов I: Линейные модели), вряд ли будут работать хорошо, либо в объяснении переменных отношений, либо в прогнозировании новых ответов. Было разработано много статистических тестов для оценки предположений CLM о процессе инноваций, что проявляется в остаточных рядах. Мы рассмотрим некоторые из этих тестов здесь.

Мы начинаем с загрузки соответствующих данных из предыдущего примера Регрессия временного ряда V: Выбор предиктора:

load Data_TSReg5

Остаточные графики

Ниже приводятся остаточные графики для каждой модели, определенной в предыдущем примере, в каждой из двух категорий моделей (недифференцированные и разностные данные):

map = cool(3); % Model color map 

% Undifferenced data:

res0 = M0.Residuals.Raw;
res0SW = M0SW.Residuals.Raw;
res0SWAC = M0SWAC.Residuals.Raw;

model0Res = [res0,res0SW,res0SWAC];

figure
hold on
ax = gca;
ax.ColorOrder = map;
plot(dates,model0Res,'.-','LineWidth',2,'MarkerSize',20)
plot(dates,zeros(size(dates)),'k-','LineWidth',2)
hold off
legend({'M0', 'M0SW', 'M0SWAC'},'Location','N')
xlabel('Year') 
ylabel('Residual') 
title('{\bf Model Residuals (Undifferenced Data)}')
axis tight
grid on

% Differenced data:

resD1 = MD1.Residuals.Raw;
res0SW = MD1SW.Residuals.Raw;
res0SWAC = MD1SWA.Residuals.Raw;

modelD1Res = NaN(length(dates),3);
modelD1Res(2:end,:) = [resD1,res0SW,res0SWAC];

figure
hold on
ax = gca;
ax.ColorOrder = map;
plot(dates,modelD1Res,'.-','LineWidth',2,'MarkerSize',20)
plot(dates,zeros(size(dates)),'k-','LineWidth',2)
hold off
legend({'MD1', 'MD1SW', 'MD1SWA'},'Location','N')
xlabel('Year') 
ylabel('Residual') 
title('{\bf Model Residuals (Differenced Data)}')
axis tight
grid on

Для каждой модели остатки рассеиваются вокруг среднего, близкого к нулю, как и должно, без явных тенденций или закономерностей, указывающих на отсутствие конкретизации. Масштаб остатков на несколько порядков меньше, чем масштаб исходных данных (см. пример Регрессия временных рядов I: Линейные модели), что является признаком того, что модели захватили значительную часть процесса генерации данных (DGP). По-видимому, имеются некоторые доказательства автокорреляции в нескольких из постоянно положительных или отрицательных отклонений от среднего значения, особенно в недифференцированных данных. Небольшое количество гетероскедастичности также очевидно, хотя для визуальной оценки трудно отделить это от случайных изменений в таком небольшом образце.

Автокорреляция

При наличии автокорреляции оценки ОЛС остаются непредвзятыми, но они больше не имеют минимальной дисперсии среди непредвзятых оценок. Это является существенной проблемой в небольших образцах, где доверительные интервалы будут относительно большими. Усугубляя проблему, автокорреляция вносит смещение в стандартные оценки дисперсии, даже асимптотически. Поскольку автокорреляции в экономических данных, вероятно, будут положительными, отражая аналогичные случайные факторы и пропущенные переменные, перенесенные с одного периода времени на следующий, оценки дисперсии имеют тенденцию смещаться вниз, в сторону t-тестов с чрезмерно оптимистичными утверждениями о точности. В результате оценка интервала и проверка гипотез становятся ненадежными. Рекомендуется более консервативные уровни значимости для t-тестов. Надежность оценок зависит от степени или стойкости автокорреляций, влияющих на текущие наблюдения.

autocorr функция без выходных аргументов создает автокорреграмму остатков и дает быстрое визуальное восприятие остаточной структуры автокорреляции:

figure
autocorr(res0)
title('{\bf M0 Residual Autocorrelations}')

Нет никаких доказательств автокорреляции за пределами диапазонов Бартлетта с двумя стандартными ошибками для белого шума, задаваемого синими линиями.

Статистика Дурбина-Уотсона [3] - это показатель автокорреляции, наиболее часто приводимый в эконометрическом анализе. Одна из причин в том, что это легко вычислить. Для M0 модель:

diffRes0 = diff(res0);  
SSE0 = res0'*res0;
DW0 = (diffRes0'*diffRes0)/SSE0 % Durbin-Watson statistic

DW0 = 2.1474

В предположениях стационарных, нормально распределенных инноваций статистика составляет приблизительно $$2\mathrm{(}{}_{\mathrm{}}1-\alpha 1$$), где $${}_{\mathrm{}}$$α1 - автокорреляция первого порядка (одиночное отставание), оцененная autocorr:

rho0 = autocorr(res0,'NumLags',1); % Sample autocorrelations at lags, 0, 1
DW0Normal = 2*(1-rho0(2))

DW0Normal = 2.1676

Статистика вблизи 2 не дает доказательств автокорреляции первого порядка. Соответствующие значения p для статистики вычисляются с помощью dwtest способ LinearModel класс:

[pValueDW0,DW0] = dwtest(M0)

pValueDW0 = 0.8943

DW0 = 2.1474

Значение p для нуля без автокорреляции первого порядка значительно выше стандартного 5% критического значения.

Эконометрики традиционно опирались на правило большого пальца, что статистика Дурбина-Уотсона ниже около 1,5 является причиной подозревать положительную автокорреляцию первого порядка. Это специальное критическое значение игнорирует зависимость от размера выборки, но оно должно быть консервативным руководством, учитывая серьезные последствия игнорирования автокорреляции.

Тест Дурбина-Уотсона, хотя он традиционно очень популярен, имеет ряд недостатков. Помимо предположения о стационарных, обычно распределенных инновациях и его способности обнаруживать только автокорреляцию первого порядка, он очень чувствителен к другим ошибкам модели. То есть он мощен против многих альтернатив, для которых тест не рассчитан. Он также недопустим при наличии запаздывающих переменных отклика (см. пример Регрессия временного ряда VIII: запаздывающие переменные и смещение оценщика).

Q-тест Ljung-Box [5], реализуемый функцией lbqtest, тесты на «общее» или «портманто» отсутствие автокорреляции. Он рассматривает задержки до заданного порядка L, и также является естественным расширением теста Дурбина-Ватсона первого порядка. Следующие тесты M0 остатки для автокорреляции при L = 5, 10 и 15:

[hLBQ0,pValueLBQ0] = lbqtest(res0,'Lags',[5,10,15])

hLBQ0 = 1x3 logical array

   0   0   0

pValueLBQ0 = 1×3

    0.8175    0.1814    0.2890

При уровне значимости по умолчанию 5% тест не отклоняет нулевое значение отсутствия автокорреляции в каждой из расширенных структур запаздывания. Результаты аналогичны для MD1 модель, но гораздо более высокие значения p указывают на еще меньшее доказательство отклонения null:

[hLBQD1,pValueLBQD1] = lbqtest(resD1,'Lags',[5,10,15])

hLBQD1 = 1x3 logical array

   0   0   0

pValueLBQD1 = 1×3

    0.9349    0.7287    0.9466

Q-тест также имеет свои недостатки. Если L слишком мал, тест не обнаружит автокорреляции более высокого порядка. Если он слишком велик, тест потеряет мощность, так как значительная корреляция при любом запаздывании может быть смыта незначительными корреляциями при других запаздываниях. Кроме того, тест является мощным против последовательных зависимостей, отличных от автокорреляции.

Другим недостатком Q-теста является то, что распределения хи-квадрат по умолчанию, используемые тестом, являются асимптотическими и могут давать ненадежные результаты в небольших выборках. Для моделей ARMA (p, q), для которых был разработан тест, более точные распределения получаются, если число степеней свободы уменьшено на число оцененных коэффициентов, p + q. Это ограничивает тест, однако, значениями L больше, чем p + q, поскольку степени свободы должны быть положительными. Аналогичные корректировки могут быть сделаны для моделей общей регрессии, ноlbqtest не делает этого по умолчанию.

Другим тестом на «общее» отсутствие автокорреляции является тест прогонов, реализуемый функцией runstest, которая определяет, отклоняются ли знаки остатков систематически от нуля. Тест ищет длинные серии одного и того же знака (положительная автокорреляция) или чередующихся знаков (отрицательная автокорреляция):

[hRT0,pValueRT0] = runstest(res0)

hRT0 = 0

pValueRT0 = 0.2878

Тест не отклоняет нулевое значение случайности в остатках M0 модель.

Автокоррелированные остатки могут быть признаком значительной ошибки спецификации, в которой опущенные автокоррелированные переменные стали неявными компонентами процесса инноваций. В отсутствие каких-либо теоретических предположений о том, какими могут быть эти переменные, типичным средством является включение запаздывающих значений переменной ответа среди предикторов с отставанием до порядка автокорреляции. Однако введение такого рода динамической зависимости в модель является существенным отходом от статической спецификации MLR. Динамические модели представляют новый набор соображений относительно допущений CLM и рассматриваются в примере Регрессия временного ряда VIII: запаздывающие переменные и смещение оценщика.

Heteroscedasticity

Гетероскедастичность возникает, когда дисперсия предикторов и инновационный процесс в совокупности создают условную дисперсию в ответе. Явление обычно связано с данными поперечного сечения, где в наблюдениях могут происходить систематические вариации погрешности измерения. В данных временных рядов гетероскедастичность чаще является результатом взаимодействий между предикторами модели и опущенными переменными, и это также является еще одним признаком фундаментальной нечеткости. Оценки OLS в присутствии гетероскедастичности демонстрируют практически идентичные проблемы, связанные с автокорреляцией; они являются несмещенными, но больше не имеют минимальной дисперсии среди несмещенных оценщиков, и стандартные формулы для дисперсии оценщика становятся смещенными. Однако исследования Монте-Карло показывают, что влияние на оценку интервала обычно довольно незначительное [1]. Если гетероскедастичность не выражена, искажение стандартных ошибок мало, и тесты значимости в значительной степени не затрагиваются. При большинстве экономических данных эффекты гетероскедастичности будут незначительными по сравнению с эффектами автокорреляции.

Тест ARCH Энгла [4], реализованный archtest функция является примером теста, используемого для идентификации остаточной гетероскедастичности. Он оценивает нулевую гипотезу о том, что ряд остатков $${}_{\mathrm{rt}}$$ не проявляет условной гетероскедастичности (эффекты ARCH), против альтернативы, которую модель ARCH (L)

описывает ряд по меньшей мере с одним ненулевым $${}_{\mathrm{ak}}$$ для $$k\mathrm{=}0,...$$, L. $${}_{\mathrm{В\; данном\; случае}}$$ startt представляет собой самостоятельный инновационный процесс. Остатки в процессе ARCH зависят, но не коррелируются, поэтому тест проводится на гетероскедастичность без автокорреляции.

Применение теста к M0 остаточные ряды с лагами L = 5, 10 и 15 дают:

[hARCH0,pARCH0] = archtest(res0,'Lags',[5,10,15])

hARCH0 = 1x3 logical array

   0   0   0

pARCH0 = 1×3

    0.4200    0.3575    0.9797

Тест не обнаруживает доказательств гетероскедастичности в остатках. Для MD1 модель доказательства еще слабее:

[hARCHD1,pARCHD1] = archtest(resD1,'Lags',[5,10,15])

hARCHD1 = 1x3 logical array

   0   0   0

pARCHD1 = 1×3

    0.5535    0.4405    0.9921

Распределение

Предположение, что процесс инноваций нормально распределен, не требуется теоремой Гаусса - Маркова, но необходимо, чтобы доверительные интервалы были построены с использованием стандартных методик, и чтобы t и F тесты обеспечивали точные оценки значимости предиктора. Предположение особенно важно в небольших выборках, где на теорему о Центральном пределе нельзя полагаться для обеспечения приблизительно нормальных распределений оценок, не зависящих от распределения инноваций.

Обычное обоснование предположения о нормальности состоит в том, что инновации представляют собой сумму присущей стохастичности плюс все переменные, пропущенные из регрессии. Теорема о центральном пределе говорит, что эта сумма будет приближаться к нормальности по мере увеличения числа опущенных переменных. Однако этот вывод зависит от того, являются ли опущенные переменные независимыми друг от друга, и это часто неоправданно на практике. Таким образом, для небольших образцов, независимо от результатов по автокорреляции и гетероскедастичности, проверка предположения о нормальности является важным компонентом точной спецификации.

График нормальной вероятности остаточного ряда дает быструю оценку:

figure
hNPlot0 = normplot(model0Res);
legend({'M0', 'M0SW', 'M0SWAC'},'Location','Best')
title('{\bf Model Residuals (Undifferenced Data)}')
set(hNPlot0,'Marker','.')
set(hNPlot0([1 4 7]),'Color',map(1,:))
set(hNPlot0([2 5 8]),'Color',map(2,:))
set(hNPlot0([3 6 9]),'Color',map(3,:))
set(hNPlot0,'LineWidth',2)
set(hNPlot0,'MarkerSize',20)

figure
hNPlotD1 = normplot(modelD1Res);
legend({'MD1', 'MD1SW', 'MD1SWA'},'Location','Best')
title('{\bf Model Residuals (Differenced Data)}')
set(hNPlotD1,'Marker','.')
set(hNPlotD1([1 4 7]),'Color',map(1,:))
set(hNPlotD1([2 5 8]),'Color',map(2,:))
set(hNPlotD1([3 6 9]),'Color',map(3,:))
set(hNPlotD1,'LineWidth',2)
set(hNPlotD1,'MarkerSize',20)

Графики показывают эмпирическую вероятность в сравнении с остаточным значением. Сплошные линии соединяют 25-й и 75-й процентили в данных, затем удлиняются пунктирными линиями. Вертикальная шкала нелинейна, при этом расстояние между делениями равно расстоянию между нормальными квантилями. Если данные падают вблизи линии, предположение о нормальности является разумным. Здесь мы видим очевидный отход от нормальности для данных с большими остатками (опять же, особенно в недифференцированных данных), указывая на то, что распределения могут быть искажены. Очевидно, что удаление наиболее влиятельных наблюдений, рассматриваемых в примере Регрессия временного ряда III: Влиятельные наблюдения, улучшило бы нормальность остатков.

Рекомендуется подтвердить любой визуальный анализ соответствующим тестом. Существует много статистических тестов для распределительных предположений, но тест Лиллиефорса, реализованный lillietest функция - тест на нормальность, разработанный специально для небольших образцов:

[hNorm0,pNorm0] = lillietest(res0)

hNorm0 = 1

pNorm0 = 0.0484

При уровне значимости по умолчанию 5% тест отклоняет нормальность в M0 серия, но едва ли. Тест не находит причин отклонять нормальность в MD1 данные:

s = warning('off','stats:lillietest:OutOfRangePHigh'); % Turn off small statistic warning
[hNormD1,pNormD1] = lillietest(resD1)

hNormD1 = 0

pNormD1 = 0.5000

warning(s) % Restore warning state

Статистика находится на краю таблицы критических значений, табулированных lillietestи сообщается наибольшее значение p.

Обычным средством от ненормальности является применение преобразования Бокса-Кокса к переменной ответа [2]. В отличие от логарифмических и силовых преобразований предикторов, которые в первую очередь используются для получения линейности и облегчения удаления тренда, преобразования Бокса-Кокса предназначены для получения нормальности в остатках. Они часто имеют положительный побочный эффект регуляризации остаточной дисперсии.

В совокупности преобразования Box-Cox образуют параметризованное семейство с log и стандартизированные преобразования мощности в особых случаях. Преобразование с параметром $$\lambda$$ заменяет ответную переменную $${}_{\mathrm{yt}}$$ переменной:

для $$\mathrm{\lambda \ne 0}$$. Для $$\lambda \mathrm{=}$$0 преобразование задается его предельным значением log $${}_{}$$(yt).

boxcox функция в Financial Toolbox находит параметр $${}_{\mathrm{\lambda \; 0}}$$, который максимизирует нормальную логику остатков. Применение функции к IGD данные в y0, необходимо возмущать нулевые ставки по умолчанию, чтобы сделать их положительными:

alpha = 0.01;
y0(y0 == 0) = alpha;
% y0BC = boxcox(y0); % In Financial Toolbox
y0BC = [-3.5159
        -1.6942
        -3.5159
        -3.5159
        -1.7306
        -1.7565
        -1.4580
        -3.5159
        -3.5159
        -2.4760
        -2.5537
        -3.5159
        -2.1858
        -1.7071
        -1.7277
        -1.5625
        -1.4405
        -0.7422
        -2.0047
        -3.5159
        -2.8346];

Преобразование чувствительно к значению alpha, что добавляет усложнение уровня к анализу. Однако тест Лиллиефорса подтверждает, что преобразование имеет желаемый эффект:

M0BC = fitlm(X0,y0BC);
res0BC = M0BC.Residuals.Raw;
[hNorm0BC,pNorm0BC] = lillietest(res0BC)

hNorm0BC = 0

pNorm0BC = 0.4523

warning(s) % Restore warning state

Поскольку доказательства ненормальности в первоначальном остаточном ряду незначительны, мы не проводим тонкую настройку преобразования Бокса-Кокса.

Резюме

Основной целью остаточного анализа является проверка допущений CLM и поиск доказательств отсутствия спецификации модели. Закономерности в остатках предполагают возможности для повторной обработки для получения модели с более точными оценками коэффициентов ОЛС, повышенной объяснительной мощностью и лучшей производительностью прогноза.

Различные модели могут демонстрировать сходные остаточные характеристики. Если это так, то, возможно, потребуется сохранить альтернативные модели и провести их дальнейшую оценку на этапе прогнозирования. С точки зрения прогнозирования, если модель успешно представляет всю систематическую информацию в данных, то остатки должны быть белым шумом. То есть если новшествами являются белый шум, а модель имитирует DGP, то ошибками прогноза на один шаг вперед должны быть белый шум. Остатки модели - это выборочные измерения этих ошибок прогноза вне выборки. Производительность прогноза рассматривается в примере Регрессия временного ряда VII: Прогнозирование.

Проблемы оценки ОЛС, связанные с небелыми инновациями, в сочетании с ограниченными вариантами для переосмысления многих экономических моделей, привели к рассмотрению более надежных гетероскедастичности и автокорреляционных последовательных (HAC) оценок дисперсии, таких как оценки Хансена-Уайта и Ньюи-Веста, которые устраняют асимптотическое (но не малая выборка) смещение. Для оценки коэффициентов в этих случаях были также разработаны пересмотренные методы оценки, такие как обобщенные наименьшие квадраты (GLS). GLS предназначен для придания меньшего веса влиятельным наблюдениям с большими остатками. Оценка GLS имеет значение BLUE (см. пример Регрессия временных рядов I: Линейные модели) и эквивалентна оценке максимального правдоподобия (MLE), когда нововведения являются нормальными. Эти методы рассматриваются в примере Регрессия временных рядов X: обобщенные наименьшие квадраты и оценки HAC.