Документация

Введение

Анализ данных о значении по умолчанию кредита в предыдущих примерах в этом ряду предложил много отличных моделей, с помощью различных преобразований данных и различных подмножеств предикторов. Остаточный анализ является существенным шагом для того, чтобы сократить количество рассмотренных моделей, оценивающие опции и предложить пути назад к respecification. Модели многофакторной линейной регрессии (MLR) с остаточными значениями, которые отбывают заметно из предположений классической линейной модели (CLM) (обсужденный в примере на "Линейных Моделях") вряд ли выполнят хорошо, или в объяснении переменных отношений или в предсказании новых ответов. Много статистических тестов были разработаны, чтобы оценить предположения CLM об инновационном процессе, как проявлено в остаточном ряду. Мы исследуем некоторые из тех тестов здесь.

Мы начинаем путем загрузки соответствующих данных из предыдущего примера на "Выборе Предиктора":

load Data_TSReg5

Остаточные графики

Следующее производит остаточные графики для каждой модели, идентифицированной в предыдущем примере в каждой из двух категорий модели (undifferenced и differenced данные):

map = cool(3); % Model color map 

% Undifferenced data:

res0 = M0.Residuals.Raw;
res0SW = M0SW.Residuals.Raw;
res0SWAC = M0SWAC.Residuals.Raw;

model0Res = [res0,res0SW,res0SWAC];

figure
hold on
ax = gca;
ax.ColorOrder = map;
plot(dates,model0Res,'.-','LineWidth',2,'MarkerSize',20)
plot(dates,zeros(size(dates)),'k-','LineWidth',2)
hold off
legend({'M0', 'M0SW', 'M0SWAC'},'Location','N')
xlabel('Year') 
ylabel('Residual') 
title('{\bf Model Residuals (Undifferenced Data)}')
axis tight
grid on

% Differenced data:

resD1 = MD1.Residuals.Raw;
res0SW = MD1SW.Residuals.Raw;
res0SWAC = MD1SWA.Residuals.Raw;

modelD1Res = NaN(length(dates),3);
modelD1Res(2:end,:) = [resD1,res0SW,res0SWAC];

figure
hold on
ax = gca;
ax.ColorOrder = map;
plot(dates,modelD1Res,'.-','LineWidth',2,'MarkerSize',20)
plot(dates,zeros(size(dates)),'k-','LineWidth',2)
hold off
legend({'MD1', 'MD1SW', 'MD1SWA'},'Location','N')
xlabel('Year') 
ylabel('Residual') 
title('{\bf Model Residuals (Differenced Data)}')
axis tight
grid on

Для каждой модели остаточные значения рассеиваются вокруг среднего значения около нуля, как они должны без очевидных трендов или шаблонов, указывающих misspecification. Шкала остаточных значений является несколькими порядками величины меньше, чем шкала исходных данных (см. пример на "Линейных Моделях"), который является знаком, что модели получили значительный фрагмент генерирующего данные процесса (DGP). Кажется, существует некоторое доказательство автокорреляции в нескольких из постоянно положительных или отрицательных отклонений от среднего значения, особенно в undifferenced данных. Небольшое количество heteroscedasticity также очевидно, хотя это затрудняет для визуальной оценки, чтобы разделить это от случайного изменения такой небольшой выборки.

Автокорреляция

В присутствии автокорреляции оценки OLS остаются несмещенными, но у них больше нет минимального отклонения среди несмещенных средств оценки. Это - значительная проблема в небольших выборках, где доверительные интервалы будут относительно большими. Усугубляя проблему, автокорреляция вводит смещение в стандартные оценки отклонения, даже асимптотически. Поскольку автокорреляции в экономических данных, вероятно, будут положительны, отражая подобные случайные факторы, и не использованные переменные, перенесенные от одного периода времени до следующих, оценок отклонения, имеют тенденцию быть смещенными вниз к t-тестам с чрезмерно оптимистическими требованиями точности. Результат состоит в том, что оценка интервала и тестирование гипотезы становятся ненадежными. Рекомендуются более консервативные уровни значения для t-тестов. Робастность оценок зависит от степени или персистентности, автокорреляций, влияющих на текущие наблюдения.

autocorr функция, без выходных аргументов, производит график автокорреляции остаточных значений и дает быстрое визуальное взятие на остаточной структуре автокорреляции:

figure
autocorr(res0)
title('{\bf M0 Residual Autocorrelations}')

Нет никакого доказательства автокорреляции за пределами групп 2D стандартной погрешности Бартлетта для белого шума, данного синими линиями.

Статистическая величина Дербин-Уотсона [3] является мерой по автокорреляции, о которой наиболее часто сообщают в эконометрических исследованиях. Одна причина состоит в том, что легко вычислить. Для M0 модель:

diffRes0 = diff(res0);  
SSE0 = res0'*res0;
DW0 = (diffRes0'*diffRes0)/SSE0 % Durbin-Watson statistic

DW0 = 2.1474

Под предположениями о стационарных, нормально распределенных инновациях статистическая величина приблизительно $$2(1-{\rho }_1)$$, где $${\rho }_1$$ первый порядок (одна задержка) автокорреляция, оцененная autocorr:

rho0 = autocorr(res0,'NumLags',1); % Sample autocorrelations at lags, 0, 1
DW0Normal = 2*(1-rho0(2))

DW0Normal = 2.1676

Статистическая величина около 2 не представляет свидетельств автокорреляции первого порядка. Соответствующие p-значения для статистической величины вычисляются dwtest метод LinearModel класс:

[pValueDW0,DW0] = dwtest(M0)

pValueDW0 = 0.8943

DW0 = 2.1474

P-значение для пустого указателя никакой автокорреляции первого порядка много больше стандартного 5%-го критического значения.

Эконометрики традиционно использовали эмпирическое правило, что статистическая величина Дербин-Уотсона ниже приблизительно 1,5 является причиной подозревать положительную автокорреляцию первого порядка. Это оперативное критическое значение игнорирует зависимость от объема выборки, но это предназначается, чтобы быть консервативной инструкцией, учитывая серьезные последствия игнорирования автокорреляции.

Тест Дербин-Уотсона, хотя традиционно очень популярный, имеет много недостатков. Кроме ее предположения о стационарных, нормально распределенных инновациях и ее способности обнаружить только автокорреляцию первого порядка, это очень чувствительно к другой модели misspecifications. Таким образом, это мощно против многих альтернатив, для которых не спроектирован тест. Это также недопустимо в присутствии изолированных переменных отклика (см. пример на "Изолированных Переменных и Смещении Средства оценки").

Q-тест Ljung-поля [5], реализованный функциональным lbqtest, тесты для "полного" или отсутствия "портманто" автокорреляции. Это рассматривает задержки до заданного порядка L, и так является естественным расширением первого порядка тест Дербин-Уотсона. Следующие тесты M0 остаточные значения для автокорреляции в L = 5, 10, и 15:

[hLBQ0,pValueLBQ0] = lbqtest(res0,'Lags',[5,10,15])

hLBQ0 = 1x3 logical array

   0   0   0

pValueLBQ0 = 1×3

    0.8175    0.1814    0.2890

На 5%-м уровне значения по умолчанию тесту не удается отклонить пустой указатель никакой автокорреляции в каждой из расширенных структур задержки. Результаты подобны для MD1 модель, но намного более высокие p-значения указывает еще на меньшее количество доказательства для отклонения пустого указателя:

[hLBQD1,pValueLBQD1] = lbqtest(resD1,'Lags',[5,10,15])

hLBQD1 = 1x3 logical array

   0   0   0

pValueLBQD1 = 1×3

    0.9349    0.7287    0.9466

Q-тест также имеет свои недостатки. Если L слишком будет мал, тест не обнаружит автокорреляции высшего порядка. Если это будет слишком большим, тест потеряет степень, поскольку значительная корреляция в любой задержке может быть размыта незначительными корреляциями в других задержках. Кроме того, тест мощен против последовательных зависимостей кроме автокорреляции.

Другой недостаток Q-теста - то, что распределения хи-квадрат по умолчанию, используемые тестом, являются асимптотическими, и могут привести к ненадежным результатам в небольших выборках. Для ARMA (p, q) получены модели, для которых тест был разработан, более точные распределения, если количество степеней свободы уменьшается количеством предполагаемых коэффициентов, p + q. Это ограничивает тест, однако, к значениям L, больше, чем p + q, поскольку степени свободы должны быть положительными. Подобные корректировки могут быть внесены для общих моделей регрессии, но lbqtest не делает так по умолчанию.

Другой тест для "полного" отсутствия автокорреляции является тестом запусков, реализованным функциональным runstest, который определяет, отклоняются ли знаки остаточных значений систематически от нуля. Тест ищет длительные периоды любого тот же знак (положительная автокорреляция) или переменные знаки (отрицательная автокорреляция):

[hRT0,pValueRT0] = runstest(res0)

hRT0 = 0

pValueRT0 = 0.2878

Тесту не удается отклонить пустой указатель случайности в остаточных значениях M0 модель.

Автокоррелированые остаточные значения могут быть знаком значительной ошибки спецификации, по которой не использованные, автокоррелируемые переменные стали неявными компонентами инновационного процесса. Отсутствующий любые теоретические предложения того, каковы те переменные могут быть, типичное средство должно включать изолированные значения переменной отклика среди предикторов в задержках до порядка автокорреляции. Введение этого вида динамической зависимости в модель, однако, является значительным отклонением от статической спецификации MLR. Динамические модели представляют новый набор факторов относительно предположений CLM и рассматриваются в примере на "Изолированных Переменных и Смещении Средства оценки".

Heteroscedasticity

Heteroscedasticity происходит, когда отклонение предикторов и инновационного процесса производит, в агрегате, условном отклонении в ответе. Явление обычно сопоставляется с перекрестными частными данными, где систематические изменения погрешности измерения могут произойти через наблюдения. В данных временных рядов heteroscedasticity является чаще результатом взаимодействий между предикторами модели и не использованными переменными, и так является другим знаком основного принципа misspecification. OLS оценивает в присутствии выставки heteroscedasticity фактически идентичные проблемы к сопоставленным с автокорреляцией; они являются несмещенными, но больше не имеют минимальное отклонение среди несмещенных средств оценки, и стандартные формулы для отклонения средства оценки становятся смещенными. Однако исследования Монте-Карло предполагают, что эффекты на оценке интервала обычно довольно незначительны [1]. Если heteroscedasticity не объявлен, искажение стандартных погрешностей мало, и тесты значения в основном незатронуты. С большинством экономических данных эффекты heteroscedasticity будут незначительны по сравнению с эффектами автокорреляции.

Тест ДУГИ Энгла [4], реализованный archtest функционируйте, пример теста, используемого, чтобы идентифицировать невязку heteroscedasticity. Это оценивает нулевую гипотезу что серия остаточных значений $$r_t$$ выставки никакое условное выражение heteroscedasticity (эффекты ДУГИ), против альтернативы, что модель ARCH (L)

описывает ряд с по крайней мере одним ненулевым $$a_k$$ для $$k=0,...,L$$. Здесь $${\zeta }_t$$ независимый инновационный процесс. Остаточные значения в процессе ДУГИ зависят, но не коррелируются, таким образом, тест для heteroscedasticity без автокорреляции.

Применение теста к M0 остаточный ряд с задержками L = 5, 10, и 15 дает:

[hARCH0,pARCH0] = archtest(res0,'Lags',[5,10,15])

hARCH0 = 1x3 logical array

   0   0   0

pARCH0 = 1×3

    0.4200    0.3575    0.9797

Тест не находит доказательства heteroscedasticity в остаточных значениях. Для MD1 смоделируйте доказательство, еще более слабо:

[hARCHD1,pARCHD1] = archtest(resD1,'Lags',[5,10,15])

hARCHD1 = 1x3 logical array

   0   0   0

pARCHD1 = 1×3

    0.5535    0.4405    0.9921

Распределение

Предположение, что инновационный процесс нормально распределен, не требуется теоремой Маркова Гаусса, но необходимо для доверительных интервалов быть созданным с помощью стандартных методов, и для t и тестов F, чтобы обеспечить точные оценки значения предиктора. Предположение особенно важно в небольших выборках, где на Центральную предельную теорему нельзя положиться, чтобы обеспечить приблизительно нормальные распределения оценок, независимых от распределения инноваций.

Обычное выравнивание для предположения нормальности состоит в том, что инновациями является сумма свойственной стохастичности плюс все переменные, не использованные от регрессии. Центральная предельная теорема говорит, что эта сумма приблизится к нормальности как к количеству не использованных увеличений переменных. Однако это заключение зависит от не использованных переменных, являющихся независимым друг от друга, и это часто невыровнено на практике. Таким образом, для небольших выборок, независимо от результатов на автокорреляции и heteroscedasticity, проверяя предположение нормальности важный компонент точной спецификации.

График нормального распределения остаточного ряда дает быструю оценку:

figure
hNPlot0 = normplot(model0Res);
legend({'M0', 'M0SW', 'M0SWAC'},'Location','Best')
title('{\bf Model Residuals (Undifferenced Data)}')
set(hNPlot0,'Marker','.')
set(hNPlot0([1 4 7]),'Color',map(1,:))
set(hNPlot0([2 5 8]),'Color',map(2,:))
set(hNPlot0([3 6 9]),'Color',map(3,:))
set(hNPlot0,'LineWidth',2)
set(hNPlot0,'MarkerSize',20)

figure
hNPlotD1 = normplot(modelD1Res);
legend({'MD1', 'MD1SW', 'MD1SWA'},'Location','Best')
title('{\bf Model Residuals (Differenced Data)}')
set(hNPlotD1,'Marker','.')
set(hNPlotD1([1 4 7]),'Color',map(1,:))
set(hNPlotD1([2 5 8]),'Color',map(2,:))
set(hNPlotD1([3 6 9]),'Color',map(3,:))
set(hNPlotD1,'LineWidth',2)
set(hNPlotD1,'MarkerSize',20)

Графики показывают эмпирическую вероятность по сравнению с остаточным значением. Сплошные линии соединяют 25-е и 75-е процентили в данных, затем расширены пунктирными линиями. Вертикальная шкала нелинейна с расстоянием между отметками деления, равными расстоянию между нормальными квантилями. Если данные падают около линии, предположение нормальности разумно. Здесь, мы видим очевидное отклонение от нормальности для данных с большими остаточными значениями (снова, особенно в undifferenced данных), указывая, что распределения могут быть скошены. Безусловно, удаление самых влиятельных наблюдений, рассмотренных в примере на "Влиятельных Наблюдениях", улучшило бы нормальность остаточных значений.

Это - хорошая идея подтвердить любой визуальный анализ с соответствующим тестом. Существует много статистических тестов для дистрибутивных предположений, но тест Lilliefors, реализованный lillietest функционируйте, тест нормальности, специально разработанный для небольших выборок:

[hNorm0,pNorm0] = lillietest(res0)

hNorm0 = 1

pNorm0 = 0.0484

На 5%-м уровне значения по умолчанию тест отклоняет нормальность в M0 ряд, но едва-едва. Тест не находит причины отклонить нормальность в MD1 данные:

s = warning('off','stats:lillietest:OutOfRangePHigh'); % Turn off small statistic warning
[hNormD1,pNormD1] = lillietest(resD1)

hNormD1 = 0

pNormD1 = 0.5000

warning(s) % Restore warning state

Статистическая величина в ребре таблицы критических значений, сведенных в таблицу lillietest, и о самом большом p-значении сообщают.

Общее средство от ненормальности должно применить преобразование Cox Поля к переменной отклика [2]. В отличие от журнала и преобразований степени предикторов, которые, в основном, используются, чтобы произвести линейность и упростить удаление тренда, преобразования Cox Поля спроектированы, чтобы произвести нормальность в остаточных значениях. У них часто есть выгодный побочный эффект упорядочивания остаточного отклонения.

Коллективно, преобразования Cox Поля формируют параметризованное семейство с log и стандартизированные преобразования степени как особые случаи. Преобразование параметром $$\lambda$$ заменяет переменную отклика $$y_t$$ с переменной:

для $$\lambda \ne 0$$для $$\lambda =0$$, преобразование дано его предельным значением, журнал ($$y_t$$).

boxcox функция в Financial Toolbox находит параметр $${\lambda }_0$$ это максимизирует нормальную логарифмическую правдоподобность остаточных значений. Применять функцию к IGD данные в y0, необходимо встревожить нулевые уровни по умолчанию, чтобы сделать их положительными:

alpha = 0.01;
y0(y0 == 0) = alpha;
% y0BC = boxcox(y0); % In Financial Toolbox
y0BC = [-3.5159
        -1.6942
        -3.5159
        -3.5159
        -1.7306
        -1.7565
        -1.4580
        -3.5159
        -3.5159
        -2.4760
        -2.5537
        -3.5159
        -2.1858
        -1.7071
        -1.7277
        -1.5625
        -1.4405
        -0.7422
        -2.0047
        -3.5159
        -2.8346];

Преобразование чувствительно к значению alpha, который добавляет осложнение уровня в анализ. Тест Lilliefors, однако, подтверждает, что преобразование оказывает желаемое влияние:

M0BC = fitlm(X0,y0BC);
res0BC = M0BC.Residuals.Raw;
[hNorm0BC,pNorm0BC] = lillietest(res0BC)

hNorm0BC = 0

pNorm0BC = 0.4523

warning(s) % Restore warning state

Поскольку доказательство для ненормальности в исходном остаточном ряду является небольшим, мы не преследуем подстройку преобразования Cox Поля.

Сводные данные

Основная цель остаточного анализа состоит в том, чтобы проверять предположения CLM и искать доказательство модели misspecification. Шаблоны в остаточных значениях предлагают, чтобы возможности для respecification получили модель с более точными содействующими оценками OLS, улучшенной объяснительной силой, и лучше предсказали производительность.

Различные модели могут показать подобные остаточные характеристики. Если так, альтернативные модели, возможно, должны быть сохранены и далее оценены в этап прогнозирования. С точки зрения прогнозирования, если модель успешно представляла всю систематическую информацию в данных, то остаточные значения должны быть белым шумом. Таким образом, если инновациями является белый шум, и модель подражает DGP, то ошибки прогноза "один шаг вперед" должны быть белым шумом. Остаточные значения модели являются мерами в выборке этих ошибок прогноза из выборки. Предскажите, что производительность обсуждена в примере на "Прогнозировании".

Проблемы оценки OLS, сопоставленной с цветными инновациями, вместе с ограниченными опциями для переопределения многих экономических моделей, привели к фактору большего количества устойчивого heteroscedasticity и автокорреляции сопоставимые средства оценки (HAC) отклонения, такие как Hansen-белые и Newey-западные средства оценки, которые устраняют асимптотический (хотя не небольшая выборка), смещают. Пересмотренные методы оценки, такие как обобщенные наименьшие квадраты (GLS), были также разработаны для оценки коэффициентов в этих случаях. GLS спроектирован, чтобы дать более низкий вес влиятельным наблюдениям с большими остаточными значениями. Средством оценки GLS является BLUE (см. пример на "Линейных Моделях"), и эквивалентный средству оценки наибольшего правдоподобия (MLE), когда инновации нормальны. Эти методы рассматриваются в примере на "Generalized Least Squares & HAC Estimators".

Ссылки

[1] Bohrnstedt, G. W. и Т. М. Картер. "Робастность в Регрессионном анализе". В Социологической Методологии, Х. Л. Кеснере, редакторе, стр 118-146. Сан-Франциско: Jossey-бас, 1971.

[2] Поле, G. E. P. и Д. Р. Кокс. "Анализ Преобразований". Журнал Королевского Статистического Общества. Серии B, Издание 26, 1964, стр 211-252.

[3] Durbin, J. и Г.С. Уотсон. "Тестируя на Последовательную Корреляцию в Регрессии Наименьших квадратов". Biometrika. Издание 37, 1950, стр 409-428.

[4] Энгл, R. F. "Авторегрессивный Условный Heteroscedasticity с Оценками Отклонения Инфляции Соединенного Королевства". Econometrica. Издание 50, 1982, стр 987-1007.

[5] Ljung, G. M. и Г. Э. П. Бокс. "На Мере Отсутствия Помещаются в Модели Временных рядов". Biometrika. Издание 65, 1950, стр 297-303.