Классические тесты Misspecification модели

Скрипт Open Live Script

Этот пример показывает использование отношения правдоподобия, Вальда и тестов множителя Лагранжа. Эти тесты полезны в оценке и оценке ограничений модели и, в конечном счете, выбор модели, которая балансирует часто конкурентоспособные цели соответствия и простоты.

Введение

Эконометрические модели являются балансом. С одной стороны, они должны быть достаточно детализированы с учетом соответствующих экономических факторов и их влияния на наблюдаемые шаблоны данных. С другой стороны, они должны избежать ненужных сложностей, которые приводят к вычислительным проблемам, сверхподбору кривой или проблемам с интерпретацией. Рабочие модели часто разрабатываются путем рассмотрения последовательности вложенных технических требований, в которых большие, теоретические модели исследованы на упрощение ограничений на параметры. Если параметры оцениваются наибольшим правдоподобием, три классических теста обычно используются, чтобы оценить соответствие ограниченных моделей. Они - тест отношения правдоподобия, Вальдов тест и тест множителя Лагранжа.

Логарифмическая правдоподобность параметров модели $θ$ , определенные данные $d$ , обозначается $L$ ( $θ$ | $d$ ). Без ограничений на модель, $L$ оптимизирован в оценке наибольшего правдоподобия (MLE) $θ_{}^{ˆ}$ . С ограничениями формы $r$ ( $θ$ ) $= 0$ , $L$ оптимизирован в $θ_{}^{\sim}$ с обычно уменьшаемой логарифмической правдоподобностью описания данных. Классические тесты оценивают статистическое значение ограничений модели с помощью информации, полученной из этой оптимизации. Среда является очень общей; это охватывает и линейные и нелинейные модели, и и линейные и нелинейные ограничения. В частности, это расширяет знакомую среду t и тестов F для линейных моделей.

Каждый тест использует геометрию поверхности логарифмической правдоподобности, чтобы оценить значение ограничений модели по-другому:

Тест отношения правдоподобия рассматривает различие в логарифмической правдоподобности в $θ_{}^{ˆ}$ и $θ_{}^{\sim}$ . Если ограничения незначительны, этим различием должен быть близкий нуль.
Вальдов тест рассматривает значение $r$ в $θ_{}^{ˆ}$ . Если ограничения незначительны, это значение должно быть около значения $r$ в $θ_{}^{\sim}$ , который является нулем.
Тест множителя Лагранжа рассматривает градиент или счет, $L$ в $θ_{}^{\sim}$ . Если ограничения незначительны, этот вектор должен быть около счета в $θ_{}^{ˆ}$ , который является нулем.

Тест отношения правдоподобия оценивает различие в логарифмической правдоподобности непосредственно. Вальд и тесты множителя Лагранжа делают так косвенно с идеей, что незначительные изменения в оцененных количествах могут быть идентифицированы с незначительными изменениями в параметрах. Эта идентификация зависит от искривления поверхности логарифмической правдоподобности в окружении MLE. В результате Вальд и тесты множителя Лагранжа включают оценку ковариации параметра в формулировке тестовой статистической величины.

Программное обеспечение Econometrics Toolbox™ реализует отношение правдоподобия, Вальда и тесты множителя Лагранжа в функциях lratiotest, waldtest, и lmtest, соответственно.

Данные и модели

Рассмотрите следующие данные американского Бюро переписи, дав средний ежегодный доход образовательным уровнем достижения:

load Data_Income2

numLevels = 8;
X = 100*repmat(1:numLevels,numLevels,1); % Levels: 100, 200, ..., 800
x = X(:);       % Education
y = Data(:);    % Income
n = length(y);  % Sample size

levelNames = DataTable.Properties.VariableNames;
boxplot(Data,'labels',levelNames)
grid on

xlabel('Educational Attainment')
ylabel('Average Annual Income  (1999 Dollars)')
title('{\bf Income and Education}')

$Figure contains an axes. The axes with title {\bf Income and Education} contains 56 objects of type line.$

Распределение доходов в данных является условным выражением на образовательном уровне достижения x. Этот шаблон также очевиден в гистограмме данных, которые показывают размер небольшой выборки:

figure

edges = [0:0.2:2]*1e5;
centers =[0.1:0.2:1.9]*1e5;
BinCounts = zeros(length(edges)-1,numLevels);

for j = 1:numLevels
    BinCounts(:,j) = histcounts(Data(:,j),edges); 
end;

h = bar(centers,BinCounts);
axis tight
grid on
legend(h,levelNames)
xlabel('Average Annual Income  (1999 Dollars)')
ylabel('Number of Observations')
title('{\bf Income and Education}')

$Figure contains an axes. The axes with title {\bf Income and Education} contains 8 objects of type bar. These objects represent NotHS, HS, SomeC, Assoc, Bach, Mast, Doct, Prof.$

Общая модель для этого типа данных является гамма распределением с условной плотностью

$f (y_{i} | x_{i}, β, ρ) = \frac{β_{i}^{ρ}}{Γ (ρ)} y^{ρ - 1} e^{- y_{i} β_{i}},$

где

$β_{i} = 1 / (β + x_{i})$

$i = 1, . . ., n .$

Гамма распределения являются суммами $ρ$ экспоненциальные распределения, и тем самым допускают естественные ограничения на значение $ρ$ . Экспоненциальное распределение, с $ρ$ равняйтесь 1, монотонно уменьшается и слишком простой, чтобы описать одномодовые распределения в данных. В целях рисунка мы обеспечим ограниченную модель, которая является суммой двух экспоненциальных распределений, полученных путем введения ограничения

$r (β, ρ) = ρ - 2 = 0 .$

Эта пустая модель будет протестирована против неограниченной альтернативы, представленной общим гамма распределением.

Функция логарифмической правдоподобности условной гамма плотности и ее производные, найдены аналитически:

$L (β, ρ | x) = ρ \sum_{i = 1}^{n} \ln β_{i} - n \ln Γ (ρ) + (ρ - 1) \sum_{i = 1}^{n} \ln y_{i} - \sum_{i = 1}^{n} y_{i} β_{i}$

$\frac{\partial L}{\partial β} = - ρ \sum_{i = 1}^{n} β_{i} + \sum_{i = 1}^{n} y_{i} β_{i}^{2}$

$\frac{\partial L}{\partial ρ} = \sum_{i = 1}^{n} \ln β_{i} - n Ψ (ρ) + \sum_{i = 1}^{n} \ln y_{i}$

$\frac{\partial^{2} L}{\partial β^{2}} = ρ \sum_{i = 1}^{n} β_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} β_{i}^{3}$

$\frac{\partial^{2} L}{\partial ρ^{2}} = - n Ψ^{'} (ρ)$

$\frac{\partial^{2} L}{\partial β \partial ρ} = - \sum_{i = 1}^{n} β_{i}$

где $Ψ$ дигамма-функция, производная $\ln Γ$ .

Функция логарифмической правдоподобности используется, чтобы найти MLEs для ограниченных и неограниченных моделей. Производные используются, чтобы создать градиенты и оценки ковариации параметра для тестов множителя Лагранжа и Вальда.

Оценка наибольшего правдоподобия

Поскольку оптимизаторы в MATLAB® и программном обеспечении Optimization Toolbox™ находят минимумы, мы максимизируем логарифмическую правдоподобность путем минимизации отрицательной функции логарифмической правдоподобности. Используя $L$ найденный выше, мы кодируем отрицательную функцию логарифмической правдоподобности с вектором параметра p = [beta;rho]:

nLLF = @(p)sum(p(2)*(log(p(1)+x))+gammaln(p(2))-(p(2)-1)*log(y)+y./(p(1)+x));

Мы используем функциональный fmincon вычислить ограниченные оценки параметра в $ρ$ = 2. Нижняя граница на $β$ гарантирует что логарифм в nLLF оценен в положительных аргументах:

options = optimoptions(@fmincon,'TolFun',1e-10,'Display','off');

rp0 = [1 1];        % Initial values
rlb = [-min(x) 2];  % Lower bounds
rub = [Inf 2];      % Upper bounds
[rmle,rnLL] = fmincon(nLLF,rp0,[],[],[],[],rlb,rub,[],options);
rbeta = rmle(1);    % Restricted beta estimate
rrho = rmle(2);     % Restricted rho estimate
rLL = -rnLL;        % Restricted loglikelihood

Неограниченные оценки параметра вычисляются подобным образом, начинающий с начальных значений, данных ограниченными оценками:

up0 = [rbeta rrho]; % Initial values
ulb = [-min(x) 0];  % Lower bounds
uub = [Inf Inf];    % Upper bounds
[umle,unLL] = fmincon(nLLF,up0,[],[],[],[],ulb,uub,[],options);
ubeta = umle(1);    % Unrestricted beta estimate
urho = umle(2);     % Unrestricted rho estimate
uLL = -unLL;        % Unrestricted loglikelihood

Мы отображаем MLEs на логарифмическом контурном графике отрицательной поверхности логарифмической правдоподобности:

betas = 1e3:1e2:4e4;
rhos = 0:0.1:10;
[BETAS,RHOS] = meshgrid(betas,rhos);
NLL = zeros(size(BETAS));
for i = 1:numel(NLL)
    NLL(i) = nLLF([BETAS(i),RHOS(i)]);
end
L = log10(unLL);
v = logspace(L-0.1,L+0.1,100);

contour(BETAS,RHOS,NLL,v) % Negative loglikelihood surface
colorbar
hold on
plot(ubeta,urho,'bo','MarkerFaceColor','b')     % Unrestricted MLE
line([1e3 4e4],[2 2],'Color','k','LineWidth',2) % Restriction
plot(rbeta,rrho,'bs','MarkerFaceColor','b')     % Restricted MLE

legend('nllf','umle','restriction','rmle')
xlabel('\beta')
ylabel('\rho')
title('{\bf Unrestricted and Restricted MLEs}')

$Figure contains an axes. The axes with title {\bf Unrestricted and Restricted MLEs} contains 4 objects of type contour, line. These objects represent nllf, umle, restriction, rmle.$

Средства оценки ковариации

Интуитивное отношение между искривлением поверхности логарифмической правдоподобности и отклонением/ковариацией оценок параметра формализовано информационным матричным равенством, которое идентифицирует отрицательное ожидаемое значение Гессиана с матрицей информации о Фишере. Вторые производные в Гессиане описывают вогнутости логарифмической правдоподобности. Матрица информации о Фишере описывает отклонение параметра; его инверсия является асимптотической ковариационной матрицей.

Средства оценки ковариации, требуемые Вальдом и тестами множителя Лагранжа, вычисляются во множестве путей. Один подход должен использовать векторное произведение градиентов (OPG), который требует только первых производных логарифмической правдоподобности. В то время как популярный для его относительной простоты, средство оценки OPG может быть ненадежным, особенно с небольшими выборками. Другой, часто предпочтительный, средство оценки является инверсией отрицательного ожидаемого Гессиана. Информационным матричным равенством это средство оценки является асимптотической ковариацией, подходящей для больших выборок. Если аналитические ожидания затрудняют, чтобы вычислить, ожидаемый Гессиан может быть заменен Гессианом, оцененным в оценках параметра, так называемой "наблюдаемой" информации о Фишере.

Мы вычисляем каждое из этих трех средств оценки, с помощью производных $L$ найденный ранее. Условные ожидания в Гессиане найдены с помощью

$E [g (X) Y | X] = g (X) E [Y | X] .$

Мы оцениваем средства оценки в неограниченных оценках параметра, для Вальдового теста, и затем в ограниченных оценках параметра, для теста множителя Лагранжа.

Различные шкалы для $β$ и $ρ$ параметры отражаются в относительных размерах отклонений. Размер небольшой выборки отражается в различиях среди средств оценки. Мы увеличиваем точность отображений, чтобы показать эти различия:

format long

Оцененный в неограниченных оценках параметра, средства оценки:

% OPG estimator:

UG = [-urho./(ubeta+x)+y.*(ubeta+x).^(-2),-log(ubeta+x)-psi(urho)+log(y)];
Uscore = sum(UG)';
UEstCov1 = inv(UG'*UG) %#ok

UEstCov1 = 2×2
10⁶ ×

   6.163691005497379  -0.002335588739630
  -0.002335588739630   0.000000949847074

% Hessian estimator (observed information):

UDPsi = (psi(urho+0.0001)-psi(urho-0.0001))/(0.0002); % Digamma derivative
UH = [sum(urho./(ubeta+x).^2)-2*sum(y./(ubeta+x).^3),-sum(1./(ubeta+x)); ...
     -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov2 = -inv(UH) %#ok

UEstCov2 = 2×2
10⁶ ×

   5.914337099456258  -0.001864365342784
  -0.001864365342784   0.000000648730549

% Expected Hessian estimator (expected information):

UEH = [-sum(urho./((ubeta+x).^2)), -sum(1./(ubeta+x)); ...
       -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov3 = -inv(UEH) %#ok

UEstCov3 = 2×2
10⁶ ×

   4.993542832706230  -0.001574105100614
  -0.001574105100614   0.000000557232359

Оцененный в ограниченных оценках параметра, средства оценки:

% OPG estimator:

RG = [-rrho./(rbeta+x)+y.*(rbeta+x).^(-2),-log(rbeta+x)-psi(rrho)+log(y)];
Rscore = sum(RG)';
REstCov1 = inv(RG'*RG) %#ok

REstCov1 = 2×2
10⁷ ×

   6.614326247028455  -0.000476569886244
  -0.000476569886244   0.000000040110446

% Hessian estimator (observed information):

RDPsi = (psi(rrho+0.0001)-psi(rrho-0.0001))/(0.0002); % Digamma derivative
RH = [sum(rrho./(rbeta+x).^2)-2*sum(y./(rbeta+x).^3),-sum(1./(rbeta+x)); ...
     -sum(1./(rbeta+x)),-n*RDPsi];
REstCov2 = -inv(RH) %#ok

REstCov2 = 2×2
10⁷ ×

   2.708410822218739  -0.000153134983000
  -0.000153134983000   0.000000011081061

% Expected Hessian estimator (expected information):

REH = [-sum(rrho./((rbeta+x).^2)),-sum(1./(rbeta+x)); ...
       -sum(1./(rbeta+x)),-n*RDPsi];
REstCov3 = -inv(REH) %#ok

REstCov3 = 2×2
10⁷ ×

   2.613663014369842  -0.000147777891740
  -0.000147777891740   0.000000010778169

Возвратитесь, чтобы закоротить числовые отображения:

format short

Тест отношения правдоподобия

Тест отношения правдоподобия, который оценивает статистическое значение различия в логарифмической правдоподобности в неограниченных и ограниченных оценках параметра, обычно считается самым надежным из трех классических тестов. Его основной недостаток - то, что это требует оценки обеих моделей. Это может быть проблемой, если или неограниченная модель или ограничения нелинейны, требуя у необходимой оптимизации.

Если необходимая логарифмическая правдоподобность была получена посредством оценки наибольшего правдоподобия, используйте lratiotest запускать тест отношения правдоподобия:

dof = 1; % Number of restrictions
[LRh,LRp,LRstat,cV] = lratiotest(uLL,rLL,dof) %#ok

LRh = logical
   1

LRp = 7.9882e-05

LRstat = 15.5611

cV = 3.8415

Тест отклоняет ограниченную модель (LRh = 1), с p-значением (LRp = 7.9882e-005) значительно ниже уровня значения по умолчанию (alpha = 0.05), и тестовая статистическая величина (LRstat = 15.5611) много больше критического значения (cV = 3.8415).

Как Вальд и тесты множителя Лагранжа, тест отношения правдоподобия является асимптотическим; тестовая статистическая величина оценена с ограничивающим распределением, полученным, позволив объему выборки стремиться к бесконечности. То же распределение хи-квадрат, со степенью свободы dof, используется, чтобы оценить отдельную тестовую статистику каждого из трех тестов, с тем же критическим значением cV. Последствия для рисования выводов из небольших выборок должны быть очевидными, и это - одна из причин, почему три теста часто используются вместе как проверки друг по сравнению с другом.

Вальдов тест

Вальдов тест является соответствующим в ситуациях, где ограничения налагают значительные требования на оценку параметра, как в случае нескольких нелинейных ограничений. Вальдов тест имеет преимущество, что это требует только неограниченной оценки параметра. Его основной недостаток - то, что, в отличие от теста отношения правдоподобия, это также требует довольно точной оценки ковариации параметра.

Чтобы выполнить Вальдов тест, ограничения должны быть сформулированы как функции от p-dimensional пространства параметров до q-dimensional пробела ограничения:

$r = (\begin{array}{c} r_{1} (θ_{1}, \dots, θ_{p}) \\ ⋮ \\ r_{q} (θ_{1}, \dots, θ_{p}) \end{array})$

с якобианом

$R = (\begin{array}{c} \frac{\partial r_{1}}{\partial θ_{1}} & \dots & \frac{\partial r_{1}}{\partial θ_{p}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial r_{q}}{\partial θ_{1}} & \dots & \frac{\partial r_{q}}{\partial θ_{p}} \end{array}) .$

Для гамма распределения на рассмотрении, одного ограничения

$r (β, ρ) = ρ - 2$

сопоставляет 2-мерное пространство параметров с 1-мерным пробелом ограничения с якобианом [0 1].

Используйте waldtest запускать Вальдов тест с каждой из неограниченных оценок ковариации, вычисленных ранее. Количество ограничений dof длина входного вектора r, таким образом, это не должно быть введено явным образом что касается lratiotest или lmtest:

r = urho-2; % Restriction vector
R = [0 1];  % Jacobian
restrictions = {r,r,r};
Jacobians = {R,R,R};
UEstCov = {UEstCov1,UEstCov2,UEstCov3};
[Wh,Wp,Wstat,cV] = waldtest(restrictions,Jacobians,UEstCov) %#ok

Wh = 1x3 logical array

   1   1   1

Wp = 1×3

    0.0144    0.0031    0.0014

Wstat = 1×3

    5.9878    8.7671   10.2066

cV = 1×3

    3.8415    3.8415    3.8415

Тест отклоняет ограниченную модель с каждой из оценок ковариации.

Тесты гипотезы в программном обеспечении Econometrics Toolbox и Statistics Toolbox™ действуют на 5%-м уровне значения по умолчанию. Уровень значения может быть изменен с дополнительным входом:

alpha = 0.01; % 1% significance level
[Wh2,Wp2,Wstat2,cV2] = waldtest(restrictions,Jacobians,UEstCov,alpha) %#ok

Wh2 = 1x3 logical array

   0   1   1

Wp2 = 1×3

    0.0144    0.0031    0.0014

Wstat2 = 1×3

    5.9878    8.7671   10.2066

cV2 = 1×3

    6.6349    6.6349    6.6349

Средству оценки OPG не удается отклонить ограниченную модель на новом уровне значения.

Тест множителя Лагранжа

Тест множителя Лагранжа является соответствующим в ситуациях, где неограниченная модель налагает значительные требования на оценку параметра, как в случае, где ограниченная модель линейна, но неограниченная модель не. Тест множителя Лагранжа имеет преимущество, что это требует только ограниченной оценки параметра. Его основной недостаток - то, что, как Вальдов тест, это также требует довольно точной оценки ковариации параметра.

Используйте lmtest запускать тест множителя Лагранжа с каждой из ограниченных оценок ковариации, вычисленных ранее:

scores = {Rscore,Rscore,Rscore};
REstCov = {REstCov1,REstCov2,REstCov3};
[LMh,LMp,LMstat,cV] = lmtest(scores,REstCov,dof) %#ok

LMh = 1x3 logical array

   1   1   1

LMp = 1×3

    0.0000    0.0024    0.0027

LMstat = 1×3

   33.4617    9.2442    8.9916

cV = 1×3

    3.8415    3.8415    3.8415

Тест снова отклоняет ограниченную модель с каждой из оценок ковариации на уровне значения по умолчанию. Надежность средства оценки OPG подвергается сомнению аномально большим значением первой тестовой статистической величины.

Сводные данные

Три классических модели misspecification тесты формируют естественный инструментарий для эконометриков. В контексте оценки наибольшего правдоподобия они все пытаются сделать то же различие между неограниченным и ограниченной моделью в некоторой иерархии прогрессивно более простых описаний данных. Каждый тест, однако, идет с различными требованиями, и так может быть полезным в различных ситуациях с моделированием, в зависимости от вычислительных требований. Когда используется вместе, выводы могут варьироваться среди тестов, особенно с небольшими выборками. Пользователи должны рассмотреть тесты как только один компонент более широкого статистического и экономического анализа.

Ссылки

[1] Дэвидсон, R. и Дж. Г. Маккиннон. Эконометрическая теория и методы. Оксфорд, Великобритания: Издательство Оксфордского университета, 2004.

[2] Годфри, тесты Л. Г. Мисспекификэйшна в эконометрике. Кембридж, Великобритания: Издательство Кембриджского университета, 1997.

[3] Грин, Уильям. H. Эконометрический Анализ. 6-й редактор Верхний Сэддл-Ривер, NJ: Prentice Hall, 2008.

[4] Гамильтон, анализ временных рядов Джеймса Д. Принстон, NJ: Издательство Принстонского университета, 1994.

Документация