Классические образцовые тесты Misspecification

Этот пример показывает использование отношения правдоподобия, Вальда и тестов множителя Лагранжа. Эти тесты полезны в оценке и оценке образцовых ограничений и, в конечном счете, выбор модели, которая балансирует часто конкурентоспособные цели соответствия и простоты.

Введение

Эконометрические модели являются балансом. С одной стороны, они должны быть достаточно детализированы, чтобы учесть соответствующие экономические факторы и их влияние на наблюдаемые шаблоны данных. С другой стороны, они должны избежать ненужных сложностей, которые приводят к вычислительным проблемам, сверхподбору кривой или проблемам с интерпретацией. Рабочие модели часто разрабатываются путем рассмотрения последовательности вложенных спецификаций, в которых большие, теоретические модели исследованы на упрощение ограничений на параметры. Если параметры оцениваются наибольшим правдоподобием, три классических теста обычно используются, чтобы оценить соответствие ограниченных моделей. Они - тест отношения правдоподобия, Вальдов тест и тест множителя Лагранжа.

loglikelihood параметров модели $θ$ , определенные данные $d$ , обозначается $L$ ( $θ$ | $d$ ). Без ограничений на модель, $L$ оптимизирован в оценке наибольшего правдоподобия (MLE) $θ_{}^{ˆ}$ . С ограничениями формы $r$ ( $θ$ ) $= 0$ , $L$ оптимизирован в $θ_{}^{\sim}$ с обычно уменьшаемым loglikelihood описания данных. Классические тесты оценивают статистическое значение образцовых ограничений с помощью информации, полученной из этой оптимизации. Среда является очень общей; это охватывает и линейные и нелинейные модели, и и линейные и нелинейные ограничения. В частности, это расширяет знакомую среду t и тестов F для линейных моделей.

Каждый тест использует геометрию поверхности loglikelihood, чтобы оценить значение образцовых ограничений по-другому:

Тест отношения правдоподобия рассматривает различие в loglikelihoods в $θ_{}^{ˆ}$ и $θ_{}^{\sim}$ . Если ограничения незначительны, этим различием должен быть близкий нуль.
Вальдов тест рассматривает значение $r$ в $θ_{}^{ˆ}$ . Если ограничения незначительны, это значение должно быть около значения $r$ в $θ_{}^{\sim}$ , который является нулем.
Тест множителя Лагранжа рассматривает градиент или счет, $L$ в $θ_{}^{\sim}$ . Если ограничения незначительны, этот вектор должен быть около счета в $θ_{}^{ˆ}$ , который является нулем.

Тест отношения правдоподобия оценивает различие в loglikelihoods непосредственно. Вальд и тесты множителя Лагранжа делают так косвенно с идеей, что незначительные изменения в оцененных количествах могут быть идентифицированы с незначительными изменениями в параметрах. Эта идентификация зависит от искривления поверхности loglikelihood в окружении MLE. В результате Вальд и тесты множителя Лагранжа включают оценку ковариации параметра в формулировке тестовой статистической величины.

Программное обеспечение Econometrics Toolbox™ реализует отношение правдоподобия, Вальда и тесты множителя Лагранжа в функциях lratiotest, waldtest и lmtest, соответственно.

Данные и модели

Рассмотрите следующие данные американского Бюро переписи, дав средний ежегодный доход образовательным уровнем достижения:

load Data_Income2

numLevels = 8;
X = 100*repmat(1:numLevels,numLevels,1); % Levels: 100, 200, ..., 800
x = X(:);       % Education
y = Data(:);    % Income
n = length(y);  % Sample size

levelNames = DataTable.Properties.VariableNames;
boxplot(Data,'labels',levelNames)
grid on

xlabel('Educational Attainment')
ylabel('Average Annual Income  (1999 Dollars)')
title('{\bf Income and Education}')

Распределение доходов в данных является условным выражением на образовательном уровне достижения x. Этот шаблон также очевиден в гистограмме данных, которые показывают размер небольшой выборки:

figure

edges = [0:0.2:2]*1e5;
centers =[0.1:0.2:1.9]*1e5;
BinCounts = zeros(length(edges)-1,numLevels);

for j = 1:numLevels
    BinCounts(:,j) = histcounts(Data(:,j),edges); 
end;

h = bar(centers,BinCounts);
axis tight
grid on
legend(h,levelNames)
xlabel('Average Annual Income  (1999 Dollars)')
ylabel('Number of Observations')
title('{\bf Income and Education}')

Общая модель для этого типа данных является гамма распределением с условной плотностью

$f (y_{i} | x_{i}, β, ρ) = \frac{β_{i}^{ρ}}{Γ (ρ)} y^{ρ - 1} e^{- y_{i} β_{i}},$

где

$β_{i} = 1 / (β + x_{i})$

$i = 1, . . ., n .$

Гамма дистрибутивы являются суммами $ρ$ экспоненциальные распределения, и тем самым допускают естественные ограничения на значение $ρ$ . Экспоненциальное распределение, с $ρ$ равняйтесь 1, монотонно уменьшается и слишком простой, чтобы описать одномодовые дистрибутивы в данных. В целях рисунка мы поддержим ограниченную модель, которая является суммой двух экспоненциальных распределений, полученных путем введения ограничения

$r (β, ρ) = ρ - 2 = 0 .$

Эта пустая модель будет протестирована против неограниченной альтернативы, представленной общим гамма распределением.

loglikelihood функция условной гамма плотности и ее производные, найдены аналитически:

$L (β, ρ | x) = ρ \sum_{i = 1}^{n} \ln β_{i} - n \ln Γ (ρ) + (ρ - 1) \sum_{i = 1}^{n} \ln y_{i} - \sum_{i = 1}^{n} y_{i} β_{i}$

$\frac{\partial L}{\partial β} = - ρ \sum_{i = 1}^{n} β_{i} + \sum_{i = 1}^{n} y_{i} β_{i}^{2}$

$\frac{\partial L}{\partial ρ} = \sum_{i = 1}^{n} \ln β_{i} - n Ψ (ρ) + \sum_{i = 1}^{n} \ln y_{i}$

$\frac{\partial^{2} L}{\partial β^{2}} = ρ \sum_{i = 1}^{n} β_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} β_{i}^{3}$

$\frac{\partial^{2} L}{\partial ρ^{2}} = - n Ψ^{'} (ρ)$

$\frac{\partial^{2} L}{\partial β \partial ρ} = - \sum_{i = 1}^{n} β_{i}$

где $Ψ$ дигамма-функция, производная $\ln Γ$ .

Функция loglikelihood используется, чтобы найти MLEs для ограниченных и неограниченных моделей. Производные используются, чтобы создать градиенты и оценки ковариации параметра для тестов множителя Лагранжа и Вальда.

Оценка наибольшего правдоподобия

Поскольку оптимизаторы в MATLAB® и программном обеспечении Optimization Toolbox™ находят минимумы, мы максимизируем loglikelihood путем минимизации отрицательной функции loglikelihood. Используя $L$ найденный выше, мы кодируем отрицательную функцию loglikelihood с вектором параметра p = [beta;rho]:

nLLF = @(p)sum(p(2)*(log(p(1)+x))+gammaln(p(2))-(p(2)-1)*log(y)+y./(p(1)+x));

Мы используем функциональный fmincon, чтобы вычислить ограниченные оценки параметра в $ρ$ = 2. Нижняя граница на $β$ гарантирует, что логарифм в nLLF оценен в положительных аргументах:

options = optimoptions(@fmincon,'Algorithm','active-set','TolFun',1e-10,'Display','off');

rp0 = [1 1];        % Initial values
rlb = [-min(x) 2];  % Lower bounds
rub = [Inf 2];      % Upper bounds
[rmle,rnLL] = fmincon(nLLF,rp0,[],[],[],[],rlb,rub,[],options);
rbeta = rmle(1);    % Restricted beta estimate
rrho = rmle(2);     % Restricted rho estimate
rLL = -rnLL;        % Restricted loglikelihood

Неограниченные оценки параметра вычисляются подобным образом, начинающий с начальных значений, данных ограниченными оценками:

up0 = [rbeta rrho]; % Initial values
ulb = [-min(x) 0];  % Lower bounds
uub = [Inf Inf];    % Upper bounds
[umle,unLL] = fmincon(nLLF,up0,[],[],[],[],ulb,uub,[],options);
ubeta = umle(1);    % Unrestricted beta estimate
urho = umle(2);     % Unrestricted rho estimate
uLL = -unLL;        % Unrestricted loglikelihood

Мы отображаем MLEs на логарифмическом контурном графике отрицательной поверхности loglikelihood:

betas = 1e3:1e2:4e4;
rhos = 0:0.1:10;
[BETAS,RHOS] = meshgrid(betas,rhos);
NLL = zeros(size(BETAS));
for i = 1:numel(NLL)
    NLL(i) = nLLF([BETAS(i),RHOS(i)]);
end
L = log10(unLL);
v = logspace(L-0.1,L+0.1,100);

contour(BETAS,RHOS,NLL,v) % Negative loglikelihood surface
colorbar
hold on
plot(ubeta,urho,'bo','MarkerFaceColor','b')     % Unrestricted MLE
line([1e3 4e4],[2 2],'Color','k','LineWidth',2) % Restriction
plot(rbeta,rrho,'bs','MarkerFaceColor','b')     % Restricted MLE

legend('nllf','umle','restriction','rmle')
xlabel('\beta')
ylabel('\rho')
title('{\bf Unrestricted and Restricted MLEs}')

Средства оценки ковариации

Интуитивное отношение между искривлением поверхности loglikelihood и отклонением/ковариацией оценок параметра формализовано информационным матричным равенством, которое идентифицирует отрицательное ожидаемое значение Гессиана с матрицей информации о Фишере. Вторые производные в Гессиане выражают loglikelihood вогнутости. Матрица информации о Фишере выражает отклонение параметра; его инверсия является асимптотической ковариационной матрицей.

Средства оценки ковариации, требуемые Вальдом и тестами множителя Лагранжа, вычисляются во множестве путей. Один подход должен использовать векторное произведение градиентов (OPG), который требует только первых производных loglikelihood. В то время как популярный для его относительной простоты, средство оценки OPG может быть ненадежным, особенно с небольшими выборками. Другой, часто предпочтительный, средство оценки является инверсией отрицательного ожидаемого Гессиана. Информационным матричным равенством это средство оценки является асимптотической ковариацией, подходящей для больших выборок. Если аналитические ожидания трудно вычислить, ожидаемый Гессиан может быть заменен Гессианом, оцененным в оценках параметра, так называемой "наблюдаемой" информации о Фишере.

Мы вычисляем каждое из этих трех средств оценки, с помощью производных $L$ найденный ранее. Условные ожидания в Гессиане найдены с помощью

$E [g (X) Y | X] = g (X) E [Y | X] .$

Мы оцениваем средства оценки в неограниченных оценках параметра, для Вальдового теста, и затем в ограниченных оценках параметра, для теста множителя Лагранжа.

Различные шкалы для $β$ и $ρ$ параметры отражаются в относительных размерах отклонений. Размер небольшой выборки отражается в различиях среди средств оценки. Мы увеличиваем точность отображений, чтобы показать эти различия:

format long

Оцененный в неограниченных оценках параметра, средства оценки:

% OPG estimator:

UG = [-urho./(ubeta+x)+y.*(ubeta+x).^(-2),-log(ubeta+x)-psi(urho)+log(y)];
Uscore = sum(UG)';
UEstCov1 = inv(UG'*UG) %#ok

UEstCov1 = 2×2
10⁶ ×

   6.163712448531872  -0.002335592524740
  -0.002335592524740   0.000000949846859

% Hessian estimator (observed information):

UDPsi = (psi(urho+0.0001)-psi(urho-0.0001))/(0.0002); % Digamma derivative
UH = [sum(urho./(ubeta+x).^2)-2*sum(y./(ubeta+x).^3),-sum(1./(ubeta+x)); ...
     -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov2 = -inv(UH) %#ok

UEstCov2 = 2×2
10⁶ ×

   5.914328160244167  -0.001864358576657
  -0.001864358576657   0.000000648727099

% Expected Hessian estimator (expected information):

UEH = [-sum(urho./((ubeta+x).^2)), -sum(1./(ubeta+x)); ...
       -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov3 = -inv(UEH) %#ok

UEstCov3 = 2×2
10⁶ ×

   4.993552448927904  -0.001574104798365
  -0.001574104798365   0.000000557231141

Оцененный в ограниченных оценках параметра, средства оценки:

% OPG estimator:

RG = [-rrho./(rbeta+x)+y.*(rbeta+x).^(-2),-log(rbeta+x)-psi(rrho)+log(y)];
Rscore = sum(RG)';
REstCov1 = inv(RG'*RG) %#ok

REstCov1 = 2×2
10⁷ ×

   6.614319529708872  -0.000476569582451
  -0.000476569582451   0.000000040110436

% Hessian estimator (observed information):

RDPsi = (psi(rrho+0.0001)-psi(rrho-0.0001))/(0.0002); % Digamma derivative
RH = [sum(rrho./(rbeta+x).^2)-2*sum(y./(rbeta+x).^3),-sum(1./(rbeta+x)); ...
     -sum(1./(rbeta+x)),-n*RDPsi];
REstCov2 = -inv(RH) %#ok

REstCov2 = 2×2
10⁷ ×

   2.708403012378076  -0.000153134581292
  -0.000153134581292   0.000000011081041

% Expected Hessian estimator (expected information):

REH = [-sum(rrho./((rbeta+x).^2)),-sum(1./(rbeta+x)); ...
       -sum(1./(rbeta+x)),-n*RDPsi];
REstCov3 = -inv(REH) %#ok

REstCov3 = 2×2
10⁷ ×

   2.613661653125537  -0.000147777853245
  -0.000147777853245   0.000000010778169

Возвратитесь, чтобы закоротить числовые отображения:

format short

Тест отношения правдоподобия

Тест отношения правдоподобия, который оценивает статистическое значение различия в loglikelihoods в неограниченных и ограниченных оценках параметра, обычно считается самым надежным из трех классических тестов. Его основной недостаток - то, что это требует оценки обеих моделей. Это может быть проблемой, если или неограниченная модель или ограничения нелинейны, требуя у необходимой оптимизации.

Если необходимые loglikelihoods были получены посредством оценки наибольшего правдоподобия, используйте lratiotest, чтобы запустить тест отношения правдоподобия:

dof = 1; % Number of restrictions
[LRh,LRp,LRstat,cV] = lratiotest(uLL,rLL,dof) %#ok

LRh = logical
   1

LRp = 7.9882e-05

LRstat = 15.5611

cV = 3.8415

Тест отклоняет ограниченную модель (LRh = 1) с p-значением (LRp = 7.9882e-005) значительно ниже уровня значения по умолчанию (alpha = 0.05) и тестовая статистическая величина (LRstat = 15.5611) много больше критического значения (cV = 3.8415).

Как Вальд и тесты множителя Лагранжа, тест отношения правдоподобия является асимптотическим; тестовая статистическая величина оценена с ограничивающим распределением, полученным, позволив объему выборки склоняться к бесконечности. То же распределение хи-квадрат, со степенью свободы dof, используется, чтобы оценить отдельную тестовую статистику каждого из трех тестов с тем же критическим значением cV. Последствия для рисования выводов из небольших выборок должны быть очевидными, и это - одна из причин, почему три теста часто используются вместе как проверки друг по сравнению с другом.

Вальдов тест

Вальдов тест является соответствующим в ситуациях, где ограничения налагают значительные требования на оценку параметра, как в случае нескольких нелинейных ограничений. Вальдов тест имеет преимущество, что это требует только неограниченной оценки параметра. Его основной недостаток - то, что, в отличие от теста отношения правдоподобия, это также требует довольно точной оценки ковариации параметра.

Чтобы выполнить Вальдов тест, ограничения должны быть сформулированы как функции от p-dimensional пространства параметров до q-dimensional пробела ограничения:

$r = (\begin{matrix} r_{1} (θ_{1}, \dots, θ_{p}) \\ ⋮ \\ r_{q} (θ_{1}, \dots, θ_{p}) \end{matrix})$

с якобианом

$R = (\begin{matrix} \frac{\partial r_{1}}{\partial θ_{1}} & \dots & \frac{\partial r_{1}}{\partial θ_{p}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial r_{q}}{\partial θ_{1}} & \dots & \frac{\partial r_{q}}{\partial θ_{p}} \end{matrix}) .$

Для гамма распределения на рассмотрении, одного ограничения

$r (β, ρ) = ρ - 2$

сопоставляет 2-мерное пространство параметров с 1-мерным пробелом ограничения с якобианом [0 1].

Используйте waldtest, чтобы запустить Вальдов тест с каждой из неограниченных оценок ковариации, вычисленных ранее. Количество ограничений, dof является длиной входного вектора r, таким образом, это не должно быть введено явным образом что касается lratiotest или lmtest:

r = urho-2; % Restriction vector
R = [0 1];  % Jacobian
restrictions = {r,r,r};
Jacobians = {R,R,R};
UEstCov = {UEstCov1,UEstCov2,UEstCov3};
[Wh,Wp,Wstat,cV] = waldtest(restrictions,Jacobians,UEstCov) %#ok

Wh = 1x3 logical array

   1   1   1

Wp = 1×3

    0.0144    0.0031    0.0014

Wstat = 1×3

    5.9877    8.7671   10.2066

cV = 1×3

    3.8415    3.8415    3.8415

Тест отклоняет ограниченную модель с каждой из оценок ковариации.

Тесты гипотезы в программном обеспечении Econometrics Toolbox и Statistics Toolbox™ действуют на 5%-м уровне значения по умолчанию. Уровень значения может быть изменен с дополнительным входом:

alpha = 0.01; % 1% significance level
[Wh2,Wp2,Wstat2,cV2] = waldtest(restrictions,Jacobians,UEstCov,alpha) %#ok

Wh2 = 1x3 logical array

   0   1   1

Wp2 = 1×3

    0.0144    0.0031    0.0014

Wstat2 = 1×3

    5.9877    8.7671   10.2066

cV2 = 1×3

    6.6349    6.6349    6.6349

Средству оценки OPG не удается отклонить ограниченную модель на новом уровне значения.

Тест множителя Лагранжа

Тест множителя Лагранжа является соответствующим в ситуациях, где неограниченная модель налагает значительные требования на оценку параметра, как в случае, где ограниченная модель линейна, но неограниченная модель не. Тест множителя Лагранжа имеет преимущество, что это требует только ограниченной оценки параметра. Его основной недостаток - то, что, как Вальдов тест, это также требует довольно точной оценки ковариации параметра.

Используйте lmtest, чтобы запустить тест множителя Лагранжа с каждой из ограниченных оценок ковариации, вычисленных ранее:

scores = {Rscore,Rscore,Rscore};
REstCov = {REstCov1,REstCov2,REstCov3};
[LMh,LMp,LMstat,cV] = lmtest(scores,REstCov,dof) %#ok

LMh = 1x3 logical array

   1   1   1

LMp = 1×3

    0.0000    0.0024    0.0027

LMstat = 1×3

   33.4617    9.2442    8.9916

cV = 1×3

    3.8415    3.8415    3.8415

Тест снова отклоняет ограниченную модель с каждой из оценок ковариации на уровне значения по умолчанию. Надежность средства оценки OPG подвергается сомнению аномально большим значением первой тестовой статистической величины.

Сводные данные

Три классических модели misspecification тесты формируют естественный инструментарий для эконометриков. В контексте оценки наибольшего правдоподобия они все пытаются сделать то же различие между неограниченным и ограниченной моделью в некоторой иерархии прогрессивно более простых описаний данных. Каждый тест, однако, идет с различными требованиями, и так может быть полезным в различных ситуациях с моделированием, в зависимости от вычислительных требований. Когда используется вместе, выводы могут отличаться среди тестов, особенно с небольшими выборками. Пользователи должны рассмотреть тесты как только один компонент более широкого статистического и экономического анализа.

Ссылки

[1] Дэвидсон, R. и Дж.Г. Маккиннон. Эконометрическая теория и методы. Оксфорд, Великобритания: Издательство Оксфордского университета, 2004.

[2] Годфри, тесты Л.Г. Мисспекификэйшна в эконометрике. Кембридж, Великобритания: Издательство Кембриджского университета, 1997.

[3] Грин, W.H. Эконометрический анализ. Верхний Сэддл-Ривер, NJ: Пирсон Prentice Hall, 2008.

[4] Гамильтон, анализ временных рядов степени доктора юридических наук. Принстон, NJ: Издательство Принстонского университета, 1994.

Документация