Классические модельные миссидифицирующие тесты

Открыть Live Script

Этот пример показывает использование коэффициента правдоподобия, тестов Вальда и множителя Лагранжа. Эти тесты полезны для оценки и оценки модельных ограничений и, в конечном счете, для выбора модели, которая балансирует часто конкурентные цели адекватности и простоты.

Введение

Эконометрические модели являются балансом. С одной стороны, они должны быть достаточно подробными для учета соответствующих экономических факторов и их влияния на наблюдаемые шаблоны данных. С другой стороны, они должны избегать ненужных сложностей, которые приводят к вычислительным проблемам, сверхподбору кривой или проблемам с интерпретацией. Рабочие модели часто разрабатываются путем рассмотрения последовательности вложенных спецификаций, в которой большие, теоретические модели рассматриваются для упрощения ограничений параметров. Если параметры оценены по максимальной вероятности, для оценки адекватности ограниченных моделей обычно используются три классических теста. Они являются тестом коэффициента вероятности, тестом Уолда и тестом множителя Лагранжа.

Логарифмическая правдоподобность параметров модели $θ$ , заданные данные $d$ , обозначается $L$ ( $θ$ | $d$ ). Без ограничений на модель, $L$ оптимизируется при максимальной оценке правдоподобия (MLE) $θ_{}^{ˆ}$ . С ограничениями формы $r$ ( $θ$ ) $= 0$ , $L$ оптимизируется в $θ_{}^{\sim}$ с обычно пониженной логарифмической правдоподобностью описания данных. Классические тесты оценивают статистическую значимость ограничений модели, используя информацию, полученную из этих оптимизаций. Эта среда очень общий; он охватывает как линейные, так и нелинейные модели, и линейные и нелинейные ограничения. В частности, он расширяет привычные среды t и F тестов для линейных моделей.

Каждый тест использует геометрию поверхности логарифмической правдоподобности, чтобы оценить значимость ограничений модели другим способом:

Тест коэффициента вероятности рассматривает различие в логарифмической правдоподобности при $θ_{}^{ˆ}$ и $θ_{}^{\sim}$ . Если ограничения незначительны, это различие должна быть около нуля.
Тест Вальда рассматривает значение $r$ в $θ_{}^{ˆ}$ . Если ограничения незначительны, это значение должно быть близко к значению $r$ в $θ_{}^{\sim}$ , который равен нулю.
Тест множителя Лагранжа рассматривает градиент, или счет, из $L$ в $θ_{}^{\sim}$ . Если ограничения незначительны, этот вектор должен быть рядом с счетом при $θ_{}^{ˆ}$ , который равен нулю.

Тест коэффициента вероятности оценивает различие в логарифмической правдоподобности непосредственно. Тесты на множитель Вальда и Лагранжа делают это косвенно, с идеей, что незначительные изменения в оцененных величинах могут быть идентифицированы с незначительными изменениями параметров. Эта идентификация зависит от кривизны поверхности логарифмической правдоподобности в окрестности MLE. В результате тесты на множитель Уолда и Лагранжа включают оценку ковариации параметра в формулировку тестовой статистики.

Econometrics Toolbox™ software реализует коэффициент правдоподобия, тесты Уолда и множителя Лагранжа в функциях lratiotest, waldtest, и lmtest, соответственно.

Данные и модели

Рассмотрим следующие данные Бюро переписи населения США, дающие средний годовой заработок по уровню образования:

load Data_Income2

numLevels = 8;
X = 100*repmat(1:numLevels,numLevels,1); % Levels: 100, 200, ..., 800
x = X(:);       % Education
y = Data(:);    % Income
n = length(y);  % Sample size

levelNames = DataTable.Properties.VariableNames;
boxplot(Data,'labels',levelNames)
grid on

xlabel('Educational Attainment')
ylabel('Average Annual Income  (1999 Dollars)')
title('{\bf Income and Education}')

$Figure contains an axes. The axes with title {\bf Income and Education} contains 56 objects of type line.$

Распределения доходов в данных зависят от уровня образования x. Этот шаблон также очевиден на гистограмме данных, которая показывает небольшой размер выборки:

figure

edges = [0:0.2:2]*1e5;
centers =[0.1:0.2:1.9]*1e5;
BinCounts = zeros(length(edges)-1,numLevels);

for j = 1:numLevels
    BinCounts(:,j) = histcounts(Data(:,j),edges); 
end;

h = bar(centers,BinCounts);
axis tight
grid on
legend(h,levelNames)
xlabel('Average Annual Income  (1999 Dollars)')
ylabel('Number of Observations')
title('{\bf Income and Education}')

$Figure contains an axes. The axes with title {\bf Income and Education} contains 8 objects of type bar. These objects represent NotHS, HS, SomeC, Assoc, Bach, Mast, Doct, Prof.$

Общей моделью для этого типа данных является гамма- распределение с условной плотностью

$f (y_{i} | x_{i}, β, ρ) = \frac{β_{i}^{ρ}}{Γ (ρ)} y^{ρ - 1} e^{- y_{i} β_{i}},$

где

$β_{i} = 1 / (β + x_{i})$

$i = 1, . . ., n .$

Гамма- распределения являются суммами $ρ$ экспоненциальные распределения, и, таким образом, допускают естественные ограничения на значение $ρ$ . Экспоненциальное распределение с $ρ$ равный 1, монотонно уменьшается и слишком прост для описания унимодальных распределений в данных. В целях рисунка мы будем поддерживать ограниченную модель, которая является суммой двух экспоненциальных распределений, полученных путем наложения ограничения

$r (β, ρ) = ρ - 2 = 0 .$

Эта нулевая модель будет проверена на соответствие неограниченной альтернативе, представленной общим гамма- распределениям.

Функция логарифмической правдоподобности условной гамма-плотности и ее производные найдены аналитически:

$L (β, ρ | x) = ρ \sum_{i = 1}^{n} \ln β_{i} - n \ln Γ (ρ) + (ρ - 1) \sum_{i = 1}^{n} \ln y_{i} - \sum_{i = 1}^{n} y_{i} β_{i}$

$\frac{\partial L}{\partial β} = - ρ \sum_{i = 1}^{n} β_{i} + \sum_{i = 1}^{n} y_{i} β_{i}^{2}$

$\frac{\partial L}{\partial ρ} = \sum_{i = 1}^{n} \ln β_{i} - n Ψ (ρ) + \sum_{i = 1}^{n} \ln y_{i}$

$\frac{\partial^{2} L}{\partial β^{2}} = ρ \sum_{i = 1}^{n} β_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} β_{i}^{3}$

$\frac{\partial^{2} L}{\partial ρ^{2}} = - n Ψ^{'} (ρ)$

$\frac{\partial^{2} L}{\partial β \partial ρ} = - \sum_{i = 1}^{n} β_{i}$

где $Ψ$ - дигамма-функция, производная от $\ln Γ$ .

Функция логарифмической правдоподобности используется для поиска MLE для ограниченных и неограниченных моделей. Производные используются для построения градиентов и ковариационных оценок параметров для тестов на множитель Вальда и Лагранжа.

Оценка максимальных вероятностей

Поскольку оптимизаторы в MATLAB ® и ПО Optimization Toolbox™ находят минимумы, мы максимизируем логарифмическую правдоподобность путем минимизации отрицательной функции логарифмической правдоподобности. Использование $L$ найденный выше, мы кодируем отрицательную функцию логарифмической правдоподобности с вектором параметра p = [beta;rho]:

nLLF = @(p)sum(p(2)*(log(p(1)+x))+gammaln(p(2))-(p(2)-1)*log(y)+y./(p(1)+x));

Используем функцию fmincon чтобы вычислить ограниченные оценки параметров в $ρ$ = 2. Нижняя граница $β$ гарантирует, что логарифм в nLLF оценивается при положительных аргументах:

options = optimoptions(@fmincon,'TolFun',1e-10,'Display','off');

rp0 = [1 1];        % Initial values
rlb = [-min(x) 2];  % Lower bounds
rub = [Inf 2];      % Upper bounds
[rmle,rnLL] = fmincon(nLLF,rp0,[],[],[],[],rlb,rub,[],options);
rbeta = rmle(1);    % Restricted beta estimate
rrho = rmle(2);     % Restricted rho estimate
rLL = -rnLL;        % Restricted loglikelihood

Оценки неограниченных параметров вычисляются аналогичным образом, начиная с начальных значений, заданных ограниченными оценками:

up0 = [rbeta rrho]; % Initial values
ulb = [-min(x) 0];  % Lower bounds
uub = [Inf Inf];    % Upper bounds
[umle,unLL] = fmincon(nLLF,up0,[],[],[],[],ulb,uub,[],options);
ubeta = umle(1);    % Unrestricted beta estimate
urho = umle(2);     % Unrestricted rho estimate
uLL = -unLL;        % Unrestricted loglikelihood

Отображаем MLE на логарифмическом контурном графике отрицательной поверхности логарифмической правдоподобности:

betas = 1e3:1e2:4e4;
rhos = 0:0.1:10;
[BETAS,RHOS] = meshgrid(betas,rhos);
NLL = zeros(size(BETAS));
for i = 1:numel(NLL)
    NLL(i) = nLLF([BETAS(i),RHOS(i)]);
end
L = log10(unLL);
v = logspace(L-0.1,L+0.1,100);

contour(BETAS,RHOS,NLL,v) % Negative loglikelihood surface
colorbar
hold on
plot(ubeta,urho,'bo','MarkerFaceColor','b')     % Unrestricted MLE
line([1e3 4e4],[2 2],'Color','k','LineWidth',2) % Restriction
plot(rbeta,rrho,'bs','MarkerFaceColor','b')     % Restricted MLE

legend('nllf','umle','restriction','rmle')
xlabel('\beta')
ylabel('\rho')
title('{\bf Unrestricted and Restricted MLEs}')

$Figure contains an axes. The axes with title {\bf Unrestricted and Restricted MLEs} contains 4 objects of type contour, line. These objects represent nllf, umle, restriction, rmle.$

Ковариационные оценки

Интуитивная связь между кривизной поверхности логарифмической правдоподобности и дисперсией/ковариацией оценок параметров формализуется равенством информационной матрицы, которое идентифицирует отрицательное ожидаемое значение Гессиана с информационной матрицей Фишера. Вторые производные в гессианской экспрессии логарифмической гармонии. Информационная матрица Фишера выражает отклонение параметра; его обратной является асимптотическая ковариационная матрица.

Ковариационные оценки, необходимые для тестов на множитель Вальда и Лагранжа, вычисляются различными способами. Одним из подходов является использование векторного произведения градиентов (OPG), которое требует только первых производных логарифмической правдоподобности. Пользуясь популярностью благодаря относительной простоте, оценщик OPG может оказаться ненадежным, особенно с небольшими выборками. Другой, часто предпочтительный, метод оценки является обратным отрицательному ожидаемому Гессиану. По информационному матричному равенству эта оценка является асимптотической ковариацией, подходящей для больших выборок. Если аналитические ожидания трудно вычислить, ожидаемый Гессиан может быть заменен Гессианом, оцененным в оценках параметров, так называемой «наблюдаемой» информацией Фишера.

Мы вычисляем каждую из трех оценок, используя производные $L$ найдено ранее. Условные ожидания в Гессиане найдены с помощью

$E [g (X) Y | X] = g (X) E [Y | X] .$

Мы оцениваем оценки в неограниченных оценках параметров, для теста Вальда, а затем в ограниченных оценках параметров для теста множителя Лагранжа.

Различные шкалы для $β$ и $ρ$ параметры отражаются в относительных размерах отклонений. Небольшой размер выборки отражается в различиях между оценщиками. Мы увеличиваем точность отображений, чтобы показать эти различия:

format long

Оцененные по оценкам неограниченных параметров, оценщики:

% OPG estimator:

UG = [-urho./(ubeta+x)+y.*(ubeta+x).^(-2),-log(ubeta+x)-psi(urho)+log(y)];
Uscore = sum(UG)';
UEstCov1 = inv(UG'*UG) %#ok

UEstCov1 = 2×2
10⁶ ×

   6.163691005497379  -0.002335588739630
  -0.002335588739630   0.000000949847074

% Hessian estimator (observed information):

UDPsi = (psi(urho+0.0001)-psi(urho-0.0001))/(0.0002); % Digamma derivative
UH = [sum(urho./(ubeta+x).^2)-2*sum(y./(ubeta+x).^3),-sum(1./(ubeta+x)); ...
     -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov2 = -inv(UH) %#ok

UEstCov2 = 2×2
10⁶ ×

   5.914337099456258  -0.001864365342784
  -0.001864365342784   0.000000648730549

% Expected Hessian estimator (expected information):

UEH = [-sum(urho./((ubeta+x).^2)), -sum(1./(ubeta+x)); ...
       -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov3 = -inv(UEH) %#ok

UEstCov3 = 2×2
10⁶ ×

   4.993542832706230  -0.001574105100614
  -0.001574105100614   0.000000557232359

Оцененные по оценкам ограниченных параметров, оценщики:

% OPG estimator:

RG = [-rrho./(rbeta+x)+y.*(rbeta+x).^(-2),-log(rbeta+x)-psi(rrho)+log(y)];
Rscore = sum(RG)';
REstCov1 = inv(RG'*RG) %#ok

REstCov1 = 2×2
10⁷ ×

   6.614326247028455  -0.000476569886244
  -0.000476569886244   0.000000040110446

% Hessian estimator (observed information):

RDPsi = (psi(rrho+0.0001)-psi(rrho-0.0001))/(0.0002); % Digamma derivative
RH = [sum(rrho./(rbeta+x).^2)-2*sum(y./(rbeta+x).^3),-sum(1./(rbeta+x)); ...
     -sum(1./(rbeta+x)),-n*RDPsi];
REstCov2 = -inv(RH) %#ok

REstCov2 = 2×2
10⁷ ×

   2.708410822218739  -0.000153134983000
  -0.000153134983000   0.000000011081061

% Expected Hessian estimator (expected information):

REH = [-sum(rrho./((rbeta+x).^2)),-sum(1./(rbeta+x)); ...
       -sum(1./(rbeta+x)),-n*RDPsi];
REstCov3 = -inv(REH) %#ok

REstCov3 = 2×2
10⁷ ×

   2.613663014369842  -0.000147777891740
  -0.000147777891740   0.000000010778169

Вернуться к кратким числовым отображениям:

format short

Тест коэффициента правдоподобия

Критерий коэффициента правдоподобия, который оценивает статистическую значимость различия в логарифмической правдоподобности при неограниченных и ограниченных оценках параметра, обычно считается наиболее надежным из трех классических тестов. Его основным недостатком является то, что он требует оценки обеих моделей. Это может быть проблемой, если либо неограниченная модель, либо ограничения нелинейны, предъявляя значительные требования к необходимой оптимизации.

После того, как необходимые логарифмическая правдоподобность были получены с помощью максимальной оценки правдоподобия, используйте lratiotest чтобы запустить тест коэффициента правдоподобия:

dof = 1; % Number of restrictions
[LRh,LRp,LRstat,cV] = lratiotest(uLL,rLL,dof) %#ok

LRh = logical
   1

LRp = 7.9882e-05

LRstat = 15.5611

cV = 3.8415

Тест отклоняет ограниченную модель (LRh = 1), со значением p (LRp = 7.9882e-005) значительно ниже уровня значимости по умолчанию (alpha = 0.05) и тестовую статистику (LRstat = 15.5611) значительно выше критического значения (cV = 3.8415).

Как и тесты на множитель Уолда и Лагранжа, тест на отношение вероятностей является асимптотическим; тестовая статистическая величина оценивается с ограничительным распределением, полученным позволением размеру выборки стремиться к бесконечности. Такое же распределение хи-квадрат, со степенью свободы dof, используется для оценки статистики отдельных тестов каждого из трех тестов с одним и тем же критическим значением cV. Последствия для получения выводов из небольших выборок должны быть очевидными, и это одна из причин, по которой три теста часто используются вместе, как проверки друг против друга.

Тест Вальда

Тест Вальда подходит в ситуациях, когда ограничения предъявляют значительные требования к оценке параметра, как в случае с несколькими нелинейными ограничениями. Тест Уолда имеет то преимущество, что он требует только неограниченной оценки параметра. Его основным недостатком является то, что, в отличие от теста коэффициента вероятности, он также требует достаточно точной оценки параметра ковариации.

Чтобы выполнить тест Уолда, ограничения должны быть сформулированы как функции от пространства параметров p-размерности до q-мерного пространства ограничений:

$r = (\begin{array}{c} r_{1} (θ_{1}, \dots, θ_{p}) \\ ⋮ \\ r_{q} (θ_{1}, \dots, θ_{p}) \end{array})$

с якобским

$R = (\begin{array}{c} \frac{\partial r_{1}}{\partial θ_{1}} & \dots & \frac{\partial r_{1}}{\partial θ_{p}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial r_{q}}{\partial θ_{1}} & \dots & \frac{\partial r_{q}}{\partial θ_{p}} \end{array}) .$

Для гамма- распределения под фактор, одно ограничение

$r (β, ρ) = ρ - 2$

преобразует 2-мерное пространство параметров в 1-мерное пространство ограничений с помощью якобиана [0 1].

Использование waldtest чтобы запустить тест Уолда с каждой из неограниченных ковариационных оценок, вычисленных ранее. Количество ограничений dof - длина входного вектора r, поэтому его не нужно вводить явным образом, как для lratiotest или lmtest:

r = urho-2; % Restriction vector
R = [0 1];  % Jacobian
restrictions = {r,r,r};
Jacobians = {R,R,R};
UEstCov = {UEstCov1,UEstCov2,UEstCov3};
[Wh,Wp,Wstat,cV] = waldtest(restrictions,Jacobians,UEstCov) %#ok

Wh = 1x3 logical array

   1   1   1

Wp = 1×3

    0.0144    0.0031    0.0014

Wstat = 1×3

    5.9878    8.7671   10.2066

cV = 1×3

    3.8415    3.8415    3.8415

Тест отклоняет ограниченную модель с каждой из ковариационных оценок.

Проверки гипотезы в программном обеспечении Econometrics Toolbox и Statistics Toolbox™ работают на уровне 5% значимости по умолчанию. Уровень значимости может быть изменен с помощью опционального входа:

alpha = 0.01; % 1% significance level
[Wh2,Wp2,Wstat2,cV2] = waldtest(restrictions,Jacobians,UEstCov,alpha) %#ok

Wh2 = 1x3 logical array

   0   1   1

Wp2 = 1×3

    0.0144    0.0031    0.0014

Wstat2 = 1×3

    5.9878    8.7671   10.2066

cV2 = 1×3

    6.6349    6.6349    6.6349

Оценщик OPG не может отклонить ограниченную модель на новом уровне значимости.

Тест множителя Лагранжа

Тест множителя Лагранжа подходит в ситуациях, когда неограниченная модель предъявляет значительные требования к оценке параметра, как в случае, когда ограниченная модель является линейной, но неограниченная модель отсутствует. Тест множителя Лагранжа имеет преимущество, что он требует только ограниченной оценки параметра. Его основным недостатком является то, что, как и тест Вальда, он также требует достаточно точной оценки параметра ковариации.

Использование lmtest чтобы запустить тест множителя Лагранжа с каждой из ограниченных ковариационных оценок, вычисленных ранее:

scores = {Rscore,Rscore,Rscore};
REstCov = {REstCov1,REstCov2,REstCov3};
[LMh,LMp,LMstat,cV] = lmtest(scores,REstCov,dof) %#ok

LMh = 1x3 logical array

   1   1   1

LMp = 1×3

    0.0000    0.0024    0.0027

LMstat = 1×3

   33.4617    9.2442    8.9916

cV = 1×3

    3.8415    3.8415    3.8415

Тест снова отклоняет ограниченную модель с каждой из ковариационных оценок на уровне значимости по умолчанию. Надежность оценщика OPG ставится под вопрос аномально большим значением первой тестовой статистики.

Сводные данные

Три теста классической модели на мисспификацию образуют натуральный инструментарий для экономистов. В контексте максимальной оценки правдоподобия все они пытаются провести одно и то же различие между неограниченной и ограниченной моделью в некоторой иерархии постепенно более простых описаний данных. Каждый тест, однако, поставляется с различными требованиями, и поэтому может быть полезен в различных ситуациях моделирования, в зависимости от вычислительных требований. При совместном использовании выводы могут варьироваться среди тестов, особенно с небольшими выборками. Пользователи должны рассматривать тесты только как один из компонентов более широкого статистического и экономического анализа.

Ссылки

[1] Davidson, R., and J. G. MacKinnon. Эконометрическая теория и методы. Оксфорд, Великобритания: Oxford University Press, 2004.

[2] Godfrey, L. G. Misspecification Tests in Econometrics. Кембридж, Великобритания: Cambridge University Press, 1997.

[3] Грин, Уильям. H. Эконометрический анализ. 6th ed. Upper Saddle River, NJ: Prentice Hall, 2008.

[4] Гамильтон, Джеймс Д. Анализ временных рядов. Princeton, NJ: Princeton University Press, 1994.

Документация