Испытания на отсутствие спецификации классической модели

Открыть сценарий в реальном времени

В этом примере показано использование коэффициентов правдоподобия, тестов Вальда и Лагранжа. Эти тесты полезны при оценке и оценке ограничений модели и, в конечном счете, при выборе модели, которая уравновешивает часто конкурентные цели адекватности и простоты.

Введение

Эконометрические модели - это баланс. С одной стороны, они должны быть достаточно подробными для учета соответствующих экономических факторов и их влияния на наблюдаемые структуры данных. С другой стороны, они должны избегать ненужных сложностей, которые приводят к вычислительным проблемам, чрезмерной подгонке или проблемам с интерпретацией. Рабочие модели часто разрабатываются путём рассмотрения последовательности вложенных спецификаций, в которых более крупные, теоретические модели исследуются на предмет упрощения ограничений по параметрам. Если параметры оцениваются по максимальной вероятности, для оценки адекватности ограниченных моделей обычно используются три классических теста. Они являются тестом отношения правдоподобия, тестом Вальда и тестом множителя Лагранжа.

Логарифмическое значение параметров, заданных с помощью данных $d$ , обозначается $L$ $($ start| d). Без ограничений на модель L оптимизируется при $_{}^{}$ θˆ оценки максимального правдоподобия (MLE). При ограничениях формы r (start $)$ = $0$ L оптимизируется $_{}^{при}$ θ∼ с обычно уменьшенной логикой описания данных. Классические тесты оценивают статистическую значимость ограничений модели, используя информацию, полученную из этих оптимизаций. Рамки весьма общие; он охватывает как линейные, так и нелинейные модели, а также линейные и нелинейные ограничения. В частности, он расширяет знакомую структуру t и F тестов для линейных моделей.

Каждый тест использует геометрию поверхности средства к существованию для оценки значимости ограничений модели по-разному:

Тест отношения правдоподобия учитывает разницу в логарифмах при $_{}^{θˆ}$ и $_{}^{θ\sim}$ . Если ограничения незначительны, эта разница должна быть близка к нулю.
Тест Вальда учитывает значение $r$ при $_{}^{θˆ}$ . Если ограничения незначительны, это значение должно быть рядом со значением $r$ при $_{}^{θ\sim}$ , которое равно нулю.
Тест множителя Лагранжа учитывает градиент или оценку $L$ при $_{}^{θ\sim}$ . Если ограничения незначительны, этот вектор должен быть вблизи балла при $_{}^{θˆ}$ , который равен нулю.

Тест отношения правдоподобия оценивает разницу в логарифмах непосредственно. Тесты множителя Вальда и Лагранжа делают это косвенно, с идеей, что незначительные изменения оцениваемых величин могут быть идентифицированы с незначительными изменениями параметров. Эта идентификация зависит от кривизны поверхности средства к существованию в районе MLE. В результате тесты множителя Вальда и Лагранжа включают оценку ковариации параметра в формулировке тестовой статистики.

Эконометрика Toolbox™ программное обеспечение реализует коэффициент правдоподобия, тесты множителя Вальда и Лагранжа в функциях lratiotest, waldtest, и lmtestсоответственно.

Данные и модели

Рассмотрим следующие данные Бюро переписи населения США с указанием среднегодового заработка по уровню образования:

load Data_Income2

numLevels = 8;
X = 100*repmat(1:numLevels,numLevels,1); % Levels: 100, 200, ..., 800
x = X(:);       % Education
y = Data(:);    % Income
n = length(y);  % Sample size

levelNames = DataTable.Properties.VariableNames;
boxplot(Data,'labels',levelNames)
grid on

xlabel('Educational Attainment')
ylabel('Average Annual Income  (1999 Dollars)')
title('{\bf Income and Education}')

$Figure contains an axes. The axes with title {\bf Income and Education} contains 56 objects of type line.$

Распределение доходов в данных зависит от уровня образования x. Эта картина также очевидна на гистограмме данных, которая показывает небольшой размер выборки:

figure

edges = [0:0.2:2]*1e5;
centers =[0.1:0.2:1.9]*1e5;
BinCounts = zeros(length(edges)-1,numLevels);

for j = 1:numLevels
    BinCounts(:,j) = histcounts(Data(:,j),edges); 
end;

h = bar(centers,BinCounts);
axis tight
grid on
legend(h,levelNames)
xlabel('Average Annual Income  (1999 Dollars)')
ylabel('Number of Observations')
title('{\bf Income and Education}')

$Figure contains an axes. The axes with title {\bf Income and Education} contains 8 objects of type bar. These objects represent NotHS, HS, SomeC, Assoc, Bach, Mast, Doct, Prof.$

Общей моделью для этого типа данных является гамма-распределение, с условной плотностью

$f (_{}_{} yi 'xi, β, \frac{{start}_{)}^{}}{=}^{βiαΓ (} {start}^{)_{}_{}}$ ystart-1e-yiβi,

где

$_{βi} = 1 / (_{β}$ + xi)

$i = 1, . . .,$ n.

Гамма-распределения - это суммы $экспоненциальных$ распределений, и, таким образом, допускают естественные ограничения в отношении значения, относящегося к $start$ . Экспоненциальное распределение, которое равно 1, монотонно уменьшается и слишком просто, чтобы описать унимодальные распределения в данных. В целях иллюстрации мы будем поддерживать ограниченную модель, которая является суммой двух экспоненциальных распределений, полученных путем наложения ограничения

$r (β, start) = ($ r-2) = 0.

Эта нулевая модель будет протестирована против неограниченной альтернативы, представленной общим гамма-распределением.

Логическую функцию зависимости условной гамма-плотности и ее производных находят аналитически:

$L (β,ρ'x) =_{ρ \sum}^{}_{} i=1nlnβi-nlnΓ (ρ) +_{}^{(ρ-1)}_{}_{}^{} {∑i=1nlnyi-}_{\sum}_{}$ i=1nyiβi

$\frac{}{}_{}^{}_{}_{}^{}_{}_{}^{∂L∂β=-ρ∑i=1nβi+∑i=1nyiβi2}$

$\frac{}{}_{}^{}_{} ∂L∂ρ=∑i=1nlnβi-nΨ (start)_{}^{}_{}$ +∑i=1nlnyi

$\frac{^{}}{^{}}_{}^{}_{}^{}_{}^{}_{}_{}^{∂2L∂β2=ρ∑i=1nβi2-2∑i=1nyiβi3}$

$\frac{^{}}{^{}} {∂2L∂ρ2=-nΨ}^{}' ($ start)

$\frac{^{}}{}_{}^{}_{∂2L∂β∂ρ=-∑i=1nβi}$

где $Start$ - дигамма-функция, производная $от lnΓ$ .

Функция использования журнала используется для поиска MLE для моделей с ограниченным и неограниченным доступом. Производные используются для построения градиентов и оценок ковариации параметров для тестов множителя Вальда и Лагранжа.

Оценка максимального правдоподобия

Поскольку оптимизаторы в программах MATLAB ® и Optimization Toolbox™ находят минимумы, мы максимизируем средства к существованию за счет минимизации функции отрицательного средства к существованию. Используя L, найденный выше, мы кодируем отрицательную функцию логарифма с вектором параметровp = [beta;rho]:

nLLF = @(p)sum(p(2)*(log(p(1)+x))+gammaln(p(2))-(p(2)-1)*log(y)+y./(p(1)+x));

Мы используем функцию fmincon чтобы вычислить оценки ограниченных параметров при $start=$ 2. Нижняя граница на $β$ гарантирует, что логарифм в nLLF оценивается при положительных аргументах:

options = optimoptions(@fmincon,'TolFun',1e-10,'Display','off');

rp0 = [1 1];        % Initial values
rlb = [-min(x) 2];  % Lower bounds
rub = [Inf 2];      % Upper bounds
[rmle,rnLL] = fmincon(nLLF,rp0,[],[],[],[],rlb,rub,[],options);
rbeta = rmle(1);    % Restricted beta estimate
rrho = rmle(2);     % Restricted rho estimate
rLL = -rnLL;        % Restricted loglikelihood

Оценки неограниченных параметров вычисляются аналогичным образом, начиная с начальных значений, заданных ограниченными оценками:

up0 = [rbeta rrho]; % Initial values
ulb = [-min(x) 0];  % Lower bounds
uub = [Inf Inf];    % Upper bounds
[umle,unLL] = fmincon(nLLF,up0,[],[],[],[],ulb,uub,[],options);
ubeta = umle(1);    % Unrestricted beta estimate
urho = umle(2);     % Unrestricted rho estimate
uLL = -unLL;        % Unrestricted loglikelihood

Мы отображаем MLE на логарифмическом контурном графике поверхности отрицательного логарифмического источника:

betas = 1e3:1e2:4e4;
rhos = 0:0.1:10;
[BETAS,RHOS] = meshgrid(betas,rhos);
NLL = zeros(size(BETAS));
for i = 1:numel(NLL)
    NLL(i) = nLLF([BETAS(i),RHOS(i)]);
end
L = log10(unLL);
v = logspace(L-0.1,L+0.1,100);

contour(BETAS,RHOS,NLL,v) % Negative loglikelihood surface
colorbar
hold on
plot(ubeta,urho,'bo','MarkerFaceColor','b')     % Unrestricted MLE
line([1e3 4e4],[2 2],'Color','k','LineWidth',2) % Restriction
plot(rbeta,rrho,'bs','MarkerFaceColor','b')     % Restricted MLE

legend('nllf','umle','restriction','rmle')
xlabel('\beta')
ylabel('\rho')
title('{\bf Unrestricted and Restricted MLEs}')

$Figure contains an axes. The axes with title {\bf Unrestricted and Restricted MLEs} contains 4 objects of type contour, line. These objects represent nllf, umle, restriction, rmle.$

Ковариационные оценщики

Интуитивная зависимость между кривизной поверхности логарифмического источника и дисперсией/ковариацией оценок параметров формализуется равенством информационной матрицы, которое идентифицирует отрицательное ожидаемое значение гессена с информационной матрицей Фишера. Вторые производные в гессенских выраженных конкавитах средств к существованию. Информационная матрица Фишера выражает дисперсию параметров; его обратная - асимптотическая ковариационная матрица.

Оценки ковариации, требуемые тестами множителя Вальда и Лагранжа, вычисляются различными способами. Один из подходов заключается в использовании внешнего продукта градиентов (OPG), который требует только первых производных логарифма. Будучи популярным за свою относительную простоту, OPG-оценщик может быть ненадежным, особенно с небольшими выборками. Другой, часто предпочтительный, оценщик является обратным отрицательному ожидаемому гессенскому. По равенству информационной матрицы этот оценщик является асимптотической ковариацией, подходящей для больших выборок. Если аналитические ожидания трудно вычислить, ожидаемый гессен может быть заменен на оцененный гессен на оценках параметров, так называемую «наблюдаемую» информацию Фишера.

Мы вычисляем каждый из трех оценщиков, используя производные $L$ , найденные ранее. Условные ожидания в гессене обнаруживаются с помощью

$E [g (X) Y 'X] = g (X)$ E [Y' X].

Мы оцениваем оценки в неограниченных оценках параметров, для теста Вальда, а затем в ограниченных оценках параметров для теста множителя Лагранжа.

В относительных размерах отклонений отражаются различные шкалы для параметров β и start. Небольшой размер выборки отражается в различиях между оценщиками. Мы увеличиваем точность дисплеев, чтобы показать эти различия:

format long

Оцененные при неограниченных оценках параметров, оценщики:

% OPG estimator:

UG = [-urho./(ubeta+x)+y.*(ubeta+x).^(-2),-log(ubeta+x)-psi(urho)+log(y)];
Uscore = sum(UG)';
UEstCov1 = inv(UG'*UG) %#ok

UEstCov1 = 2×2
10⁶ ×

   6.163691005497379  -0.002335588739630
  -0.002335588739630   0.000000949847074

% Hessian estimator (observed information):

UDPsi = (psi(urho+0.0001)-psi(urho-0.0001))/(0.0002); % Digamma derivative
UH = [sum(urho./(ubeta+x).^2)-2*sum(y./(ubeta+x).^3),-sum(1./(ubeta+x)); ...
     -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov2 = -inv(UH) %#ok

UEstCov2 = 2×2
10⁶ ×

   5.914337099456258  -0.001864365342784
  -0.001864365342784   0.000000648730549

% Expected Hessian estimator (expected information):

UEH = [-sum(urho./((ubeta+x).^2)), -sum(1./(ubeta+x)); ...
       -sum(1./(ubeta+x)),-n*UDPsi];
UEstCov3 = -inv(UEH) %#ok

UEstCov3 = 2×2
10⁶ ×

   4.993542832706230  -0.001574105100614
  -0.001574105100614   0.000000557232359

При оценке ограниченных параметров оценщиками являются:

% OPG estimator:

RG = [-rrho./(rbeta+x)+y.*(rbeta+x).^(-2),-log(rbeta+x)-psi(rrho)+log(y)];
Rscore = sum(RG)';
REstCov1 = inv(RG'*RG) %#ok

REstCov1 = 2×2
10⁷ ×

   6.614326247028455  -0.000476569886244
  -0.000476569886244   0.000000040110446

% Hessian estimator (observed information):

RDPsi = (psi(rrho+0.0001)-psi(rrho-0.0001))/(0.0002); % Digamma derivative
RH = [sum(rrho./(rbeta+x).^2)-2*sum(y./(rbeta+x).^3),-sum(1./(rbeta+x)); ...
     -sum(1./(rbeta+x)),-n*RDPsi];
REstCov2 = -inv(RH) %#ok

REstCov2 = 2×2
10⁷ ×

   2.708410822218739  -0.000153134983000
  -0.000153134983000   0.000000011081061

% Expected Hessian estimator (expected information):

REH = [-sum(rrho./((rbeta+x).^2)),-sum(1./(rbeta+x)); ...
       -sum(1./(rbeta+x)),-n*RDPsi];
REstCov3 = -inv(REH) %#ok

REstCov3 = 2×2
10⁷ ×

   2.613663014369842  -0.000147777891740
  -0.000147777891740   0.000000010778169

Вернуться к кратким числовым отображениям:

format short

Тест отношения правдоподобия

Тест отношения правдоподобия, который оценивает статистическую значимость разницы в логарифмах при неограниченных и ограниченных оценках параметров, обычно считается наиболее надежным из трех классических тестов. Его главный недостаток заключается в том, что он требует оценки обеих моделей. Это может быть проблемой, если неограниченная модель или ограничения нелинейны, что предъявляет значительные требования к необходимой оптимизации.

После того, как требуемые логарифмы были получены посредством оценки максимального правдоподобия, используйте lratiotest для выполнения теста отношения правдоподобия:

dof = 1; % Number of restrictions
[LRh,LRp,LRstat,cV] = lratiotest(uLL,rLL,dof) %#ok

LRh = logical
   1

LRp = 7.9882e-05

LRstat = 15.5611

cV = 3.8415

Тест отклоняет ограниченную модель (LRh = 1), с p-значением (LRp = 7.9882e-005) значительно ниже уровня значимости по умолчанию (alpha = 0.05) и тестовую статистику (LRstat = 15.5611) значительно выше критического значения (cV = 3.8415).

Подобно тестам множителя Вальда и Лагранжа, тест отношения правдоподобия является асимптотическим; тестовую статистику оценивают с помощью ограничивающего распределения, полученного путем доведения размера выборки до бесконечности. То же распределение хи-квадрат, со степенью свободы dof, используется для оценки статистики отдельных тестов каждого из трех тестов с одинаковым критическим значением cV. Последствия для получения выводов из небольших образцов должны быть очевидны, и это является одной из причин, по которой три теста часто используются вместе, как проверки друг против друга.

Испытание Вальдом

Тест Вальда подходит в ситуациях, когда ограничения предъявляют значительные требования к оценке параметров, как в случае множественных нелинейных ограничений. Тест Вальда имеет то преимущество, что он требует только неограниченной оценки параметров. Его основным недостатком является то, что, в отличие от теста отношения правдоподобия, он также требует достаточно точной оценки ковариации параметра.

Для выполнения теста Вальда ограничения должны быть сформулированы как функции от пространства p-мерных параметров до пространства q-мерных ограничений:

$r = \begin{array}{c} (_{} r1_{(} θ1_{} ... \\ , \\ _{θp})_{} ⋮rq (_{} θ1 \end{array}$ ..., θp))

с Якобианом

$R = \begin{array}{c} \frac{(_{}}{_{}} & \frac{\partialr1\partialθ1 ._{.}}{._{}} \\ \frac{_{}}{_{}} & \frac{_{}}{\partialr1\partialθp⋮⋱⋮\partialrq\partialθ1 ._{.}} \end{array} .$ ∂rq∂θp).

Для рассматриваемого гамма-распределения - единственное ограничение

$r (β, start) =$

отображает 2-мерное пространство параметров в 1-мерное пространство ограничения с помощью Jacobian [0 1].

Использовать waldtest для выполнения теста Вальда с каждой из неограниченных оценок ковариации, вычисленных ранее. Количество ограничений dof - длина входного вектора r, поэтому он не должен вводиться явно, как для lratiotest или lmtest:

r = urho-2; % Restriction vector
R = [0 1];  % Jacobian
restrictions = {r,r,r};
Jacobians = {R,R,R};
UEstCov = {UEstCov1,UEstCov2,UEstCov3};
[Wh,Wp,Wstat,cV] = waldtest(restrictions,Jacobians,UEstCov) %#ok

Wh = 1x3 logical array

   1   1   1

Wp = 1×3

    0.0144    0.0031    0.0014

Wstat = 1×3

    5.9878    8.7671   10.2066

cV = 1×3

    3.8415    3.8415    3.8415

Тест отклоняет ограниченную модель с каждой из оценок ковариации.

Тесты гипотез в программном обеспечении Econometrics Toolbox и Statistics Toolbox™ работают на уровне значимости по умолчанию 5%. Уровень значимости можно изменить с помощью дополнительного ввода:

alpha = 0.01; % 1% significance level
[Wh2,Wp2,Wstat2,cV2] = waldtest(restrictions,Jacobians,UEstCov,alpha) %#ok

Wh2 = 1x3 logical array

   0   1   1

Wp2 = 1×3

    0.0144    0.0031    0.0014

Wstat2 = 1×3

    5.9878    8.7671   10.2066

cV2 = 1×3

    6.6349    6.6349    6.6349

Оценщик OPG не может отклонить ограниченную модель на новом уровне значимости.

Тест множителя Лагранжа

Тест множителя Лагранжа подходит в ситуациях, когда неограниченная модель предъявляет значительные требования к оценке параметров, как в случае, когда ограниченная модель является линейной, но неограниченная модель не является. Его главный недостаток заключается в том, что, как и тест Вальда, он также требует достаточно точной оценки ковариации параметра.

Использовать lmtest для выполнения теста множителя Лагранжа с каждой из предварительно вычисленных оценок ограниченной ковариации:

scores = {Rscore,Rscore,Rscore};
REstCov = {REstCov1,REstCov2,REstCov3};
[LMh,LMp,LMstat,cV] = lmtest(scores,REstCov,dof) %#ok

LMh = 1x3 logical array

   1   1   1

LMp = 1×3

    0.0000    0.0024    0.0027

LMstat = 1×3

   33.4617    9.2442    8.9916

cV = 1×3

    3.8415    3.8415    3.8415

Тест снова отклоняет ограниченную модель с каждой из оценок ковариации на уровне значимости по умолчанию. Надежность оценки OPG ставится под сомнение аномально большим значением первой тестовой статистики.

Резюме

Три классических теста на отсутствие спецификации модели образуют естественный инструментарий для эконометриков. В контексте оценки максимального правдоподобия все они пытаются сделать одно и то же различие между неограниченной и ограниченной моделью в некоторой иерархии постепенно более простых описаний данных. Каждый тест, однако, имеет различные требования, и поэтому может быть полезен в различных ситуациях моделирования, в зависимости от вычислительных требований. При совместном использовании выводы могут варьироваться между тестами, особенно с небольшими образцами. Пользователи должны рассматривать тесты лишь как один из компонентов более широкого статистического и экономического анализа.

Ссылки

[1] Дэвидсон, Р. и Дж. Г. Маккиннон. Эконометрическая теория и методы. Оксфорд, Великобритания: Oxford University Press, 2004.

[2] Годфри, Л. Г. Missspecification Test in Econometrics. Кембридж, Великобритания: Cambridge University Press, 1997.

[3] Грин, Уильям. Н. Эконометрический анализ. 6-я ред. Верхняя Седлая Река, Нью-Джерси: Прентис Холл, 2008.

[4] Гамильтон, Джеймс Д. Анализ временных рядов. Принстон, Нью-Джерси: Princeton University Press, 1994.

Документация