Тесты сравнения модели

Доступные тесты

Первичная цель выбора модели выбирает самую экономную модель, которая соответственно соответствует вашим данным. Три асимптотически эквивалентных теста сравнивают ограниченную модель (пустая модель) против неограниченной модели (альтернативная модель), подгонка к тем же данным:

Тест отношения правдоподобия (LR)
Тест множителя Лагранжа (LM)
Вальд (W) тест

Для модели параметрами θ рассмотрите ограничение $r (θ) = 0,$ которому удовлетворяет пустая модель. Например, рассмотрите тестирование нулевой гипотезы $θ = θ_{0} .$ Функция ограничения для этого теста

$r (θ) = θ - θ_{0} .$

LR, LM и Вальдовы тесты приближаются к проблеме сравнения припадка ограниченной модели против неограниченной модели по-другому. Для набора определенных данных позволить $l (θ_{0}^{M L E})$ обозначьте функцию логарифмической правдоподобности, выполненную в оценке наибольшего правдоподобия (MLE) ограниченной (пустой) модели. Пусть $l (θ_{A}^{M L E})$ обозначьте функцию логарифмической правдоподобности, выполненную в MLE неограниченной (альтернативной) модели. Следующая фигура иллюстрирует объяснение позади каждого теста.

Тест отношения правдоподобия. Если ограниченная модель соответствует, то различие между максимизируемыми целевыми функциями, $l (θ_{A}^{M L E}) - l (θ_{0}^{M L E}),$ не должен значительно отличаться от нуля.
Тест множителя Лагранжа. Если ограниченная модель соответствует, то наклон касательной функции логарифмической правдоподобности в ограниченном MLE (обозначенный _T0 на рисунке) не должен значительно отличаться от нуля (который является наклоном касательной функции логарифмической правдоподобности в неограниченном MLE, обозначенном T).
Вальдов тест. Если ограниченная модель соответствует, то функция ограничения, выполненная в неограниченном MLE, не должна значительно отличаться от нуля (который является значением функции ограничения в ограниченном MLE).

Три теста асимптотически эквивалентны. Под пустым указателем LR, LM и Вальдова тестовая статистика все распределяются как $χ^{2}$ со степенями свободы равняются количеству ограничений. Если тестовая статистическая величина превышает тестовое критическое значение (эквивалентно, p-значение меньше чем или равно уровню значения), нулевая гипотеза отклоняется. Таким образом, ограниченная модель отклоняется в пользу неограниченной модели.

Выбирание среди LR, LM и Вальдового теста в основном определяется вычислительной стоимостью:

Чтобы провести тест отношения правдоподобия, необходимо оценить и ограниченные и неограниченные модели.
Чтобы провести тест множителя Лагранжа, только необходимо оценить ограниченную модель (но тест требует оценки ковариационной матрицы отклонения).
Чтобы провести Вальдов тест, только необходимо оценить неограниченную модель (но тест требует оценки ковариационной матрицы отклонения).

При прочих равных условиях тест LR часто является предпочтительным вариантом для сравнения вложенных моделей. Econometrics Toolbox™ имеет функциональность для всех трех тестов.

Тест отношения правдоподобия

Можно провести тест отношения правдоподобия с помощью lratiotest. Необходимые входные параметры:

Значение максимизируемой неограниченной логарифмической правдоподобности, $l (θ_{A}^{M L E})$
Значение максимизируемой ограниченной логарифмической правдоподобности, $l (θ_{0}^{M L E})$
Количество ограничений (степени свободы)

Учитывая эти входные параметры, тестовая статистическая величина отношения правдоподобия

$G^{2} = 2 \times [l (θ_{A}^{M L E}) - l (θ_{0}^{M L E})] .$

При оценке условного среднего значения и моделей отклонения (использующий arima, garch, egarch, или gjr), можно возвратить значение целевой функции логарифмической правдоподобности как дополнительный выходной аргумент estimate или infer. Для многомерных моделей временных рядов можно получить значение целевой функции логарифмической правдоподобности с помощью estimate.

Тест множителя Лагранжа

Необходимые входные параметры для проведения теста множителя Лагранжа:

Градиент неограниченной вероятности оценен в ограниченном MLEs (счет), S
Ковариационная матрица отклонения для неограниченных параметров, оцененных в ограниченном MLEs, V

Учитывая эти входные параметры, тестовая статистическая величина LM

$L M = S^{'} V S .$

Можно провести тест LM с помощью lmtest. Определенным примером теста LM является тест ДУГИ Энгла, который можно провести использование archtest.

Вальдов тест

Необходимые входные параметры для проведения Вальдового теста:

Функция ограничения выполнена в неограниченном MLE, r
Якобиан функции ограничения оценен в неограниченном MLEs, R
Ковариационная матрица отклонения для неограниченных параметров, оцененных в неограниченном MLEs, V

Учитывая эти входные параметры, тестовая статистическая величина для Вальдового теста

$W = r^{'} {(R V R^{'})}^{- 1} r .$

Можно провести Вальдов тест с помощью waldtest.

Совет

Можно часто вычислять якобиан функции ограничения аналитически. Или, если у вас есть Symbolic Math Toolbox™, можно использовать функциональный jacobian.

Оценка ковариационной матрицы

Для оценки ковариационной матрицы отклонения существует несколько общепринятых методик, включая:

Векторное произведение градиентов (OPG). Позвольте G быть матрицей градиентов функции логарифмической правдоподобности. Если ваш набор данных имеет наблюдения N, и в неограниченной вероятности существуют параметры m, то G является N × матрица m.
Матрица ${(G^{'} G)}^{- 1}$ оценка OPG ковариационной матрицы отклонения.
Для arima, garch, egarch, и gjr модели, estimate метод возвращает оценку OPG ковариационной матрицы отклонения.
Обратный отрицательный гессиан (INH). Учитывая функцию логарифмической правдоподобности $l (θ),$ оценка ковариации INH имеет элементы

$cov (i, j) = {(- \frac{\partial^{2} l (θ)}{\partial θ_{i} \partial θ_{j}})}^{- 1} .$
Функция оценки для многомерных моделей, estimate, возвращает ожидаемую ковариационную матрицу отклонения Гессиана.

Совет

Если у вас есть Symbolic Math Toolbox, можно использовать jacobian дважды вычислить матрицу Гессиана для вашей функции логарифмической правдоподобности.

Документация