Многомерная нормальная регрессия

Введение

Этот раздел посвящен использованию методов правдоподобия для многомерной нормальной регрессии. Параметры регрессионной модели оцениваются посредством оценки максимального правдоподобия. Для нескольких рядов требуется итерация до сходимости. Усложнение из-за возможности пропуска данных включается в анализ с вариантом алгоритма ЭМ, известного как алгоритм ЕСМ.

Лежащая в основе теория оценки максимального правдоподобия и определение и значимость информационной матрицы Фишера можно найти в Кейнсе [1] и Крамере [2]. Основную теорию алгоритма ECM можно найти у Мэна и Рубина [8] и Секстона и Свенсена [9].

Кроме того, представлены два примера оценки максимального правдоподобия:

Многомерная нормальная линейная регрессия

Предположим, что в форме имеется многомерная нормальная модель линейной регрессии

$[\begin{matrix} _{} \\ _{} \end{matrix} Z1⋮Zm]~N (\begin{matrix} [_{} \\ _{} \end{matrix} H1b⋮Hmb], \begin{matrix} [ \end{matrix} C0⋱0C$ ]),

где модель имеет m наблюдений n-мерных случайных величин Z1,..., Zm с линейной регрессионной моделью, которая имеет p-мерный вектор параметров модели b. Кроме того, модель имеет последовательность m матриц проектирования H1_,..., Hm, где каждая матрица проектирования является известной матрицей n-by-p.

Учитывая вектор параметров b и набор матриц проектирования, предполагается, что набор m независимых переменных Zk имеет независимые идентично распределенные многомерные нормальные остаточные ошибки Zk-Hk b со средним n-вектором. 0 и nоколо-n ковариационная матрица C для каждого k = 1,..., m.

Лаконичный способ написать эту модель

$_{} Zk∼N (_{} Hkb, C$ )

для k = 1,..., m.

Целью многомерной нормальной регрессии является получение оценок максимального правдоподобия для b и C с учетом совокупности m наблюдений z1,..., zm случайных величин Z1_,..., Zm. Оценочные параметры представляют собой p отдельных элементов b и n (n + 1 )/2 отдельных элементов C (нижнетреугольных элементов C).

Примечание

Квазимаксимальная оценка правдоподобия работает с теми же моделями, но с релаксацией предположения о нормально распределенных остатках. Однако в этом случае оценки параметров асимптотически оптимальны.

Оценка максимального правдоподобия

Для оценки параметров многомерной модели нормальной линейной регрессии с использованием оценки максимального правдоподобия необходимо максимизировать логарифмическую функцию правдоподобия над параметрами оценки, заданными наблюдениями z1,..., zm.

Учитывая многомерную нормальную модель для характеристики остаточных ошибок в регрессионной модели, функция логарифмического правдоподобия

$\begin{matrix} L (_{} z1, . ._{.}, zm; b, \frac{}{C}) = \frac{12mnlog}{} (2δ) + \\ 12mlog \frac{}{(}_{det}^{(} {C)_{)}_{}}^{}^{+12∑k=1m} (_{} zk_{-} \end{matrix}$ Hkb) TC − 1 (zk − Hkb).

Хотя остатки поперечного сечения должны быть независимыми, эту функцию логарифмического правдоподобия можно использовать для квазимаксимальной оценки правдоподобия. В этом случае оценки для параметров b и C дают оценки для характеристики первого и второго моментов остатков. Для получения дополнительной информации см. Caines [1].

За исключением особого случая (см. Специальный случай модели множественной линейной регрессии), если должны быть оценены как параметры модели в b, так и параметры ковариации в C, проблема оценки является неразрешимо нелинейной, и решение должно использовать итеративные методы. Обозначим оценки для параметров b и C для итерации t = 0, 1,... с надстрочными обозначениями b ⁽^t⁾ и C ⁽^t).

Учитывая начальные оценки b ⁽⁰) и ^{C (}0) для параметров, оценки максимального правдоподобия для b и C получаются с использованием двухэтапного итеративного процесса с

$b^{(t +} {1)_{=}^{(}_{}^{} {^{\sumk=1mHkT}}^{(C}_{(} t}^{))} -_{}^{1Hk})_{}^{-} {1^{(}}^{}_{}$ ∑k=1mHkT (C (t)) − 1zk)

$C^{(t +} \frac{1}{)}_{}^{}_{} =1m\sumk=1m_{(}^{zk -} {Hkb_{(} t_{+}^{1)) (}}^{zk}$ − Hkb (t + 1)) T

для t = 0, 1,....

Особый случай модели множественной линейной регрессии

Специальный случай, упомянутый в оценке максимального правдоподобия, имеет место, если n = 1, так что последовательность наблюдений является последовательностью скалярных наблюдений. Эта модель известна как модель множественной линейной регрессии. В этом случае ковариационная матрица C является 1около-1 матрица, которая выпадает из максимального правдоподобия, итерируется так, что одноступенчатая оценка для b и C может быть получена с сходящимися оценками b ⁽¹) и ^{C (}1).

Регрессия методом наименьших квадратов

Другое упрощение общей модели называется регрессией наименьших квадратов. Если b ⁽⁰) =0 и C ⁽⁰) = I, то ^{b (}1) и ^C (1) из двухэтапного итеративного процесса являются оценками наименьших квадратов для b и C, где

$^{bLS} {=_{(}^{}_{}^{}_{}}^{\sumk=1mHkTHk)} -_{1}^{(}_{}^{}_{}$ ∑k=1mHkTzk)

$^{} \frac{}{}_{}^{CLS=1m∑k=1m} (_{} zk_{-}^{} {HkbLS}_{)} (_{} {zk}^{-}^{}$ HkbLS) Т.

Средняя и ковариационная оценка

Окончательное упрощение общей модели заключается в оценке среднего значения и ковариации последовательности n-мерных наблюдений z1,..., zm_. В этом случае число рядов равно числу параметров модели с n = p, а матрицы проектирования являются матрицами тождественности с Hk = I для i = 1, ..., m так, что b является оценкой для среднего, а C является оценкой ковариации набора наблюдений z1_,..., zm.

Сходимость

Если итерационный процесс продолжается до тех пор, пока логарифмическая функция правдоподобия не увеличится не более чем на определенную величину, то, как говорят, результирующие оценки являются оценками максимального правдоподобия bML и CML.

Если n = 1 (что подразумевает один ряд данных), сходимость происходит только после одного итеративного шага, что, в свою очередь, подразумевает, что оценки наименьших квадратов и максимального правдоподобия идентичны. Если, однако, n > 1, оценки наименьших квадратов и максимального правдоподобия обычно различны.

В программном обеспечении Financial Toolbox™ отслеживаются как изменения функции логарифмического правдоподобия, так и нормы изменения оценок параметров. Всякий раз, когда оба изменения опускаются ниже заданных допусков (которые должны быть что-то между точностью станка и его квадратным корнем), функции панели инструментов завершаются в предположении, что сходимость достигнута.

Информация Фишера

Поскольку оценки максимального правдоподобия формируются из выборок случайных величин, их оценщиками являются случайные величины; оценка, полученная из таких выборок, имеет неопределенность, связанную с ней. Для характеристики этих неопределенностей, которые называются стандартными ошибками, две величины выводятся из общей логарифмической функции правдоподобия.

Гессен общей логарифмической функции правдоподобия равен

$^{} ∇2L (_{} z1, . ._{.}, zm$ ;

и информационная матрица Фишера

$I (start)^{} {=−E[∇2L}_{} (z1,_{.} . ., zm$ ; start)],

где частные производные $^{∇2}$ оператора взяты по отношению к комбинированному параметрическому вектору, который содержит отдельные компоненты b и C с суммой q = p + n (n + 1 )/2 параметров.

Поскольку оценка максимального правдоподобия связана с оценками большой выборки, центральная предельная теорема применяется к оценкам, и информационная матрица Фишера играет ключевую роль в распределении выборки оценок параметров. В частности, оценки параметров максимального правдоподобия асимптотически нормально распределены так, что

$({start(}^{t}) - (t)) ∼N^{(0}, I^{- 1}, (start (t)))$ в качестве t→∞,

где Λ - вектор комбинированного параметра, а Start( ^t) - оценка для вектора комбинированного параметра при итерации t = 0, 1,...

Информационная матрица Фишера обеспечивает нижнюю границу, называемую нижней границей Крамера-Рао, для стандартных ошибок оценок параметров модели.

Статистические тесты

Учитывая оценку для вектора комбинированных параметров, квадратные стандартные ошибки являются диагональными элементами обратной информационной матрицы Фишера

$^{s2} {\overset{start^}{(}}_{} {i)^{=} {\overset{I}{(}}_{} -}_{1}$ (start^ i)) ii

для i = 1,..., q.

Поскольку стандартные ошибки являются оценками для стандартных отклонений оценок параметров, можно построить доверительные интервалы так, чтобы, например, 95% интервал для каждой оценки параметров был приблизительно

${\overset{}{λ}}_{^} i ± {\overset{}{}}_{1,96 с}$ (start^ i)

для i = 1,..., q.

Эллипсы ошибок на уровне значимости α (0, 1) для оценок параметров удовлетворяют неравенству

${TI \overset{}{}}^{} \overset{}{} (ü \hat{})_{}^{}$ ≤χ1−α,q2

и следите за $^{}$ распределением ti2 с q степеней свободы. Подобные неравенства могут формироваться для любого субколлектора параметров.

В целом, учитывая оценки параметров, вычисленную информационную матрицу Фишера и функцию логарифмического правдоподобия, можно выполнить многочисленные статистические тесты параметров, модели и регрессии.

См. также

Документация