Оценка параметров в линейных моделях Смешанных Эффектов

Линейная модель смешанных эффектов имеет форму

$y = \underset{f i x e d}{\underset{︸}{X β}} + \underset{r a n d o m}{\underset{︸}{Z b}} + \underset{e r r o r}{\underset{︸}{ε}},$

где

y является n-by-1 вектор отклика, и n является количеством наблюдений.
X является n-by-p, фиксированные эффекты проектируют матрицу.
β является p-by-1 вектор фиксированных эффектов.
Z является n-by-q, случайные эффекты проектируют матрицу.
b является q-by-1 вектор случайных эффектов.
ε является n-by-1 вектор ошибок наблюдения.

Вектор случайных эффектов, b, и вектор ошибок, ε, принят, чтобы иметь следующие независимые предшествующие распределения:

$\begin{array}{l} b ~ N (0, σ^{2} D (θ)), \\ ε ~ N (0, σ {}^{2}I), \end{array}$

где D является симметричной и положительной полуопределенной матрицей, параметрированной компонентом отклонения векторный θ, I является n-by-n единичная матрица, и σ ² является ошибочным отклонением.

В этой модели параметры, чтобы оценить являются коэффициентами фиксированных эффектов β и компоненты отклонения θ и σ ². Два обычно используемых подхода к оценке параметра линейные модели смешанных эффектов являются наибольшим правдоподобием и ограниченными методами максимального правдоподобия.

Наибольшее правдоподобие (ML)

Оценка наибольшего правдоподобия включает оба коэффициента регрессии и компоненты отклонения, то есть, и фиксированные эффекты и условия случайных эффектов в функции правдоподобия.

Для линейной модели смешанных эффектов, заданной выше, условный ответ переменной отклика, y, данный β, b, θ и ^σ2,

$y | b, β, θ, σ^{2} ~ N (X β + Z b, σ^{2} I_{n}) .$

Вероятность y, данного β, θ и ^σ2,

$P (y | β, θ, σ^{2}) = \int P (y | b, β, θ, σ^{2}) P (b | θ, σ^{2}) d b,$

где

$\begin{array}{l} P (b | θ, σ^{2}) = \frac{1}{{(2 π σ^{2})}^{\frac{q}{2}}} \frac{1}{{| D (θ) |}^{\frac{1}{2}}} \exp {- \frac{1}{2 σ^{2}} b^{T} D^{- 1} b} и \\ P (y | b, β, θ, σ^{2}) = \frac{1}{{(2 π σ^{2})}^{\frac{n}{2}}} \exp {- \frac{1}{2 σ^{2}} {(y - X β - Z b)}^{T} (y - X β - Z b)} . \end{array}$

Предположим, что Λ (θ) является нижний треугольный Фактор Холесского D (θ), и Δ (θ) является инверсией Λ (θ). Затем,

$D {(θ)}^{- 1} = Δ {(θ)}^{T} Δ (θ) .$

Define

$r^{2} (β, b, θ) = b^{T} Δ {(θ)}^{T} Δ (θ) b + {(y - X β - Z b)}^{T} (y - X β - Z b),$

и предположите, что b^* является значением b, который удовлетворяет

${\frac{\partial r^{2} (β, b, θ)}{\partial b} |}_{b^{*}} = 0$

для данного β и θ. Затем функция правдоподобия

$P (y | β, θ, σ^{2}) = {(2 π σ^{2})}^{- \frac{n}{2}} {| D (θ) |}^{- \frac{1}{2}} \exp {- \frac{1}{2 σ^{2}} r^{2} (β, b^{*} (β), θ)} \frac{1}{{| Δ^{T} Δ + Z^{T} Z |}^{\frac{1}{2}}} .$

P (y|β, θ, ^σ2) сначала максимизируется относительно β и ^σ2 для данного θ. Таким образом оптимизированные решения $\hat{β} (θ)$ и ${\hat{σ}}^{2} (θ)$ получены как функции θ. Замена этими решениями в функцию правдоподобия производит $P (y | \hat{β} (θ), θ, {\hat{σ}}^{2} (θ))$ . Это выражение называется профилируемой вероятностью, где β и ^σ2 профилировались. $P (y | \hat{β} (θ), θ, {\hat{σ}}^{2} (θ))$ функция θ, и алгоритм затем оптимизирует его относительно θ. Если это находит оптимальную оценку θ, оценками β и ^σ2 дают $\hat{β} (θ)$ и ${\hat{σ}}^{2} (θ)$ .

Метод ML обрабатывает β, как зафиксировано, но неизвестные количества, когда компоненты отклонения оцениваются, но не учитывает степени свободы, потерянные путем оценки фиксированных эффектов. Это заставляет оценки ML быть смещенными с меньшими отклонениями. Однако одно преимущество ML по REML состоит в том, что возможно сравнить две модели в терминах их фиксированного - и условия случайных эффектов. С другой стороны, если вы используете REML, чтобы оценить параметры, можно только сравнить две модели, которые вкладываются в их терминах случайных эффектов с тем же проектом фиксированных эффектов.

Ограниченное наибольшее правдоподобие (REML)

Ограниченная оценка наибольшего правдоподобия включает только компоненты отклонения, то есть, параметры, которые параметрируют условия случайных эффектов в линейной модели смешанных эффектов. β оценивается на втором шаге. Принятие универсального неподходящего предшествующего распределения для β и интеграция вероятности P (y |β, θ, ^σ2) относительно β приводят к ограниченной вероятности P (y |θ, ^σ2). Таким образом,

$P (y | θ, σ^{2}) = \int P (y | β, θ, σ^{2}) P (β) d β = \int P (y | β, θ, σ^{2}) d β .$

Алгоритм сначала профилирует ${\hat{σ}}_{R}^{2}$ и максимизирует остающуюся целевую функцию относительно θ, чтобы найти ${\hat{θ}}_{R}$ . Ограниченная вероятность затем максимизируется относительно ^σ2, чтобы найти ${\hat{σ}}_{R}^{2}$ . Затем это оценивает β путем нахождения его ожидаемого значения относительно апостериорного распределения

$P (β | y, {\hat{θ}}_{R}, {\hat{σ}}_{R}^{2}) .$

REML составляет степени свободы, потерянные путем оценки фиксированных эффектов, и делает менее смещенную оценку случайных отклонений эффектов. Оценки θ и ^σ2 являются инвариантными к значению β и менее чувствительными к выбросам в данных по сравнению с оценками ML. Однако, если вы используете REML, чтобы оценить параметры, можно только сравнить две модели, которые имеют идентичные фиксированные эффекты, проектируют матрицы и вкладываются в их терминах случайных эффектов.

Ссылки

[1] Pinherio, J. C. и Д. М. Бэйтс. Модели смешанных эффектов в S и S-PLUS. Статистика и ряд вычисления, Спрингер, 2004.

[2] Hariharan, S. и Дж. Х. Роджерс. “Процедуры оценки для Иерархических Линейных Моделей”. Многоуровневое Моделирование Образовательных Данных (А. А. Коннелл и Д. Б. Маккоак, редакторы). Шарлотта, NC: Information Age Publishing, Inc., 2008.

[3] Raudenbush, S. W. и А. С. Брик. Иерархические Линейные Модели: Приложения и Методы Анализа данных, 2-й редактор Таузенд-Оукс, CA: Мудрые Публикации, 2002.

[4] Hox, J. Многоуровневый анализ, методы и приложения. Lawrence Erlbaum Associates, Inc, 2002.

[5] Snidjers, T. и Р. Боскер. Многоуровневый анализ. Таузенд-Оукс, CA: мудрые публикации, 1999.

[6] Маккалок, C.E., Р. С. Шейл и J. M. Нойхаус. Обобщенные, линейные, и смешанные модели. Вайли, 2008.

Документация