Оценка параметров в линейных моделях смешанных эффектов

Линейная модель смешанных эффектов имеет вид

$y = \underset{f i x e d}{\underset{︸}{X β}} + \underset{r a n d o m}{\underset{︸}{Z b}} + \underset{e r r o r}{\underset{︸}{ε}},$

где

y - n вектор отклика -by-1, а n - количество наблюдений.
X является n матрицей проекта -by p fixed-effects.
β является вектором p -by-1 с фиксированными эффектами.
Z является n матрицей проекта -by q random-эффектов.
b является q вектором случайных эффектов -by-1.
ε является n вектором ошибки наблюдения -by-1.

Вектор, b и вектор ошибок ε случайных эффектов имеют следующие независимые предшествующие распределения:

$\begin{array}{l} b ~ N (0, σ^{2} D (θ)), \\ ε ~ N (0, σ {}^{2}I), \end{array}$

где D - симметричная и положительная полуопределенная матрица, параметризованная вектором θ дисперсионного компонента, I является единичной матрицей n -by n и σ² - отклонение ошибок.

В этой модели параметрами для оценки являются коэффициенты с фиксированными эффектами β, и компоненты отклонения θ и σ². Двумя наиболее часто используемыми подходами к оценке параметров в линейных моделях смешанных эффектов являются максимальная правдоподобность и ограниченные максимальные методы правдоподобия.

Максимальная правдоподобность (ML)

Максимальная оценка правдоподобия включает в себя как коэффициенты регрессии, так и составляющие отклонения, то есть члены как с фиксированными эффектами, так и со случайными эффектами в функции правдоподобия.

Для модели линейных смешанных эффектов, заданной выше, условный ответ переменной отклика y заданным β, b, θ и² является

$y | b, β, θ, σ^{2} ~ N (X β + Z b, σ^{2} I_{n}) .$

Вероятность y заданных β, θ и² является

$P (y | β, θ, σ^{2}) = \int P (y | b, β, θ, σ^{2}) P (b | θ, σ^{2}) d b,$

где

$\begin{array}{l} P (b | θ, σ^{2}) = \frac{1}{{(2 π σ^{2})}^{\frac{q}{2}}} \frac{1}{{| D (θ) |}^{\frac{1}{2}}} \exp {- \frac{1}{2 σ^{2}} b^{T} D^{- 1} b} и \\ P (y | b, β, θ, σ^{2}) = \frac{1}{{(2 π σ^{2})}^{\frac{n}{2}}} \exp {- \frac{1}{2 σ^{2}} {(y - X β - Z b)}^{T} (y - X β - Z b)} . \end{array}$

Предположим, что Λ (<reservedrangesplaceholder4>) является более низкий треугольный Фактор Холецкого D (<reservedrangesplaceholder2>), и Δ (<reservedrangesplaceholder1>) - инверсия Λ (<reservedrangesplaceholder0>). Затем,

$D {(θ)}^{- 1} = Δ {(θ)}^{T} Δ (θ) .$

Определить

$r^{2} (β, b, θ) = b^{T} Δ {(θ)}^{T} Δ (θ) b + {(y - X β - Z b)}^{T} (y - X β - Z b),$

и предположим b^* - значение b, которое удовлетворяет

${\frac{\partial r^{2} (β, b, θ)}{\partial b} |}_{b^{*}} = 0$

для заданных β и θ. Тогда функция правдоподобия является

$P (y | β, θ, σ^{2}) = {(2 π σ^{2})}^{- \frac{n}{2}} {| D (θ) |}^{- \frac{1}{2}} \exp {- \frac{1}{2 σ^{2}} r^{2} (β, b^{*} (β), θ)} \frac{1}{{| Δ^{T} Δ + Z^{T} Z |}^{\frac{1}{2}}} .$

П (y|<reservedrangesplaceholder1>,<reservedrangesplaceholder0>,σ²) сначала максимизируется по отношению к β и² для заданного θ. Таким образом, оптимизированные решения $\hat{β} (θ)$ и ${\hat{σ}}^{2} (θ)$ получают как функции θ. Подстановка этих решений в функцию правдоподобия создает $P (y | \hat{β} (θ), θ, {\hat{σ}}^{2} (θ))$ . Это выражение называется профилированной вероятностью, где β и² были профилированы. $P (y | \hat{β} (θ), θ, {\hat{σ}}^{2} (θ))$ является функцией θ, и алгоритм затем оптимизирует его относительно θ. Как только он находит оптимальную оценку θ, оценки β и² даны $\hat{β} (θ)$ и ${\hat{σ}}^{2} (θ)$ .

Метод ML рассматривает β как фиксированные, но неизвестные величины, когда оцениваются компоненты отклонения, но не учитывает степени свободы, потерянные путем оценки фиксированных эффектов. Это приводит к смещению оценок ML с меньшими отклонениями. Однако одним из преимуществ ML по сравнению с REML является то, что можно сравнить две модели с точки зрения их фиксированных и случайных эффектов. С другой стороны, если вы используете REML для оценки параметров, можно сравнить только две модели, которые вложены в их условия случайных эффектов с тем же проектом фиксированных эффектов.

Ограниченная максимальная правдоподобность (REML)

Ограниченная максимальная оценка правдоподобия включает только компоненты отклонения, то есть параметры, которые параметризируют условия случайных эффектов в модели линейных смешанных эффектов. β оценивается на втором этапе. Принимая равномерное неподходящее предшествующее распределение для β и интегрирования правдоподобия P (y | β, θ,²) относительно β результатов в ограниченной вероятностной вероятности P (y | θ,²). То есть,

$P (y | θ, σ^{2}) = \int P (y | β, θ, σ^{2}) P (β) d β = \int P (y | β, θ, σ^{2}) d β .$

Алгоритм сначала профилирует out ${\hat{σ}}_{R}^{2}$ и максимизирует оставшуюся целевую функцию относительно θ для поиска ${\hat{θ}}_{R}$ . Ограниченная правдоподобность затем максимизируется относительно² найти ${\hat{σ}}_{R}^{2}$ . Затем он оценивает β путем нахождения его ожидаемого значения относительно апостериорного распределения

$P (β | y, {\hat{θ}}_{R}, {\hat{σ}}_{R}^{2}) .$

REML учитывает степени свободы, потерянные путем оценки фиксированных эффектов, и делает менее предвзятую оценку отклонений случайных эффектов. Оценки θ и² инвариантны значению β и менее чувствительны к выбросам в данных по сравнению с оценками ML. Однако, если вы используете REML для оценки параметров, можно сравнить только две модели, которые имеют идентичные матрицы проекта с фиксированными эффектами и вложены в их условия случайных эффектов.

Ссылки

[1] Pinherio, J. C., and D. M. Bates. Модели смешанных эффектов в S и S-PLUS. Statistics and Computing Series, Springer, 2004.

[2] Харихаран, С. и Дж. Х. Роджерс. «Процедуры оценки для иерархических линейных моделей». Многоуровневое моделирование образовательных данных (A. A. Connell and D. B. McCoach, eds.). Шарлотта, NC: Information Age Publishing, Inc., 2008.

[3] Рауденбуш, С. У. и А. С. Брык. Иерархические линейные модели: приложения и методы анализа данных, 2nd ed. Thousand Oaks, CA: Sage Publications, 2002.

[4] Hox, J. Многоуровневый анализ, методы и приложения. Lawrence Erlbaum Associates, Inc, 2002.

[5] Snidjers, T. and R. Bosker. Многоуровневый анализ. Тысяча дубов, CA: Sage Publications, 1999.

[6] McCulloch, C.E., R. S. Shayle, and J. M. Neuhaus. Обобщенные, линейные и смешанные модели. Уайли, 2008.

См. также

fitlme | fitlmematrix | LinearMixedModel

Документация