Оценка многомерных регрессионных моделей

Оценка методом наименьших квадратов

Обычные наименьшие квадраты
Ковариационные взвешенные наименьшие квадраты
Ковариация ошибки
Допустимые обобщенные наименьшие квадраты
Исправленные стандартные ошибки панели

Обычные наименьшие квадраты

Когда вы подбираете многомерные линейные регрессионые модели с помощью mvregressможно использовать опциональную пару "имя-значение" 'algorithm','cwls' для выбора оценки методом наименьших квадратов. В этом случае по умолчанию mvregress возвращает обычные оценки методом наименьших квадратов (OLS) с помощью $Σ = I_{d}$ . Кроме того, если вы задаете ковариационную матрицу для взвешивания, можно вернуть оценки наименьших квадратов (CWLS), взвешенные ковариацией. Если вы комбинируете OLS и CWLS, можно получить допустимые обобщенные оценки методом наименьших квадратов (FGLS).

Оценка OLS для вектора коэффициента является вектором $b$ который минимизирует

$\sum_{i = 1}^{n} {(y_{i} - X_{i} b)}^{'} (y_{i} - X_{i} b) .$

Давайте $y$ обозначает вектор nd -by-1 сложенных d -мерных откликов, и $X$ обозначить nd -by - K матрицу сложенных матриц проекта. Вектор K -by-1 оценок коэффициентов регрессии OLS,

$b_{O L S} = {(X^{'} X)}^{- 1} X^{'} y .$

Это первый mvregress выход.

Данный $Σ = I_{d}$ (а mvregress OLS по умолчанию), дисперсионно-ковариационная матрица оценок OLS является

$V (b_{O L S}) = {(X^{'} X)}^{- 1} .$

Это четвёртая mvregress выход. Стандартные ошибки коэффициентов регрессии OLS являются квадратным корнем диагонали этой дисперсионно-ковариационной матрицы.

Если ваши данные не масштабированы, что $Σ = σ^{2} I_{d}$ , тогда можно умножить mvregress дисперсионно-ковариационная матрица средней квадратичной невязкой (MSE), объективная оценка $σ^{2}$ . Чтобы вычислить MSE, верните n -by - d матрицу невязок, $E$ (третий mvregress выход). Затем,

$MSE = \frac{\sum_{i = 1}^{n} e_{i} e_{i}^{'}}{n - K},$

где $e_{i} = (y_{i} - X_{i} β)^{'}$ - i-я строка $E$ .

Ковариационные взвешенные наименьшие квадраты

Для большинства многомерных задач матрица тождеств ошибки ковариации является недостаточной и приводит к неэффективным или смещенным стандартным оценкам ошибки. Можно задать матрицу для оценки CWLS с помощью необязательного аргумента пары "имя-значение" covar0например, матрица обратного d -by d с именем $C_{0}$ . Обычно, $C_{0}$ является диагональной матрицей, такой что обратная матрица $C_{0}^{- 1}$ содержит веса для каждой размерности, чтобы смоделировать гетероскедастичность. Однако, $C_{0}$ может также быть недиагональной матрицей, которая моделирует корреляцию.

Данный $C_{0}$ , решение CWLS является вектором $b$ который минимизирует

$\sum_{i = 1}^{n} {(y_{i} - X_{i} b)}^{'} C_{0} (y_{i} - X_{i} b) .$

В этом случае вектор K -by-1 оценок коэффициента регрессии CWLS является

$b_{C W L S} = {(X^{'} {(I_{n} \otimes C_{0})}^{- 1} X)}^{- 1} X^{'} {(I_{n} \otimes C_{0})}^{- 1} y .$

Это первый mvregress выход.

Если $Σ = C_{0}$ , это обобщенное решение методом наименьших квадратов (GLS). Соответствующая дисперсионно-ковариационная матрица оценок CWLS

$V (b_{C W L S}) = {(X' {(I_{n} \otimes C_{0})}^{- 1} X)}^{- 1} .$

Это четвёртая mvregress выход. Стандартные ошибки коэффициентов регрессии CWLS являются квадратным корнем диагонали этой дисперсионно-ковариационной матрицы.

Если вы знаете только ковариационную матрицу ошибок до пропорции, то есть $Σ = σ^{2} C_{0}$ , можно умножить mvregress дисперсионно-ковариационная матрица MSE, как описано в «Обыкновенных наименьших квадратах».

Ковариация ошибки

Независимо от того, какой метод наименьших квадратов вы используете, оценка для дисперсионно-ковариационной матрицы ошибки является

$\hat{Σ} = (\begin{matrix} {\hat{σ}}_{1}^{2} & {\hat{σ}}_{12} & \dots & {\hat{σ}}_{1 d} \\ {\hat{σ}}_{12} & {\hat{σ}}_{2}^{2} & \dots & {\hat{σ}}_{2 d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ {\hat{σ}}_{1 d} & {\hat{σ}}_{2 d} & \dots & {\hat{σ}}_{d}^{2} \end{matrix}) = \frac{E^{'} E}{n},$

где $E$ - n -by - d матрица невязок. Вторая i строка $E$ является $e_{i} = {(y_{i} - X_{i} b)}^{'} .$

Ковариационная оценка ошибки, $\hat{Σ}$ , является вторым mvregress выход, и матрица невязок, $E$ , - третий выход. Если вы задаете необязательную пару "имя-значение" 'covtype','diagonal', затем mvregress возвраты $\hat{Σ}$ с нулями в недиагональных записях,

$\hat{Σ} = (\begin{matrix} {\hat{σ}}_{1}^{2} & 0 \\ ⋱ \\ 0 & {\hat{σ}}_{d}^{2} \end{matrix}) .$

Допустимые обобщенные наименьшие квадраты

Обобщенная оценка методом наименьших квадратов является оценкой CWLS с известной ковариационной матрицей. То есть, дано $Σ$ известно, что решение GLS является

$b_{G L S} = {(X^{'} {(I_{n} \otimes Σ)}^{- 1} X)}^{- 1} X^{'} {(I_{n} \otimes Σ)}^{- 1} y,$

с дисперсионно-ковариационной матрицей

$V (b_{G L S}) = {(X^{'} {(I_{n} \otimes Σ)}^{- 1} X)}^{- 1} .$

В большинстве случаев ковариация ошибок неизвестна. Допустимая обобщенная оценка методом наименьших квадратов (FGLS) использует $\hat{Σ}$ вместо $Σ$ . Можно получить двухэтапные оценки FGLS следующим образом:

Выполните регрессию OLS и верните оценку $\hat{Σ}$ .
Выполните регрессию CWLS, используя $C_{0} = \hat{Σ}$ .

Можно также выполнить итерацию между этими двумя шагами до достижения сходимости.

Для некоторых данных оценка OLS $\hat{Σ}$ положительный полуопределенный, и не имеет уникальной обратной. В этом случае вы не можете получить оценку FGLS с помощью mvregress. В качестве альтернативы можно использовать lscov, который использует обобщенную обратную матрицу, чтобы вернуть взвешенные решения методом наименьших квадратов для положительных полуопределенных ковариационных матриц.

Исправленные стандартные ошибки панели

Альтернативой FGLS является использование оценок коэффициентов OLS (которые являются последовательными) и стандартная коррекция ошибок для повышения эффективности. Одной из таких стандартных корректировок ошибок - которая не требует инверсии ковариационной матрицы - являются стандартные ошибки с панельной коррекцией (PCSE) [1]. Панель скорректированная дисперсионно-ковариационная матрица для оценок OLS

$V_{p c s e} (b_{O L S}) = {(X^{'} X)}^{- 1} X^{'} (I_{n} \otimes Σ) X {(X^{'} X)}^{- 1} .$

PCSE являются квадратным корнем диагонали этой дисперсионно-ковариационной матрицы. Модель панели фиксированных эффектов с параллельной корреляцией иллюстрирует расчеты PCSE.

Максимальные оценки правдоподобия

Алгоритм оценки по умолчанию, используемый mvregress - максимальная оценка правдоподобия (MLE). Логарифмическая правдоподобность для многомерной модели линейной регрессии

$\begin{array}{l} \log L (β, Σ | y, X) = \frac{1}{2} n d \log (2 π) + \frac{1}{2} n \log (\det (Σ)) \\ + \frac{1}{2} \sum_{i = 1}^{n} {(y_{i} - X_{i} β)}^{'} Σ^{- 1} (y_{i} - X_{i} β) . \\ \end{array}$

MLE для $β$ и $Σ$ являются значениями, которые максимизируют целевую функцию логарифмической правдоподобности.

mvregress находит MLE с помощью итерационного двухэтапного алгоритма. При итерации m + 1 оценки

$b_{M L E}^{(m + 1)} = {(X^{'} {(I_{n} \otimes Σ^{(m)})}^{- 1} X)}^{- 1} X^{'} {(I_{n} \otimes Σ^{(m)})}^{- 1} y$

${\hat{Σ}}^{(m + 1)} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - X_{i} b_{M L E}^{(m + 1)}) {(y_{i} - X_{i} b_{M L E}^{(m + 1)})}^{'} .$

Алгоритм заканчивается, когда изменения в оценках коэффициентов и целевой функции логарифмической правдоподобности меньше заданного допуска, или когда достигается заданное максимальное количество итераций. Необязательные аргументы пары "имя-значение" для изменения этих критериев сходимости tolbeta, tolobj, и maxiter, соответственно.

Стандартные ошибки

Дисперсионно-ковариационная матрица MLE является необязательной mvregress выход. По умолчанию mvregress возвращает дисперсионно-ковариационную матрицу только для коэффициентов регрессии, но можно также получить дисперсионно-ковариационную матрицу $\hat{Σ}$ использование опциональной пары "имя-значение" 'vartype','full'. В этом случае mvregress возвращает дисперсионно-ковариационную матрицу для всех коэффициентов регрессии K и d или d (d + 1 )/2 ковариационных членов (в зависимости от того, является ли ковариация ошибки диагональной или полной).

По умолчанию дисперсионно-ковариационная матрица является обратной наблюдаемой информационной матрицы Фишера ('hessian' опция). Можно запросить ожидаемую информационную матрицу Фишера, используя опциональную пару "имя-значение" 'vartype','fisher'. При условии отсутствия отсутствующих данных отклика наблюдаемые и ожидаемые информационные матрицы Фишера одинаковы. Если данные отклика отсутствуют, наблюдаемая информация Фишера учитывает добавленную неопределенность из-за отсутствующих значений, в то время как ожидаемая информационная матрица Фишера нет.

Дисперсионно-ковариационная матрица для MLE коэффициента регрессии

$V (b_{M L E}) = {(X^{'} {(I_{n} \otimes \hat{Σ})}^{- 1} X)}^{- 1},$

оценивается в MLE ковариационной матрицы ошибки. Это четвёртая mvregress выход. Стандартные ошибки MLE являются квадратным корнем диагонали этой дисперсионно-ковариационной матрицы.

Для $\hat{Σ}$ Давайте $θ$ обозначить вектор параметров в оценочной дисперсионно-ковариационной матрице ошибок. Для примера, если d = 2, то:

Если предполагаемая ковариационная матрица диагональна, то $θ = ({\hat{σ}}_{1}^{2}, {\hat{σ}}_{2}^{2})$ .
Если предполагаемая ковариационная матрица полна, то $θ = ({\hat{σ}}_{1}^{2}, {\hat{σ}}_{12}, {\hat{σ}}_{2}^{2})$ .

Информационная матрица Фишера для $θ$ , $I (θ)$ , имеет элементы

$I {(θ)}_{u, v} = \frac{1}{2} t r ({\hat{Σ}}^{- 1} \frac{\partial \hat{Σ}}{\partial θ_{u}} {\hat{Σ}}^{- 1} \frac{\partial \hat{Σ}}{\partial θ_{v}}), u, v = 1, \dots, n_{θ},$

где $n_{θ}$ - длина, $θ$ (либо d, либо d (d + 1 )/2). Получившаяся дисперсионно-ковариационная матрица

$V (θ) = I {(θ)}^{- 1} .$

Когда вы запрашиваете полную дисперсионно-ковариационную матрицу, mvregress Возвраты (как четвертый выход) матрицу блока диагонали

$(\begin{matrix} V (b_{M L E}) & 0 \\ 0 & V (θ) \end{matrix}) .$

Отсутствующие данные отклика

Ожидание/условная максимизация
Матрица наблюдаемой информации

Ожидание/условная максимизация

Если какие-либо значения отклика отсутствуют, обозначены NaN, mvregress использует алгоритм максимизации ожиданий/условной максимизации (ECM) для оценки (если достаточно данных доступно). В этом случае алгоритм итеративен как для наименьших квадратов, так и для максимальной оценки правдоподобия. Во время каждой итерации mvregress вписывает отсутствующие значения отклика, используя их условное ожидание.

Рассмотрите организацию данных так, чтобы совместное распределение отсутствующих и наблюдаемых ответов, обозначенных $\tilde{y}$ и $y$ соответственно может быть записано как

$(\begin{array}{l} \tilde{y} \\ y \end{array}) \sim M V N {(\begin{array}{l} \tilde{X} β \\ X β \end{array}), (\begin{matrix} Σ_{\tilde{y}} & Σ_{\tilde{y}}_{y} \\ Σ_{y \tilde{y}} & Σ_{y} \end{matrix})} .$

Используя свойства многомерного нормального распределения, условное ожидание отсутствующих ответов, учитывая наблюдаемые ответы,

$E (\tilde{y} | y) = \tilde{X} β + Σ_{\tilde{y} y} Σ_{y}^{- 1} (y - X β) .$

Кроме того, дисперсионно-ковариационная матрица условного распределения

$COV (\tilde{y} | y) = Σ_{\tilde{y}} - Σ_{\tilde{y} y} Σ_{y}^{- 1} Σ_{y \tilde{y}} .$

При каждой итерации алгоритма ECM, mvregress использует значения параметров из предыдущей итерации в:

Обновите коэффициенты регрессии, используя объединенный вектор наблюдаемых ответов и условных ожиданий отсутствующих ответов.
Обновите дисперсионно-ковариационную матрицу с поправкой на отсутствующие ответы с помощью дисперсионно-ковариационной матрицы условного распределения.

Наконец, невязки, которые mvregress возвраты для отсутствующих ответов являются различием между условным ожиданием и подобранным значением, оба оцениваются при окончательных оценках параметра.

Если вы предпочитаете игнорировать любые наблюдения, которые имеют отсутствующие значения отклика, используйте пару "имя-значение" 'algorithm','mvn'. Обратите внимание, что mvregress всегда игнорирует наблюдения, которые имеют отсутствующие значения предиктора.

Матрица наблюдаемой информации

По умолчанию mvregress использует наблюдаемую информационную матрицу Фишера ('hessian' опция), чтобы вычислить дисперсионно-ковариационную матрицу параметров регрессии. Это учитывает дополнительную неопределенность из-за отсутствующих значений отклика.

Наблюдаемая информационная матрица включает вклады только из наблюдаемых ответов. То есть наблюдаемая информационная матрица Фишера для параметров в ошибку дисперсионно-ковариационной матрице имеет элементы

$I {(θ)}_{u, v} = \frac{1}{2} \sum_{i = 1}^{n} t r ({\hat{Σ}}_{^{i} }^{- 1} \frac{\partial {\hat{Σ}}_{i}}{\partial θ_{u}} {\hat{Σ}}_{^{i} }^{- 1} \frac{\partial {\hat{Σ}}_{i}}{\partial θ_{v}}), u, v = 1, \dots, n_{θ},$

где ${\hat{Σ}}_{i}$ является подмножеством $\hat{Σ}$ соответствующий наблюдаемым реакциям в $y_{i} .$

Для примера, если d = 3, но $y_{i 2}$ отсутствует, тогда

${\hat{Σ}}_{i} = (\begin{matrix} {\hat{σ}}_{1}^{2} & {\hat{σ}}_{13} \\ {\hat{σ}}_{13} & {\hat{σ}}_{3}^{2} \end{matrix}) .$

Наблюдаемая информация Фишера для коэффициентов регрессии имеет аналогичные вклады от проекта и ковариационных матриц.

Ссылки

[1] Бек, Н. и Дж. Н. Кац. «Что делать (и не делать) с данными поперечного сечения временных рядов в сравнительной политике». American Politicy Science Review, Vol. 89, No. 3, pp. 634-647, 1995.

См. также

mvregress | mvregresslike

Подробнее о

Многомерная линейная регрессия

Документация