Оценка многомерных моделей регрессии

Оценка методом наименьших квадратов

Обычные наименьшие квадраты

Когда вы подбираете многомерные модели линейной регрессии с помощью mvregress, можно использовать дополнительную пару "имя-значение" 'algorithm','cwls' выбрать оценку методом наименьших квадратов. В этом случае, по умолчанию, mvregress возвращается обычные наименьшие квадраты (OLS) оценивают использование Σ=Id. В качестве альтернативы, если вы задаете ковариационную матрицу для взвешивания, можно возвратить метод взвешенных наименьших квадратов ковариации (CWLS) оценки. Если вы комбинируете OLS и CWLS, можно получить оценки выполнимых обобщенных наименьших квадратов (FGLS).

Оценка OLS для вектора коэффициентов является вектором b это минимизирует

i=1n(yiXib)(yiXib).

Пусть y обозначьте nd-by-1 вектор сложенного d - размерные ответы, и X обозначьте nd-by-K матрица сложенных матриц проекта. K-by-1 вектор оценок коэффициента регрессии OLS

bOLS=(XX)1Xy.

Это - первый mvregress вывод .

Данный Σ=Id (mvregress Значение по умолчанию OLS), ковариационная матрица отклонения оценок OLS

V(bOLS)=(XX)1.

Это - четвертый mvregress вывод . Стандартные погрешности коэффициентов регрессии OLS являются квадратным корнем из диагонали этой ковариационной матрицы отклонения.

Если ваши данные не масштабируются таким образом что Σ=σ2Id, затем можно умножить mvregress ковариационная матрица отклонения среднеквадратической ошибкой (MSE), объективной оценкой σ2. Чтобы вычислить MSE, возвратите n-by-d матрица остаточных значений, E (третий mvregress вывод . Затем,

MSE=i=1neieinK,

где ei=(yiXiβ) i th строка E.

Метод взвешенных наименьших квадратов ковариации

Для большинства многомерных проблем единичная ошибочная ковариационная матрица недостаточна, и приводит к неэффективным или смещенным оценкам стандартной погрешности. Можно задать матрицу для оценки CWLS с помощью дополнительного аргумента пары "имя-значение" covar0, например, обратимый d-by-d матрица называют C0. Обычно, C0 диагональ, матрицируют таким образом что обратная матрица C01 содержит веса для каждой размерности к модели heteroscedasticity. Однако C0 может также быть недиагональная матрица та корреляция моделей.

Данный C0, решение CWLS является вектором b это минимизирует

i=1n(yiXib)C0(yiXib).

В этом случае K-by-1 вектор оценок коэффициента регрессии CWLS

bCWLS=(X(InC0)1X)1X(InC0)1y.

Это - первый mvregress вывод .

Если Σ=C0, это - решение для обобщенных наименьших квадратов (GLS). Соответствующая ковариационная матрица отклонения оценок CWLS

V(bCWLS)=(X'(InC0)1X)1.

Это - четвертый mvregress вывод . Стандартные погрешности коэффициентов регрессии CWLS являются квадратным корнем из диагонали этой ковариационной матрицы отклонения.

Если вы только знаете ошибочную ковариационную матрицу до пропорции, то есть, Σ=σ2C0, можно умножить mvregress ковариационная матрица отклонения MSE, как описано в Обычных Наименьших квадратах.

Ошибочная оценка ковариации

Независимо от которого метода наименьших квадратов вы используете, оценка для ошибочной ковариационной матрицы отклонения

Σ^=(σ^12σ^12σ^1dσ^12σ^22σ^2dσ^1dσ^2dσ^d2)=EEn,

где E n-by-d матрица остаточных значений. i th строка E ei=(yiXib).

Ошибочная оценка ковариации, Σ^, второй mvregress выведите, и матрица остаточных значений, E, третий выход. Если вы задаете дополнительную пару "имя-значение" 'covtype','diagonal', затем mvregress возвращается Σ^ с нулями в недиагональных записях,

Σ^=(σ^1200σ^d2).

Выполнимые обобщенные наименьшие квадраты

Обобщенная оценка методом наименьших квадратов является оценкой CWLS с известной ковариационной матрицей. Таким образом, данный Σ известен, решение GLS

bGLS=(X(InΣ)1X)1X(InΣ)1y,

с ковариационной матрицей отклонения

V(bGLS)=(X(InΣ)1X)1.

В большинстве случаев ошибочная ковариация неизвестна. Оценочное использование выполнимых обобщенных наименьших квадратов (FGLS) Σ^ вместо Σ. Можно получить двухступенчатые оценки FGLS можно следующим образом:

  1. Выполните регрессию OLS и возвратите оценку Σ^.

  2. Выполните регрессию CWLS, с помощью C0=Σ^.

Можно также выполнить итерации между этими двумя шагами, пока сходимость не достигнута.

Для некоторых данных, оценки OLS Σ^ положительны полуопределенный, и не имеет никакой уникальной инверсии. В этом случае вы не можете получить оценку FGLS с помощью mvregress. Как альтернатива, можно использовать lscov, который использует обобщенную инверсию, чтобы возвратить решения для метода взвешенных наименьших квадратов для положительных полуопределенных ковариационных матриц.

Панель откорректированные стандартные погрешности

Альтернатива FGLS должна использовать содействующие оценки OLS (которые сопоставимы), и сделайте коррекцию стандартной погрешности, чтобы повысить эффективность. Одна такая корректировка стандартной погрешности — который не требует инверсии ковариационной матрицы — является панелью откорректировала стандартные погрешности (PCSE) [1]. Откорректированная ковариационная матрица отклонения панели для оценок OLS

Vpcse(bOLS)=(XX)1X(InΣ)X(XX)1.

PCSE являются квадратным корнем из диагонали этой ковариационной матрицы отклонения. Фиксированная Модель Панели Эффектов с Параллельной Корреляцией иллюстрирует расчет PCSE.

Оценка наибольшего правдоподобия

Оценки наибольшего правдоподобия

Алгоритм оценки по умолчанию используется mvregress оценка наибольшего правдоподобия (MLE). Функция логарифмической правдоподобности для многомерной модели линейной регрессии

logL(β,Σ|y,X)=12ndlog(2π)+12nlog(det(Σ))+12i=1n(yiXiβ)Σ1(yiXiβ).

MLEs для β и Σ значения, которые максимизируют целевую функцию логарифмической правдоподобности.

mvregress находит MLEs использованием итеративного алгоритма 2D этапа. В итерации m + 1, оценки

bMLE(m+1)=(X(InΣ(m))1X)1X(InΣ(m))1y

и

Σ^(m+1)=1ni=1n(yiXibMLE(m+1))(yiXibMLE(m+1)).

Алгоритм останавливается, когда изменения в содействующих оценках и целевой функции логарифмической правдоподобности меньше заданного допуска, или когда заданное максимальное количество итераций достигнуто. Дополнительными аргументами пары "имя-значение" для изменения этих критериев сходимости является tolbeta, tolobj, и maxiter, соответственно.

Стандартные погрешности

Ковариационной матрицей отклонения MLEs является дополнительный mvregress вывод . По умолчанию, mvregress возвращает ковариационную матрицу отклонения только для коэффициентов регрессии, но можно также получить ковариационную матрицу отклонения Σ^ использование дополнительной пары "имя-значение" 'vartype','full'. В этом случае, mvregress возвращает ковариационную матрицу отклонения для всех коэффициентов регрессии K, и d или d (d + 1)/2 условия ковариации (в зависимости от того, является ли ошибочная ковариация диагональной или полной).

По умолчанию ковариационная матрица отклонения является инверсией наблюдаемой матрицы информации о Фишере ('hessian' опция). Можно запросить ожидаемую матрицу информации о Фишере использование дополнительной пары "имя-значение" 'vartype','fisher'. Если нет никаких недостающих данных об ответе, наблюдаемые и ожидаемые матрицы информации о Фишере являются тем же самым. Если данные об ответе отсутствуют, наблюдаемая информация о Фишере составляет добавленную неопределенность из-за отсутствующих значений, тогда как ожидаемая матрица информации о Фишере не делает.

Ковариационная матрица отклонения для коэффициента регрессии MLEs

V(bMLE)=(X(InΣ^)1X)1,

оцененный в MLE ошибочной ковариационной матрицы. Это - четвертый mvregress вывод . Стандартные погрешности MLEs являются квадратным корнем из диагонали этой ковариационной матрицы отклонения.

Для Σ^Пусть θ обозначьте вектор параметров в предполагаемой ошибочной ковариационной матрице отклонения. Например, если d = 2, то:

  • Если предполагаемая ковариационная матрица является диагональной, то θ=(σ^12,σ^22).

  • Если предполагаемая ковариационная матрица полна, то θ=(σ^12,σ^12,σ^22).

Матрица информации о Фишере для θ, I(θ), имеет элементы

I(θ)u,v=12tr(Σ^1Σ^θuΣ^1Σ^θv),u,v=1,,nθ,

где nθ длина θ (или d или d (d + 1)/2). Получившаяся ковариационная матрица отклонения

V(θ)=I(θ)1.

Когда вы запрашиваете полную ковариационную матрицу отклонения, mvregress возвращает (как четвертый выход) матрицу диагонали блока

(V(bMLE)00V(θ)).

Пропавшие без вести данных об ответе

Максимизация ожидания/Условного выражения

Если какие-либо значения ответа отсутствуют, обозначенный NaN, mvregress использует максимизацию ожидания/условного выражения (ECM) алгоритм для оценки (если достаточно данных доступно). В этом случае алгоритм является итеративным для обоих наименьших квадратов и оценки наибольшего правдоподобия. Во время каждой итерации, mvregress приписывает недостающие значения ответа с помощью их условного ожидания.

Рассмотрите организацию данных так, чтобы совместное распределение пропавших без вести и наблюдаемые ответы, обозначенные y˜ и y соответственно, может быть записан как

(y˜y)MVN{(X˜βXβ),(Σy˜Σy˜yΣyy˜Σy)}.

Используя свойства многомерного нормального распределения, условное ожидание недостающих ответов, учитывая наблюдаемые ответы

E(y˜|y)=X˜β+Σy˜yΣy1(yXβ).

Кроме того, ковариационная матрица отклонения условного распределения

COV(y˜|y)=Σy˜Σy˜yΣy1Σyy˜.

В каждой итерации алгоритма ECM, mvregress использует значения параметров от предыдущей итерации до:

  • Обновите коэффициенты регрессии с помощью объединенного вектора наблюдаемых ответов и условных ожиданий недостающих ответов.

  • Обновите ковариационную матрицу отклонения, настраивающую для недостающих ответов с помощью ковариационной матрицы отклонения условного распределения.

Наконец, остаточные значения, что mvregress возвращается для недостающих ответов, различие между условным ожиданием и подходящим значением, оба оцененные в итоговых оценках параметра.

Если вы предпочитаете игнорировать какие-либо наблюдения, которые имеют недостающие значения ответа, используют пару "имя-значение" 'algorithm','mvn'. Обратите внимание на то, что mvregress всегда игнорирует наблюдения, которые имеют недостающие значения предиктора.

Наблюдаемая информационная матрица

По умолчанию, mvregress использует наблюдаемую матрицу информации о Фишере ('hessian' опция), чтобы вычислить ковариационную матрицу отклонения параметров регрессии. Это составляет дополнительную неопределенность из-за недостающих значений ответа.

Наблюдаемая информационная матрица включает вклады только от наблюдаемых ответов. Таким образом, наблюдаемая матрица информации о Фишере для параметров в ошибочной ковариационной матрице отклонения имеет элементы

I(θ)u,v=12i=1ntr(Σ^i1Σ^iθuΣ^i1Σ^iθv),u,v=1,,nθ,

где Σ^i подмножество Σ^ соответствие наблюдаемым ответам в yi.

Например, если d = 3, но yi2 отсутствует, затем

Σ^i=(σ^12σ^13σ^13σ^32).

Наблюдаемая информация о Фишере для коэффициентов регрессии имеет подобные вклады из проекта и ковариационных матриц.

Ссылки

[1] Приветствие, N. и Дж. Н. Кац. Что Сделать (а Не Сделать) с Серийными Данными Сечения Времени в Сравнительной Политике. Американский Анализ Политологии, Издание 89, № 3, стр 634–647, 1995.

Смотрите также

|

Связанные примеры

Больше о

Для просмотра документации необходимо авторизоваться на сайте