Когда вы подбираете многомерные модели линейной регрессии с помощью mvregress
, можно использовать дополнительную пару "имя-значение" 'algorithm','cwls'
выбрать оценку методом наименьших квадратов. В этом случае, по умолчанию, mvregress
возвращается обычные наименьшие квадраты (OLS) оценивают использование . В качестве альтернативы, если вы задаете ковариационную матрицу для взвешивания, можно возвратить метод взвешенных наименьших квадратов ковариации (CWLS) оценки. Если вы комбинируете OLS и CWLS, можно получить оценки выполнимых обобщенных наименьших квадратов (FGLS).
Оценка OLS для вектора коэффициентов является вектором это минимизирует
Пусть обозначьте nd-by-1 вектор сложенного d - размерные ответы, и обозначьте nd-by-K матрица сложенных матриц проекта. K-by-1 вектор оценок коэффициента регрессии OLS
Это - первый mvregress
вывод .
Данный (mvregress
Значение по умолчанию OLS), ковариационная матрица отклонения оценок OLS
Это - четвертый mvregress
вывод . Стандартные погрешности коэффициентов регрессии OLS являются квадратным корнем из диагонали этой ковариационной матрицы отклонения.
Если ваши данные не масштабируются таким образом что , затем можно умножить mvregress
ковариационная матрица отклонения среднеквадратической ошибкой (MSE), объективной оценкой . Чтобы вычислить MSE, возвратите n-by-d матрица остаточных значений, (третий mvregress
вывод . Затем,
где i th строка .
Для большинства многомерных проблем единичная ошибочная ковариационная матрица недостаточна, и приводит к неэффективным или смещенным оценкам стандартной погрешности. Можно задать матрицу для оценки CWLS с помощью дополнительного аргумента пары "имя-значение" covar0
, например, обратимый d-by-d матрица называют . Обычно, диагональ, матрицируют таким образом что обратная матрица содержит веса для каждой размерности к модели heteroscedasticity. Однако может также быть недиагональная матрица та корреляция моделей.
Данный , решение CWLS является вектором это минимизирует
В этом случае K-by-1 вектор оценок коэффициента регрессии CWLS
Это - первый mvregress
вывод .
Если , это - решение для обобщенных наименьших квадратов (GLS). Соответствующая ковариационная матрица отклонения оценок CWLS
Это - четвертый mvregress
вывод . Стандартные погрешности коэффициентов регрессии CWLS являются квадратным корнем из диагонали этой ковариационной матрицы отклонения.
Если вы только знаете ошибочную ковариационную матрицу до пропорции, то есть, , можно умножить mvregress
ковариационная матрица отклонения MSE, как описано в Обычных Наименьших квадратах.
Независимо от которого метода наименьших квадратов вы используете, оценка для ошибочной ковариационной матрицы отклонения
где n-by-d матрица остаточных значений. i th строка
Ошибочная оценка ковариации, , второй mvregress
выведите, и матрица остаточных значений, , третий выход. Если вы задаете дополнительную пару "имя-значение" 'covtype','diagonal'
, затем mvregress
возвращается с нулями в недиагональных записях,
Обобщенная оценка методом наименьших квадратов является оценкой CWLS с известной ковариационной матрицей. Таким образом, данный известен, решение GLS
с ковариационной матрицей отклонения
В большинстве случаев ошибочная ковариация неизвестна. Оценочное использование выполнимых обобщенных наименьших квадратов (FGLS) вместо . Можно получить двухступенчатые оценки FGLS можно следующим образом:
Выполните регрессию OLS и возвратите оценку .
Выполните регрессию CWLS, с помощью .
Можно также выполнить итерации между этими двумя шагами, пока сходимость не достигнута.
Для некоторых данных, оценки OLS положительны полуопределенный, и не имеет никакой уникальной инверсии. В этом случае вы не можете получить оценку FGLS с помощью mvregress
. Как альтернатива, можно использовать lscov
, который использует обобщенную инверсию, чтобы возвратить решения для метода взвешенных наименьших квадратов для положительных полуопределенных ковариационных матриц.
Альтернатива FGLS должна использовать содействующие оценки OLS (которые сопоставимы), и сделайте коррекцию стандартной погрешности, чтобы повысить эффективность. Одна такая корректировка стандартной погрешности — который не требует инверсии ковариационной матрицы — является панелью откорректировала стандартные погрешности (PCSE) [1]. Откорректированная ковариационная матрица отклонения панели для оценок OLS
PCSE являются квадратным корнем из диагонали этой ковариационной матрицы отклонения. Фиксированная Модель Панели Эффектов с Параллельной Корреляцией иллюстрирует расчет PCSE.
Алгоритм оценки по умолчанию используется mvregress
оценка наибольшего правдоподобия (MLE). Функция логарифмической правдоподобности для многомерной модели линейной регрессии
MLEs для и значения, которые максимизируют целевую функцию логарифмической правдоподобности.
mvregress
находит MLEs использованием итеративного алгоритма 2D этапа. В итерации m + 1, оценки
и
Алгоритм останавливается, когда изменения в содействующих оценках и целевой функции логарифмической правдоподобности меньше заданного допуска, или когда заданное максимальное количество итераций достигнуто. Дополнительными аргументами пары "имя-значение" для изменения этих критериев сходимости является tolbeta
, tolobj
, и maxiter
, соответственно.
Ковариационной матрицей отклонения MLEs является дополнительный mvregress
вывод . По умолчанию, mvregress
возвращает ковариационную матрицу отклонения только для коэффициентов регрессии, но можно также получить ковариационную матрицу отклонения использование дополнительной пары "имя-значение" 'vartype','full'
. В этом случае, mvregress
возвращает ковариационную матрицу отклонения для всех коэффициентов регрессии K, и d или d (d + 1)/2 условия ковариации (в зависимости от того, является ли ошибочная ковариация диагональной или полной).
По умолчанию ковариационная матрица отклонения является инверсией наблюдаемой матрицы информации о Фишере ('hessian'
опция). Можно запросить ожидаемую матрицу информации о Фишере использование дополнительной пары "имя-значение" 'vartype','fisher'
. Если нет никаких недостающих данных об ответе, наблюдаемые и ожидаемые матрицы информации о Фишере являются тем же самым. Если данные об ответе отсутствуют, наблюдаемая информация о Фишере составляет добавленную неопределенность из-за отсутствующих значений, тогда как ожидаемая матрица информации о Фишере не делает.
Ковариационная матрица отклонения для коэффициента регрессии MLEs
оцененный в MLE ошибочной ковариационной матрицы. Это - четвертый mvregress
вывод . Стандартные погрешности MLEs являются квадратным корнем из диагонали этой ковариационной матрицы отклонения.
Для Пусть обозначьте вектор параметров в предполагаемой ошибочной ковариационной матрице отклонения. Например, если d = 2, то:
Если предполагаемая ковариационная матрица является диагональной, то .
Если предполагаемая ковариационная матрица полна, то .
Матрица информации о Фишере для , , имеет элементы
где длина (или d или d (d + 1)/2). Получившаяся ковариационная матрица отклонения
Когда вы запрашиваете полную ковариационную матрицу отклонения, mvregress
возвращает (как четвертый выход) матрицу диагонали блока
Если какие-либо значения ответа отсутствуют, обозначенный NaN
, mvregress
использует максимизацию ожидания/условного выражения (ECM) алгоритм для оценки (если достаточно данных доступно). В этом случае алгоритм является итеративным для обоих наименьших квадратов и оценки наибольшего правдоподобия. Во время каждой итерации, mvregress
приписывает недостающие значения ответа с помощью их условного ожидания.
Рассмотрите организацию данных так, чтобы совместное распределение пропавших без вести и наблюдаемые ответы, обозначенные и соответственно, может быть записан как
Используя свойства многомерного нормального распределения, условное ожидание недостающих ответов, учитывая наблюдаемые ответы
Кроме того, ковариационная матрица отклонения условного распределения
В каждой итерации алгоритма ECM, mvregress
использует значения параметров от предыдущей итерации до:
Обновите коэффициенты регрессии с помощью объединенного вектора наблюдаемых ответов и условных ожиданий недостающих ответов.
Обновите ковариационную матрицу отклонения, настраивающую для недостающих ответов с помощью ковариационной матрицы отклонения условного распределения.
Наконец, остаточные значения, что mvregress
возвращается для недостающих ответов, различие между условным ожиданием и подходящим значением, оба оцененные в итоговых оценках параметра.
Если вы предпочитаете игнорировать какие-либо наблюдения, которые имеют недостающие значения ответа, используют пару "имя-значение" 'algorithm','mvn'
. Обратите внимание на то, что mvregress
всегда игнорирует наблюдения, которые имеют недостающие значения предиктора.
По умолчанию, mvregress
использует наблюдаемую матрицу информации о Фишере ('hessian'
опция), чтобы вычислить ковариационную матрицу отклонения параметров регрессии. Это составляет дополнительную неопределенность из-за недостающих значений ответа.
Наблюдаемая информационная матрица включает вклады только от наблюдаемых ответов. Таким образом, наблюдаемая матрица информации о Фишере для параметров в ошибочной ковариационной матрице отклонения имеет элементы
где подмножество соответствие наблюдаемым ответам в
Например, если d = 3, но отсутствует, затем
Наблюдаемая информация о Фишере для коэффициентов регрессии имеет подобные вклады из проекта и ковариационных матриц.
[1] Приветствие, N. и Дж. Н. Кац. Что Сделать (а Не Сделать) с Серийными Данными Сечения Времени в Сравнительной Политике. Американский Анализ Политологии, Издание 89, № 3, стр 634–647, 1995.