Документация

Обычные наименьшие квадраты

При подгонке многомерных моделей линейной регрессии с использованием mvregress, можно использовать опциональную пару имя-значение 'algorithm','cwls' для выбора оценки наименьших квадратов. В этом случае по умолчанию mvregress возвращает оценки обыкновенных наименьших квадратов (OLS), используя $$\Lambda {=}_{}$$Id. Кроме того, если для взвешивания задана ковариационная матрица, можно вернуть оценки наименьших квадратов (CWLS) с ковариационным взвешиванием. Если объединить OLS и CWLS, можно получить возможные обобщенные оценки наименьших квадратов (FGLS).

Оценка OLS для вектора коэффициентов является вектором $$b$$, который минимизирует

Пусть $$y$$ обозначает вектор nd-by-1 сложенных d-мерных откликов, а $$X$$ обозначает матрицу nd-by-K сложенных конструктивных матриц. Вектор K-by-1 оценок коэффициента регрессии ОЛС равен

Это первый mvregress выход.

Данное $$\Delta {=}_{}$$Id ( значениеmvregress OLS по умолчанию), матрица дисперсии-ковариации оценок OLS

Это уже четвертый mvregress выход. Стандартные ошибки коэффициентов регрессии ОЛС являются квадратным корнем диагонали этой матрицы дисперсии-ковариации.

Если ваши данные не масштабированы таким образом, что $$\Lambda {=}^{\mathrm{}}{}_{}$$start2Id, то вы можете умножить mvregress дисперсионно-ковариационная матрица на среднеквадратическую ошибку (MSE), несмещённую оценку $${}^{\mathrm{}}$$Чтобы вычислить MSE, верните n-за-d матрицу остатков, $$E$$ (третий mvregress выход). Затем,

где $${}_{\mathrm{ei}}={}_{(}{\mathrm{yi}}_{}-{}^{}$$Xiβ) ′ - i-я $$\mathrm{строка}$$Е.

Ковариационные взвешенные наименьшие квадраты

Для большинства многомерных проблем ковариационная матрица единичных ошибок недостаточна и приводит к неэффективным или смещенным стандартным оценкам ошибок. Можно указать матрицу для оценки CWLS, используя необязательный аргумент пары имя-значение covar0например, обратимая d-by-d матрица с именем $${}_{\mathrm{C0}}$$. Обычно $${}_{\mathrm{C0}}$$ является диагональной матрицей, такой, что обратная матрица $${}_{\mathrm{C0}}^{\mathrm{-}}$$ 1 содержит веса для каждой размерности для моделирования гетероскедастичности. Однако $${}_{\mathrm{}}$$C0 также может быть недиагональной матрицей, моделирующей корреляцию.

Учитывая $${}_{\mathrm{C0}}$$, решение CWLS является вектором $$b$$, который минимизирует

В этом случае K-by-1 вектором оценок коэффициента регрессии CWLS является

Это первый mvregress выход.

Если $$\Lambda {=}_{\mathrm{}}$$C0, это обобщённое решение наименьших квадратов (GLS). Соответствующая матрица дисперсии-ковариации оценок CWLS

Это уже четвертый mvregress выход. Стандартные ошибки коэффициентов регрессии CWLS являются квадратным корнем диагонали этой матрицы дисперсии-ковариации.

Если вы знаете только матрицу ковариации ошибок вплоть до пропорции, то есть $$\Lambda {=}^{\mathrm{}}{}_{\mathrm{}}$$σ2C0, вы можете умножить mvregress матрица дисперсии-ковариации MSE, как описано в Ordinary Least Squares.

Оценка ковариации ошибок

Независимо от того, какой метод наименьших квадратов используется, оценка для матрицы дисперсия-ковариация ошибок равна

где $$E$$ - матрица остатков n-за-d. I-я строка $$E$$ равна $${}_{\mathrm{ei}}{={}_{(}{\mathrm{yi}}_{}-}^{}$$Xib) ′.

Оценка ковариации погрешности, $$\stackrel{}{\Lambda }$$^, является второйmvregress и матрица остатков $$E$$является третьим выходом. Если указана дополнительная пара имя-значение 'covtype','diagonal', то mvregress возвращает $$\stackrel{}{\Lambda }$$^ с нулями во внедиагональных записях,

Возможные обобщенные наименьшие квадраты

Обобщенная оценка наименьших квадратов является оценкой CWLS с известной матрицей ковариации. То есть, при условии, $$\mathrm{что\; \Lambda }$$ известен, решение GLS является

с матрицей дисперсии-ковариации

В большинстве случаев ковариация ошибок неизвестна. В осуществимой обобщенной оценке наименьших квадратов (FGLS) вместо $$\stackrel{}{}$$$$$$Λ используется Λ ^. Двухшаговые оценки FGLS можно получить следующим образом:

Можно также выполнять итерацию между этими двумя шагами до тех пор, пока не будет достигнута сходимость.

Для некоторых данных оценка OLS $$\stackrel{}{\Lambda }$$^ является положительной полуопределённой, и не имеет уникальной обратной. В этом случае невозможно получить оценку FGLS с помощьюmvregress. В качестве альтернативы можно использовать lscov, которая использует обобщенную обратную для возврата взвешенных решений наименьших квадратов для положительных полуопределённых ковариационных матриц.

Исправленные стандартные ошибки панели

Альтернативой FGLS является использование оценок коэффициентов OLS (которые являются непротиворечивыми) и стандартная коррекция ошибок для повышения эффективности. Одной из таких стандартных корректировок ошибок, которая не требует инверсии ковариационной матрицы, является панельная коррекция стандартных ошибок (PCSE) [1]. Скорректированная панелью матрица дисперсии-ковариации для оценок ОЛС

PCSE являются квадратным корнем диагонали этой матрицы дисперсии-ковариации. Модель панели «Фиксированные эффекты» с параллельной корреляцией иллюстрирует вычисление PCSE.

Оценки максимального правдоподобия

Алгоритм оценки по умолчанию, используемый mvregress - оценка максимального правдоподобия (MLE). Функция логарифмирования для многомерной модели линейной регрессии

MLE для $$\beta$$ и $$\Lambda$$ являются значениями, которые максимизируют целевую функцию loglikeability.

mvregress находит MLE с помощью итеративного двухэтапного алгоритма. При итерации m + 1 оценки

и

Алгоритм завершается, когда изменения в оценках коэффициентов и целевой функции логарифма меньше заданного допуска, или когда достигнуто заданное максимальное количество итераций. Необязательные аргументы пары имя-значение для изменения этих критериев сходимости: tolbeta, tolobj, и maxiterсоответственно.

Стандартные ошибки

Матрица дисперсии-ковариации MLE является необязательной mvregress выход. По умолчанию mvregress возвращает матрицу дисперсия-ковариация только для коэффициентов регрессии, но можно также получить матрицу дисперсия-ковариация, $$\stackrel{}{\mathrm{относящуюся\; к\; \Lambda }}$$^, используя опциональную пару имя-значение'vartype','full'. В этом случае mvregress возвращает матрицу дисперсии-ковариации для всех коэффициентов К регрессии, и d или d (d + 1 )/2 ковариационных членов (в зависимости от того, является ли ковариация ошибки диагональной или полной).

По умолчанию матрица дисперсии-ковариации является обратной наблюдаемой информационной матрицей Фишера ( 'hessian' опция). Вы можете запросить ожидаемую матрицу информации Фишера, используя опциональную пару имя-значение 'vartype','fisher'. При отсутствии отсутствующих данных ответа наблюдаемые и ожидаемые информационные матрицы Фишера одинаковы. Если данные ответа отсутствуют, наблюдаемая информация Фишера учитывает добавленную неопределенность из-за пропущенных значений, в то время как ожидаемая матрица информации Фишера этого не делает.

Матрица дисперсии-ковариации для коэффициента регрессии MLE равна

оценивается в MLE матрицы ковариации ошибок. Это уже четвертый mvregress выход. Стандартные ошибки MLE являются квадратным корнем диагонали этой матрицы дисперсии-ковариации.

Для $$\stackrel{}{\Lambda }$$^ пусть $$$$λ обозначает вектор параметров в оценочной матрице дисперсия-ковариация погрешности. Например, если d = 2, то :

Информационная матрица Фишера для$$$$$$$$

где $${}_{\mathrm{n\lambda }}$$ - длина ($$d$$ или d (d + 1 )/2). Результирующей матрицей дисперсии-ковариации является

При запросе матрицы полная дисперсия-ковариация mvregress возвращает (в качестве четвертого вывода) блок-диагональную матрицу

Ожидание/Условная максимизация

Если какие-либо значения ответа отсутствуют, указывается NaN, mvregress использует алгоритм ожидания/условной максимизации (ECM) для оценки (при наличии достаточного количества данных). В этом случае алгоритм является итеративным как для наименьших квадратов, так и для оценки максимального правдоподобия. Во время каждой итерации mvregress вменяет отсутствующие значения ответа, используя их условное ожидание.

Рассмотрите возможность организации данных таким образом, чтобы совместное распределение отсутствующих и наблюдаемых ответов, обозначенных $$\stackrel{y˜}{}$$ и $$y$$ соответственно, можно было записать как

Используя свойства многомерного нормального распределения, условное ожидание отсутствующих ответов с учетом наблюдаемых ответов

Кроме того, матрица дисперсии-ковариации условного распределения

При каждой итерации алгоритма ECM mvregress использует значения параметров из предыдущей итерации для:

Наконец, остатки, которые mvregress возвращаемые значения для отсутствующих ответов представляют собой разницу между условным ожиданием и подгоняемым значением, которые оба оцениваются в окончательных оценках параметров.

Если вы предпочитаете игнорировать любые наблюдения с отсутствующими значениями ответа, используйте пару имя-значение 'algorithm','mvn'. Обратите внимание, что mvregress всегда игнорирует наблюдения с отсутствующими предикторными значениями.

Матрица наблюдаемой информации

По умолчанию mvregress использует наблюдаемую информационную матрицу Фишера ( 'hessian' опция) для вычисления матрицы дисперсии-ковариации параметров регрессии. Это объясняет дополнительную неопределенность из-за отсутствующих значений ответа.

Наблюдаемая информационная матрица включает в себя вклады только наблюдаемых ответов. То есть наблюдаемая информационная матрица Фишера для параметров в матрице дисперсия-ковариация ошибок имеет элементы

где $${\stackrel{}{\Lambda }}_{^}$$ i - подмножество $$\stackrel{}{}$$Λ ^, соответствующее наблюдаемым откликам $${}_{в}$$ yi.

Например, если d = 3, но $${}_{\mathrm{yi2}}$$ отсутствует, то

Наблюдаемая информация Фишера для коэффициентов регрессии имеет аналогичные вклады от матриц конструкции и ковариации.