Многомерные нормальные типы регрессии

Регрессии

Каждая функция регрессии начинает определенную операцию. Этот раздел показывает, как использовать эти функции, чтобы выполнить определенные типы регрессий. Чтобы проиллюстрировать использование функций для различных регрессий, “типичное” использование показывают со сведенными к минимуму дополнительными аргументами. Для типичной регрессии вы оцениваете параметры модели и остаточные ковариационные матрицы с mle функции и оценка стандартные погрешности параметров модели с std функции. Регрессии “без недостающих данных” по существу игнорируют выборки с любыми отсутствующими значениями, и регрессии “с недостающими данными” игнорируют выборки с каждым отсутствием значения.

Многомерная нормальная регрессия

Многомерная нормальная регрессия или MVNR, является “стандартной” реализацией функций регрессии в программном обеспечении Financial Toolbox™.

Многомерная нормальная регрессия, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Многомерная нормальная регрессия с Недостающими данными

Оцените параметры

[Parameters, Covariance] = ecmmvnrmle(Data, Design);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

Регрессия наименьших квадратов

Регрессия наименьших квадратов или LSR, иногда названный обычными наименьшими квадратами или многофакторной линейной регрессией, является самой простой моделью линейной регрессии. Это также обладает свойством, что, независимый от базового распределения, это - лучше всего линейное несмещенное средство оценки (BLUE).

Данный m = NumSamples наблюдения, типичная модель регрессии наименьших квадратов стремится минимизировать целевую функцию

$\sum_{k = 1}^{m} {(Z_{k} - H_{k} b)}^{T} (Z_{k} - H_{k} b),$

который, в среде наибольшего правдоподобия многомерной нормальной стандартной программы регрессии mvnrmle, эквивалентно оценке одно итерации только параметров, чтобы получить Parameters с начальной ковариационной матрицей Covariance сохраненный зафиксированный как единичная матрица. В случае недостающих данных, однако, внутренний алгоритм, чтобы обработать недостающие данные требует отдельного стандартного ecmlsrmle сделать наименьшие квадраты вместо многомерной нормальной регрессии.

Регрессия наименьших квадратов, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design, 1);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Регрессия наименьших квадратов с Недостающими данными

Оцените параметры

[Parameters, Covariance] = ecmlsrmle(Data, Design);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

Метод взвешенных наименьших квадратов ковариации

Данный m = NUMSAMPLES наблюдения, типичный метод взвешенных наименьших квадратов ковариации или CWLS, модель регрессии стремится минимизировать целевую функцию

$\sum_{k = 1}^{m} {(Z_{k} - H_{k} b)}^{T} C_{0} (Z_{k} - H_{k} b)$

с фиксированной ковариацией C ₀.

В большинстве случаев C ₀ является диагональной матрицей. Обратная матрица $W = C_{0}^{- 1}$ имеет диагональные элементы, которые могут быть рассмотрены относительными “весами” для каждого ряда. Таким образом CWLS является формой метода взвешенных наименьших квадратов с весами, примененными через ряд.

Метод взвешенных наименьших квадратов ковариации, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design, 1, [], [], [], 
                                   Covar0);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Метод взвешенных наименьших квадратов ковариации с Недостающими данными

Оцените параметры

[Parameters, Covariance] = ecmlsrmle(Data, Design, [], [], [], [],
                                     Covar0);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

Выполнимые обобщенные наименьшие квадраты

Оперативная форма наименьших квадратов, которая имеет удивительно хорошие свойства для misspecified или ненормальных моделей, известна как выполнимые обобщенные наименьшие квадраты или FGLS. Основная процедура должна сделать регрессию наименьших квадратов и затем сделать регрессию метода взвешенных наименьших квадратов ковариации с результирующей остаточной ковариацией от первой регрессии.

Выполнимые обобщенные наименьшие квадраты, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design, 2, 0, 0);

или (чтобы проиллюстрировать процесс FGLS явным образом)

[Parameters, Covar0] = mvnrmle(Data, Design, 1);
[Parameters, Covariance] = mvnrmle(Data, Design, 1, [], [], [], 
                                   Covar0);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Выполнимые обобщенные наименьшие квадраты с Недостающими данными

Оцените параметры

[Parameters, Covar0] = ecmlsrmle(Data, Design);
[Parameters, Covariance] = ecmlsrmle(Data, Design, [], [], [], [], 
                                     Covar0);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

На вид Несвязанная регрессия

Учитывая многомерную нормальную модель регрессии в стандартной форме с Data матрица и Design массив, возможно преобразовать проблему в проблему на вид несвязанной регрессии (SUR) простым преобразованием Design массив. Основная идея SUR состоит в том, что вместо того, чтобы иметь общий вектор параметра по всему ряду данных, у вас есть отдельный вектор параметра, сопоставленный с каждым отдельным рядом или с отличными группами рядов, которые, тем не менее, совместно используют общую остаточную ковариацию. Это - эта способность агрегировать и дезагрегировать ряд и выполнить сравнительные тесты на каждом проекте, который является степенью SUR.

Чтобы сделать преобразование, используйте функциональный convert2sur, который преобразует массив проекта стандартной формы в эквивалентный массив проекта, чтобы сделать SUR с заданным отображением ряда в NUMGROUPS группы. Функции регрессии используются обычным способом, но с массивом проекта SUR вместо массива первоначального проекта. Вместо того, чтобы иметь NUMPARAMS элементы, вектор выходного параметра SUR имеет NUMGROUPS из сложенных оценок параметра, где первый NUMPARAMS элементы Parameters содержите оценки параметра, сопоставленные с первой группой рядов, следующего NUMPARAMS элементы Parameters содержите оценки параметра, сопоставленные со второй группой рядов и так далее. Если модель имеет только один ряд, например, NUMSERIES = 1, затем массив проекта SUR совпадает с массивом первоначального проекта, поскольку SUR требует, чтобы два или больше ряда сгенерировали отличные оценки параметра.

Учитывая NUMPARAMS параметры и NUMGROUPS группы с вектором параметра (Parameters) с NUMGROUPS * NUMPARAMS элементы от любой из стандартных программ регрессии, следующий фрагмент MATLAB^® кода показывает, как распечатать таблицу оценок параметра SUR со строками, которые соответствуют каждому параметру и столбцам, которые соответствуют каждой группе или ряду:

fprintf(1,'Seemingly Unrelated Regression Parameter
   Estimates\n');
fprintf(1,'   %7s ',' ');
fprintf(1,'  Group(%3d) ',1:NumGroups);
fprintf(1,'\n');
for i = 1:NumParams
	fprintf(1,'   %7d ',i);
	ii = i;
    	for j = 1:NumGroups
    		fprintf(1,'%12g ',Param(ii));
    		ii = ii + NumParams;
    		end
    		fprintf(1,'\n');
end
fprintf(1,'\n');

На вид Несвязанная регрессия, не пропуская данные

Сформируйте проект SUR

DesignSUR = convert2sur(Design, Group);

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, DesignSUR);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, DesignSUR, Covariance);

На вид Несвязанная регрессия с Недостающими данными

Сформируйте проект SUR

DesignSUR = convert2sur(Design, Group);

Оцените параметры

[Parameters, Covariance] = ecmmvnrmle(Data, DesignSUR);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, DesignSUR, Covariance);

Среднее значение и оценка параметра ковариации

Без недостающих данных можно оценить среднее значение Data с функциональным mean и ковариация с функциональным cov. Тем не менее, функциональный ecmnmle делает это для вас, если это обнаруживает отсутствие отсутствующих значений. В противном случае это использует алгоритм ECM, чтобы обработать отсутствующие значения.

Оцените параметры

[Mean, Covariance] = ecmnmle(Data);

Оцените стандартные погрешности

StdMean = ecmnstd(Data, Mean, Covariance);

Документация