Многомерные нормальные типы регрессии

Регрессии

Каждая функция регрессии начинает определенную операцию. Этот раздел показывает, как использовать эти функции, чтобы выполнить определенные типы регрессий. Чтобы проиллюстрировать использование функций для различных регрессий, “типичное” использование показывают со сведенными к минимуму дополнительными аргументами. Для типичной регрессии вы оцениваете параметры модели и остаточные ковариационные матрицы с функциями mle и оцениваете стандартные погрешности параметров модели с функциями std. Регрессии “без недостающих данных” по существу игнорируют выборки с любыми отсутствующими значениями, и регрессии “с недостающими данными” игнорируют выборки с каждым отсутствием значения.

Многомерная нормальная регрессия

Многомерная нормальная регрессия или MVNR, является “стандартной” реализацией функций регрессии в программном обеспечении Financial Toolbox™.

Многомерная нормальная регрессия, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Многомерная нормальная регрессия с Недостающими данными

Оцените параметры

[Parameters, Covariance] = ecmmvnrmle(Data, Design);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

Регрессия наименьших квадратов

Регрессия наименьших квадратов или LSR, иногда названный обычными наименьшими квадратами или несколькими линейная регрессия, является самой простой моделью линейной регрессии. Это также обладает свойством, что, независимый от базового распределения, это - лучше всего линейное несмещенное средство оценки (BLUE).

Данный m = наблюдения NumSamples, типичная модель регрессии наименьших квадратов стремится минимизировать целевую функцию

$\sum_{k = 1}^{m} {(Z_{k} - H_{k} b)}^{T} (Z_{k} - H_{k} b),$

который, в среде наибольшего правдоподобия многомерной нормальной стандартной программы регрессии mvnrmle, эквивалентно оценке одно итерации только параметров, чтобы получить Parameters с начальной ковариационной матрицей Covariance, сохраненный зафиксированным как единичная матрица. В случае недостающих данных, однако, внутренний алгоритм, чтобы обработать недостающие данные требует, чтобы отдельный стандартный ecmlsrmle сделал наименьшие квадраты вместо многомерной нормальной регрессии.

Регрессия наименьших квадратов, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design, 1);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Регрессия наименьших квадратов с Недостающими данными

Оцените параметры

[Parameters, Covariance] = ecmlsrmle(Data, Design);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

Метод взвешенных наименьших квадратов ковариации

Данный m = наблюдения NUMSAMPLES, типичный метод взвешенных наименьших квадратов ковариации или CWLS, модель регрессии стремится минимизировать целевую функцию

$\sum_{k = 1}^{m} {(Z_{k} - H_{k} b)}^{T} C_{0} (Z_{k} - H_{k} b)$

с фиксированной ковариацией C ₀.

В большинстве случаев C ₀ является диагональной матрицей. Обратная матрица $W = C_{0}^{- 1}$ имеет диагональные элементы, которые могут быть рассмотрены относительными “весами” для каждого ряда. Таким образом CWLS является формой метода взвешенных наименьших квадратов с весами, примененными через ряд.

Метод взвешенных наименьших квадратов ковариации, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design, 1, [], [], [], 
                                   Covar0);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Метод взвешенных наименьших квадратов ковариации с Недостающими данными

Оцените параметры

[Parameters, Covariance] = ecmlsrmle(Data, Design, [], [], [], [],
                                     Covar0);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

Выполнимые обобщенные наименьшие квадраты

Оперативная форма наименьших квадратов, которая имеет удивительно хорошие свойства для misspecified или ненормальных моделей, известна как выполнимые обобщенные наименьшие квадраты или FGLS. Основная процедура должна сделать регрессию наименьших квадратов и затем сделать регрессию метода взвешенных наименьших квадратов ковариации с результирующей остаточной ковариацией от первой регрессии.

Выполнимые обобщенные наименьшие квадраты, не пропуская данные

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, Design, 2, 0, 0);

или (чтобы проиллюстрировать процесс FGLS явным образом)

[Parameters, Covar0] = mvnrmle(Data, Design, 1);
[Parameters, Covariance] = mvnrmle(Data, Design, 1, [], [], [], 
                                   Covar0);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, Design, Covariance);

Выполнимые обобщенные наименьшие квадраты с Недостающими данными

Оцените параметры

[Parameters, Covar0] = ecmlsrmle(Data, Design);
[Parameters, Covariance] = ecmlsrmle(Data, Design, [], [], [], [], 
                                     Covar0);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, Design, Covariance);

На вид Несвязанная регрессия

Учитывая многомерную нормальную модель регрессии в стандартной форме с матрицей Data и массивом Design, возможно преобразовать проблему в проблему на вид несвязанной регрессии (SUR) простым преобразованием массива Design. Основная идея SUR состоит в том, что вместо того, чтобы иметь общий вектор параметра по всему ряду данных, у вас есть отдельный вектор параметра, сопоставленный с каждым отдельным рядом или с отличными группами рядов, которые, тем не менее, совместно используют общую остаточную ковариацию. Это - эта способность агрегировать и дезагрегировать ряд и выполнить сравнительные тесты на каждом проекте, который является степенью SUR.

Чтобы сделать преобразование, используйте функциональный convert2sur, который преобразовывает массив проекта стандартной формы в эквивалентный массив проекта, чтобы сделать SUR с заданным отображением ряда в группы NUMGROUPS. Функции регрессии используются обычным способом, но с массивом проекта SUR вместо массива первоначального проекта. Вместо того, чтобы иметь элементы NUMPARAMS, вектор выходного параметра SUR имеет NUMGROUPS сложенных оценок параметра, где первые элементы NUMPARAMS Parameters содержат оценки параметра, сопоставленные с первой группой рядов, следующие элементы NUMPARAMS Parameters содержат оценки параметра, сопоставленные со второй группой рядов и так далее. Если модель имеет только один ряд, например, NUMSERIES = 1, то массив проекта SUR совпадает с массивом первоначального проекта, поскольку SUR требует, чтобы два или больше ряда сгенерировали отличные оценки параметра.

Учитывая параметры NUMPARAMS и группы NUMGROUPS с вектором параметра (Parameters) с элементами NUMGROUPS * NUMPARAMS от любой из стандартных программ регрессии, следующий фрагмент MATLAB^® кода показывает, как распечатать таблицу оценок параметра SUR со строками, которые соответствуют каждому параметру и столбцам, которые соответствуют каждой группе или ряду:

fprintf(1,'Seemingly Unrelated Regression Parameter
   Estimates\n');
fprintf(1,'   %7s ',' ');
fprintf(1,'  Group(%3d) ',1:NumGroups);
fprintf(1,'\n');
for i = 1:NumParams
	fprintf(1,'   %7d ',i);
	ii = i;
    	for j = 1:NumGroups
    		fprintf(1,'%12g ',Param(ii));
    		ii = ii + NumParams;
    		end
    		fprintf(1,'\n');
end
fprintf(1,'\n');

На вид Несвязанная регрессия, не пропуская данные

Сформируйте проект SUR

DesignSUR = convert2sur(Design, Group);

Оцените параметры

[Parameters, Covariance] = mvnrmle(Data, DesignSUR);

Оцените стандартные погрешности

StdParameters = mvnrstd(Data, DesignSUR, Covariance);

На вид Несвязанная регрессия с Недостающими данными

Сформируйте проект SUR

DesignSUR = convert2sur(Design, Group);

Оцените параметры

[Parameters, Covariance] = ecmmvnrmle(Data, DesignSUR);

Оцените стандартные погрешности

StdParameters = ecmmvnrstd(Data, DesignSUR, Covariance);

Среднее значение и оценка параметра ковариации

Без недостающих данных можно оценить среднее значение Data с функциональным mean и ковариации с функциональным cov. Тем не менее, функциональный ecmnmle делает это для вас, если он обнаруживает отсутствие отсутствующих значений. В противном случае это использует алгоритм ECM, чтобы обработать отсутствующие значения.

Оцените параметры

[Mean, Covariance] = ecmnmle(Data);

Оцените стандартные погрешности

StdMean = ecmnstd(Data, Mean, Covariance);

Документация