Что такое линейная регрессионая модель?

Линейная регрессионая модель описывает отношение между зависимой переменной, y и одной или несколькими независимыми переменными, X. Зависимая переменная также называется переменной отклика. Независимые переменные также называются объяснительными или предикторными переменными. Непрерывные переменные предиктора также называются ковариатами, а категориальные переменные предиктора также называются факторами. Матрица X наблюдений за переменными предиктора обычно называется проектом матрицы.

Множественная линейная регрессионая модель

$y_{i} = β_{0} + β_{1} X_{i 1} + β_{2} X_{i 2} + \dots + β_{p} X_{i p} + ε_{i}, i = 1, \dots, n,$

где

_yi - i-й ответ.
β k является k-м коэффициентом, где β 0 - это постоянный член в модели. Иногда матрицы проекта могут включать информацию о постоянном члене. Однако fitlm или stepwiselm по умолчанию включает постоянный члена в модели, поэтому вы не должны вводить столбец 1s в X матрицы проекта.
X _ij является i-м наблюдением за j-й переменной предиктора j = 1,..., p.
_εi - i шум, то есть случайная ошибка.

Если модель включает только одну переменную предиктора (p = 1), то модель называется простой линейной регрессионой.

В целом линейная регрессионая модель может быть моделью вида

$y_{i} = β_{0} + \sum_{k = 1}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + ε_{i}, i = 1, \dots, n,$

где f (.) - скалярная функция независимых переменных, X _ij s. Функции, f (X), могут быть в любой форме, включая нелинейные функции или полиномы. Линейность в линейных регрессионых моделях относится к линейности коэффициентов β k. То есть переменная отклика, y, является линейной функцией коэффициентов_, β k.

Некоторые примеры линейных моделей:

$\begin{array}{l} y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + β_{3} X_{3 i} + ε_{i} \\ y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + β_{3} X_{1 i}^{3} + β_{4} X_{2 i}^{2} + ε_{i} \\ y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + β_{3} X_{1 i} X_{2 i} + β_{4} \log X_{3 i} + ε_{i} \end{array}$

Следующие, однако, не являются линейными моделями, поскольку они не являются линейными в неизвестных коэффициентах, β k.

$\begin{array}{l} \log y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + ε_{i} \\ y_{i} = β_{0} + β_{1} X_{1 i} + \frac{1}{β_{2} X_{2 i}} + e^{β_{3} X_{1 i} X_{2 i}} + ε_{i} \end{array}$

Обычными предположениями для линейных регрессионых моделей являются:

Условия шума, _εi, некоррелированы.
Члены шума, ε i, имеют независимые и идентичные нормальные распределения со средним нулями и постоянными отклонениями². Таким образом,
$\begin{array}{l} E (y_{i}) = E (\sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + ε_{i}) \\ = \sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + E (ε_{i}) \\ = \sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) \end{array}$
и
$V (y_{i}) = V (\sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + ε_{i}) = V (ε_{i}) = σ^{2}$
Таким образом, дисперсия y i одинаковая для всех уровней _X ij.
Ответы y i являются некоррелированными.

Установленная линейная функция

${\hat{y}}_{i} = \sum_{k = 0}^{K} b_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}), i = 1, \dots, n,$

где ${\hat{y}}_{i}$ - предполагаемый ответ, и _bk s - установленные коэффициенты. Коэффициенты оцениваются так, чтобы минимизировать среднее квадратное различие между вектором предсказания $\hat{y}$ и истинный вектор отклика $y$ , то есть $\hat{y} - y$ . Этот метод называется методом наименьших квадратов. При допущениях на условиях шума эти коэффициенты также максимизируют вероятность вектора предсказания.

В модели линейной регрессии формы <reservedrangesplaceholder18> = <reservedrangesplaceholder17> 1 <reservedrangesplaceholder16> 1 + _{<reservedrangesplaceholder15> 2 <reservedrangesplaceholder14> 2} +... + <reservedrangesplaceholder13> <reservedrangesplaceholder12> X <reservedrangesplaceholder11>, коэффициент <reservedrangesplaceholder10> <reservedrangesplaceholder9> _{выражает} влияние изменения с одним модулем в переменной предсказателя, Xj, на среднем из ответа E (<reservedrangesplaceholder7>), при условии, что все другие переменные считаются постоянными. Знак коэффициента задает направление эффекта. Например, если линейная модель является E (y) = 1,8 - 2,35 X 1 + X 2, то -2,35 указывает на уменьшение средней характеристики на 2,35 единицы с увеличением на одну единицу в X 1, заданное X 2 поддерживается постоянным. Если модель является E (y) = 1,1 + 1,5 X 1² + X 2, коэффициент _X 1² указывает на 1,5 модули увеличение среднего значения Y с увеличением X на одну единицу 1² учитывая, что все остальные были постоянными. Однако в случае E (y) = 1.1 + 2.1 X 1 + 1.5 X 1²трудно интерпретировать коэффициенты аналогично, поскольку невозможно удерживать X 1 постоянным, когда _X 1² изменения или наоборот.

Ссылки

[1] Нетер, Дж., М. Х. Кутнер, К. Дж. Нахтсхайм и У. Вассерман. Примененные линейные статистические модели. IRWIN, The McGraw-Hill Companies, Inc., 1996.

[2] Себер, Г. А. Ф. Линейный регрессионый анализ. Серия Вайли в вероятностной и математической статистике. John Wiley and Sons, Inc., 1977.

См. также

fitlm | LinearModel | stepwiselm

Документация