Что такое модель линейной регрессии?

Модель линейной регрессии описывает отношение между зависимой переменной, y, и одной или несколькими независимыми переменными, X. Зависимая переменная также называется переменной отклика. Независимые переменные также называются объясняющими переменными или переменными предикторами. Непрерывные переменные предикторы также называются ковариантами, и категориальные переменные предикторы также называются факторами. Матричный X наблюдений относительно переменных предикторов обычно называется матрицей проекта.

Модель линейной регрессии кратного

$y_{i} = β_{0} + β_{1} X_{i 1} + β_{2} X_{i 2} + \dots + β_{p} X_{i p} + ε_{i}, i = 1, \dots, n,$

где

_yi является i th ответ.
_k β является k th коэффициент, где β ₀ является постоянным членом в модели. Иногда, спроектируйте матрицы, может включать информацию о постоянном термине. Однако fitlm или stepwiselm по умолчанию включает постоянный член в модели, таким образом, вы не должны вводить столбец 1 с в вашу матрицу проекта X.
X _ij является i th наблюдение относительно j th переменный предиктор, j = 1..., p.
_εi является i th шумовая часть, то есть, случайная ошибка.

Если модель включает только один переменный предиктор (p = 1), то модель называется простой моделью линейной регрессии.

В общем случае модель линейной регрессии может быть моделью формы

$y_{i} = β_{0} + \sum_{k = 1}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + ε_{i}, i = 1, \dots, n,$

где f(.) является скалярной функцией независимых переменных, X _ij s. Функции, f (X), могут быть в любой форме включая нелинейные функции или полиномы. Линейность, в моделях линейной регрессии, отсылает к линейности коэффициентов β _k. Таким образом, переменная отклика, y, является линейной функцией коэффициентов, β _k.

Некоторые примеры линейных моделей:

$\begin{array}{l} y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + β_{3} X_{3 i} + ε_{i} \\ y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + β_{3} X_{1 i}^{3} + β_{4} X_{2 i}^{2} + ε_{i} \\ y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + β_{3} X_{1 i} X_{2 i} + β_{4} \log X_{3 i} + ε_{i} \end{array}$

Следующими, однако, не являются линейные модели, поскольку они не линейны в неизвестных коэффициентах, β _k.

$\begin{array}{l} \log y_{i} = β_{0} + β_{1} X_{1 i} + β_{2} X_{2 i} + ε_{i} \\ y_{i} = β_{0} + β_{1} X_{1 i} + \frac{1}{β_{2} X_{2 i}} + e^{β_{3} X_{1 i} X_{2 i}} + ε_{i} \end{array}$

Обычные предположения для моделей линейной регрессии:

Шумовые части, _εi, являются некоррелироваными.
Шумовые части, ε _i, имеют независимые и идентичные нормальные распределения со средним нулевым и постоянным отклонением, σ². Таким образом,
$\begin{array}{l} E (y_{i}) = E (\sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + ε_{i}) \\ = \sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + E (ε_{i}) \\ = \sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) \end{array}$
и
$V (y_{i}) = V (\sum_{k = 0}^{K} β_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}) + ε_{i}) = V (ε_{i}) = σ^{2}$
Так отклонение y _i является тем же самым для всех уровней X _ij.
Ответы y _i являются некоррелироваными.

Подходящая линейная функция

${\hat{y}}_{i} = \sum_{k = 0}^{K} b_{k} f_{k} (X_{i 1}, X_{i 2}, \dots, X_{i p}), i = 1, \dots, n,$

где ${\hat{y}}_{i}$ предполагаемый ответ, и _bk s являются подходящими коэффициентами. Коэффициенты оцениваются, чтобы минимизировать среднеквадратическое различие между вектором предсказания $\hat{y}$ и истинный вектор отклика $y$ , это $\hat{y} - y$ . Этот метод называется методом наименьших квадратов. Под предположениями на шумовых частях эти коэффициенты также максимизируют вероятность вектора предсказания.

В модели линейной регрессии формы y = β _1X1 + β2X2 +... + β _p X_p, коэффициент β _k описывает удар изменения с одним модулем в переменном предикторе, _Xj, на среднем значении ответа E (y), при условии, что все другие переменные считаются постоянные. Знак коэффициента дает направление эффекта. Например, если линейная модель является E (y) = 1.8 – 2.35X1 + X ₂, то –2.35 указывает, что 2,35 модульных уменьшения в среднем ответе с увеличением с одним модулем X ₁, учитывая X ₂ считаются постоянные. Если модель является E (y) = 1.1 + 1.5X1² + X ₂, коэффициент X ₁² указывает на 1,5 модульных увеличения среднего значения Y с увеличением с одним модулем X ₁² учитывая все остальное сохраненное постоянным. Однако в случае E (y) = 1.1 + 2.1X1 + 1.5X1², это затрудняет, чтобы интерпретировать коэффициенты точно так же, поскольку не возможно содержать X ₁ постоянное когда X ₁² изменения или наоборот.

Ссылки

[1] Neter, J., М. Х. Катнер, К. Дж. Нахцхайм и В. Вассерман. Прикладные линейные статистические модели. IRWIN, McGraw-Hill Companies, Inc., 1996.

[2] Seber, G. A. F. Анализ линейной регрессии. Ряд Вайли в вероятности и математической статистике. John Wiley and Sons, Inc., 1977.

Смотрите также

LinearModel | fitlm | stepwiselm

Документация