Что такое модель линейной регрессии?

Модель линейной регрессии описывает отношение между зависимой переменной, y, и одной или несколькими независимыми переменными, X. Зависимая переменная также называется переменной отклика. Независимые переменные также называются объясняющими переменными или переменными предикторами. Непрерывные переменные предикторы также называются ковариантами, и категориальные переменные предикторы также называются факторами. Матричный X наблюдений относительно переменных предикторов обычно называется матрицей проекта.

Модель линейной регрессии кратного

yi=β0+β1Xi1+β2Xi2++βpXip+εi,i=1,,n,

где

  • yi является i th ответ.

  • k β является k th коэффициент, где β 0 является постоянным членом в модели. Иногда, спроектируйте матрицы, может включать информацию о постоянном термине. Однако fitlm или stepwiselm по умолчанию включает постоянный член в модели, таким образом, вы не должны вводить столбец 1 с в вашу матрицу проекта X.

  • X ij является i th наблюдение относительно j th переменный предиктор, j = 1..., p.

  • εi является i th шумовой термин, то есть, случайная ошибка.

Если модель включает только один переменный предиктор (p = 1), то модель называется простой моделью линейной регрессии.

В общем случае модель линейной регрессии может быть моделью формы

yi=β0+k=1Kβkfk(Xi1,Xi2,,Xip)+εi,i=1,,n,

где f(.) является скалярной функцией независимых переменных, X ij s. Функции, f (X), могут быть в любой форме включая нелинейные функции или полиномы. Линейность, в моделях линейной регрессии, отсылает к линейности коэффициентов β k. Таким образом, переменная отклика, y, является линейной функцией коэффициентов, β k.

Некоторые примеры линейных моделей:

yi=β0+β1X1i+β2X2i+β3X3i+εiyi=β0+β1X1i+β2X2i+β3X1i3+β4X2i2+εiyi=β0+β1X1i+β2X2i+β3X1iX2i+β4logX3i+εi

Следующими, однако, не являются линейные модели, поскольку они не линейны в неизвестных коэффициентах, β k.

logyi=β0+β1X1i+β2X2i+εiyi=β0+β1X1i+1β2X2i+eβ3X1iX2i+εi

Обычные предположения для моделей линейной регрессии:

  • Шумовые условия, εi, являются некоррелироваными.

  • Шумовые условия, ε i, имеют независимые и идентичные нормальные распределения со средним нулевым и постоянным отклонением, σ2. Таким образом,

    E(yi)=E(k=0Kβkfk(Xi1,Xi2,,Xip)+εi)=k=0Kβkfk(Xi1,Xi2,,Xip)+E(εi)=k=0Kβkfk(Xi1,Xi2,,Xip)

    и

    V(yi)=V(k=0Kβkfk(Xi1,Xi2,,Xip)+εi)=V(εi)=σ2

    Так отклонение y i является тем же самым для всех уровней X ij.

  • Ответы y i являются некоррелироваными.

Подходящая линейная функция

y^i=k=0Kbkfk(Xi1,Xi2,,Xip),i=1,,n,

где y^i предполагаемый ответ, и bk s являются подходящими коэффициентами. Коэффициенты оцениваются, чтобы минимизировать среднеквадратическое различие между вектором предсказания y^ и истинный вектор отклика y, это y^y. Этот метод называется методом наименьших квадратов. Под предположениями на шумовых условиях эти коэффициенты также максимизируют вероятность вектора предсказания.

В модели линейной регрессии формы y = β 1X1 + β2X2 +... + β p Xp, коэффициент β k описывает удар изменения с одним модулем в переменном предикторе, Xj, на среднем значении ответа E (y), при условии, что все другие переменные считаются постоянные. Знак коэффициента дает направление эффекта. Например, если линейная модель является E (y) = 1.8 – 2.35X1 + X 2, то –2.35 указывает, что 2,35 модульных уменьшения в среднем ответе с увеличением с одним модулем X 1, учитывая X 2 считаются постоянные. Если модель является E (y) = 1.1 + 1.5X12 + X 2, коэффициент X 12 указывает на 1,5 модульных увеличения среднего значения Y с увеличением с одним модулем X 12, учитывая все остальное сохраненное постоянным. Однако в случае E (y) = 1.1 + 2.1X1 + 1.5X12, это затрудняет, чтобы интерпретировать коэффициенты точно так же, поскольку не возможно содержать X 1 постоянное когда X 12 изменений или наоборот.

Ссылки

[1] Neter, J., М. Х. Катнер, К. Дж. Нахцхайм и В. Вассерман. Прикладные линейные статистические модели. IRWIN, McGraw-Hill Companies, Inc., 1996.

[2] Seber, G. A. F. Анализ линейной регрессии. Ряд Вайли в вероятности и математической статистике. John Wiley and Sons, Inc., 1977.

Смотрите также

| |

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте