Гребенчатая регрессия является методом для оценки коэффициентов линейных моделей, которые включают линейно коррелируемые предикторы.

Содействующие оценки для моделей многофакторной линейной регрессии используют независимость условий модели. Когда условия коррелируются и столбцы матрицы проекта, X имеет аппроксимированную линейную зависимость, матрица (X ^T X) ^–1 близко к сингулярному. Поэтому оценка наименьших квадратов

очень чувствительно к случайным ошибкам в наблюдаемом ответе y, производя большое отклонение. Эта ситуация мультиколлинеарности может возникнуть, например, когда вы собираете данные без экспериментального плана.

Гребенчатая регрессия решает проблему мультиколлинеарности путем оценки использования коэффициентов регрессии

где k является гребенчатым параметром, и I является единичной матрицей. Маленькие, положительные значения k улучшают создание условий проблемы и уменьшают отклонение оценок. В то время как смещено, уменьшаемое отклонение гребенчатых оценок часто приводит к меньшей среднеквадратической ошибке, когда по сравнению с наименьшими квадратами оценивает.

Масштабирование содействующих оценок для гребенчатых моделей регрессии зависит от значения scaled входной параметр.

Предположим гребенчатый параметр, k равен 0. Коэффициенты, возвращенные ridge, когда scaled равно 1, оценки _i b ¹ в полилинейной модели

где z_{, i} = (x _i – μ _i)/σ_i является и масштабированными предикторами в центре, y – μ _y, является ответом в центре, и ε является остаточным членом. Можно переписать модель как

с $$b_0^0={\mu }_y-{\displaystyle \sum _{i=1}^p\frac{b_i^1{\mu }_i}{{\sigma }_i}}$$ и $$b_i^0=\frac{b_i^1}{{\sigma }_i}$$. _i b ⁰ условий соответствует коэффициентам, возвращенным ridge когда scaled равно 0.

В более общем плане, для любого значения k, если B1 = ridge(y,X,k,1)то

       m = mean(X);
       s = std(X,0,1)';
       B1_scaled = B1./s;
       B0 = [mean(y)-m*B1_scaled; B1_scaled]

где B0 = ridge(y,X,k,0).