Гребенчатая регрессия
B = ridge(y,X,k)B = ridge(y,X,k,scaled)B = ridge(y,X,k)X и ответ y. Каждый столбец B соответствует конкретному гребенчатому параметру k. По умолчанию функция вычисляет B после центрирования и масштабирования предикторов, чтобы иметь среднее значение 0 и стандартное отклонение 1. Поскольку модель не включает постоянный термин, не добавляйте столбец 1 с к X.
B = ridge(y,X,k,scaled)B. Когда scaled является 1 (значение по умолчанию), ridge не восстанавливает коэффициенты к исходной шкале данных. Когда scaled является 0, ridge восстанавливает коэффициенты к шкале исходных данных. Для получения дополнительной информации смотрите, что Коэффициент Масштабируется.
Выполните гребенчатую регрессию для области значений гребенчатых параметров и наблюдайте, как коэффициент оценивает изменение.
Загрузите набор данных acetylene.
load acetyleneacetylene содержит наблюдения для переменных прогноза x1, x2, и x3 и переменная отклика y.
Постройте переменные прогноза друг против друга. Наблюдайте любую корреляцию между переменными.
plotmatrix([x1 x2 x3])
Например, отметьте линейную корреляцию между x1 и x3.
Вычислите содействующие оценки для полилинейной модели с периодами взаимодействия для области значений гребенчатых параметров. Используйте x2fx, чтобы создать периоды взаимодействия и ridge, чтобы выполнить гребенчатую регрессию.
X = [x1 x2 x3]; D = x2fx(X,'interaction'); D(:,1) = []; % No constant term k = 0:1e-5:5e-3; B = ridge(y,D,k);
Постройте гребенчатую трассировку.
figure plot(k,B,'LineWidth',2) ylim([-100 100]) grid on xlabel('Ridge Parameter') ylabel('Standardized Coefficient') title('Ridge Trace') legend('x1','x2','x3','x1x2','x1x3','x2x3')
Оценки стабилизировались справа от графика. Обратите внимание на то, что коэффициент периода взаимодействия x2x3 изменяет знак в значении гребенчатого параметра .
Предскажите значения миль на галлон (MPG) с помощью гребенчатой регрессии.
Загрузите набор данных carbig.
load carbig
X = [Acceleration Weight Displacement Horsepower];
y = MPG;Разделите данные в наборы обучающих данных и наборы тестов.
n = length(y); rng('default') % For reproducibility c = cvpartition(n,'HoldOut',0.3); idxTrain = training(c,1); idxTest = ~idxTrain;
Найдите коэффициенты гребенчатой модели регрессии (с k = 5).
k = 5; b = ridge(y(idxTrain),X(idxTrain,:),k,0);
Предскажите значения MPG для тестовых данных с помощью модели.
yhat = b(1) + X(idxTest,:)*b(2:end);
Сравните ожидаемые значения с фактическими значениями миль на галлон (MPG) с помощью ссылочной строки.
scatter(y(idxTest),yhat) hold on plot(y(idxTest),y(idxTest)) xlabel('Actual MPG') ylabel('Predicted MPG') hold off
Масштабирование содействующих оценок для гребенчатых моделей регрессии зависит от значения входного параметра scaled.
Предположим гребенчатый параметр, k равен 0. Коэффициенты, возвращенные ridge, когда scaled равен 1, являются оценками i b 1 в полилинейной модели
y μ y = b 11z1 +... + b p 1zp + ε
где z, i = (x i – μ i)/σi является и масштабированными предикторами в центре, y – μ y, является ответом в центре, и ε является остаточным членом. Можно переписать модель как
y = b 00 + b 10x1 +... + b p 0xp + ε
с
и
. i b 0 условий соответствуют коэффициентам, возвращенным ridge, когда scaled равен 0.
В более общем плане, для любого значения k, если B1 = ridge(y,X,k,1), то
m = mean(X);
s = std(X,0,1)';
B1_scaled = B1./s;
B0 = [mean(y)-m*B1_scaled; B1_scaled]где B0 = ridge(y,X,k,0).
ridge обрабатывает значения NaN в X или y как отсутствующие значения. ridge не использует наблюдения с отсутствующими значениями от гребенчатой подгонки регрессии.
В целом установите scaled, равный 1 производить графики, где коэффициенты отображены в той же шкале. Смотрите Гребенчатую Регрессию для примера с помощью гребенчатого графика трассировки, где коэффициенты регрессии отображены как функция гребенчатого параметра. Когда создание прогнозов, набор scaled равняется 0. Для примера смотрите, Предсказывают Значения Используя Гребенчатую Регрессию.
Гребень, лассо и эластичная сетевая регуляризация являются всеми методами для оценки коэффициентов линейной модели при наложении штрафа на большие коэффициенты. Тип штрафа зависит от метода (дополнительную информацию см. в Определениях). Чтобы выполнить лассо или эластичную сетевую регуляризацию, используйте lasso вместо этого.
Если у вас есть высоко-размерные полные или разреженные данные о предикторе, можно использовать fitrlinear вместо ridge. При использовании fitrlinear задайте аргумент пары "имя-значение" 'Regularization','ridge'. Установите значение аргумента пары "имя-значение" 'Lambda' вектору гребенчатых параметров по вашему выбору. fitrlinear возвращает обученную линейную модель Mdl. Можно получить доступ к содействующим оценкам, сохраненным в свойстве Beta модели при помощи Mdl.Beta.
[1] Hoerl, A. E. и Р. В. Кеннард. “Гребенчатая Регрессия: Смещенная Оценка для Неортогональных проблем”. Технометрики. Издание 12, № 1, 1970, стр 55–67.
[2] Hoerl, A. E. и Р. В. Кеннард. “Гребенчатая Регрессия: Приложения к Неортогональным проблемам”. Технометрики. Издание 12, № 1, 1970, стр 69–82.
[3] Marquardt, D. W. “Обобщенные Инверсии, Гребенчатая Регрессия, Смещенная Линейная Оценка и Нелинейная Оценка”. Технометрики. Издание 12, № 3, 1970, стр 591–612.
[4] Marquardt, D. W. и Р. Д. Сни. “Гребенчатая Регрессия на практике”. Американский Статистик. Издание 29, № 1, 1975, стр 3–20.
fitrlinear | lasso | regress | stepwise