Лассо и эластичная сеть с перекрестной валидацией

Этот пример показывает, как предсказать пробег (MPG) автомобиля на основе его веса, водоизмещения, лошадиной силы и ускорения, используя методы lasso и elastic net.

Загрузите carbig набор данных.

load carbig

Извлеките непрерывные (некатegorical) предикторы (lasso не обрабатывает категориальные предикторы).

X = [Acceleration Displacement Horsepower Weight];

Выполните подгонку лассо с 10-кратной перекрестной валидацией.

[b,fitinfo] = lasso(X,MPG,'CV',10);

Постройте график результата.

lassoPlot(b,fitinfo,'PlotType','Lambda','XScale','log');

Вычислим корреляцию предикторов. Сначала устраните NaNs.

nonan = ~any(isnan([X MPG]),2);
Xnonan = X(nonan,:);
MPGnonan = MPG(nonan,:);
corr(Xnonan)

ans = 4×4

    1.0000   -0.5438   -0.6892   -0.4168
   -0.5438    1.0000    0.8973    0.9330
   -0.6892    0.8973    1.0000    0.8645
   -0.4168    0.9330    0.8645    1.0000

Поскольку некоторые предикторы сильно коррелируют, выполните упругий сетевой подбор кривой. Использование Alpha = 0.5.

[ba,fitinfoa] = lasso(X,MPG,'CV',10,'Alpha',.5);

Постройте график результата. Назовите каждый предиктор, чтобы вы могли определить, какая кривая.

pnames = {'Acceleration','Displacement','Horsepower','Weight'};
lassoPlot(ba,fitinfoa,'PlotType','Lambda','XScale','log',...
    'PredictorNames',pnames);

Когда вы активируете Data Cursor и кликаете график, вы видите имя предиктора, коэффициент, значение Lambdaи индекс этой точки, означающий столбец в b сопоставлен с этой подгонкой.

Здесь результаты эластичной сетки и лассо не очень похожи. Кроме того, график упругой сетки отражает заметное качественное свойство метода упругой сетки. Упругая сеть сохраняет три ненулевых коэффициента как Lambda увеличивается (влево от графика), и эти три коэффициента достигают 0 примерно при том же Lambda значение. Напротив, график лассо показывает, что два из трех коэффициентов становятся 0 при том же значении Lambda, в то время как другой коэффициент остается ненулевым для более высоких значений Lambda.

Это поведение является примером общего шаблона. В целом, эластичная сеть имеет тенденцию сохранять или отбрасывать группы высоко коррелированных предикторов как Lambda увеличивается. Напротив, лассо имеет тенденцию сбрасывать меньшие группы, или даже отдельные предикторы.

См. также

fitrlinear | lasso | lassoglm | lassoPlot | ridge

Похожие темы

• Регуляризация Лассо
• Широкие данные через Lasso и параллельные вычисления
• Лассо и эластичная сеть
• Регрессия хребта