Лассо или упругая сетевая регуляризация для линейных моделей
B = lasso(X,y)X и ответ y. Каждый столбец B соответствует конкретному коэффициенту регуляризации в Lambda. По умолчанию, lasso выполняет регуляризацию лассо с помощью геометрической последовательности Lambda значения.
B = lasso(X,y,Name,Value)'Alpha',0.5 устанавливает эластичную сетку как метод регуляризации с параметром Alpha равным 0,5.
Создайте набор данных с избыточными предикторами и идентифицируйте эти предикторы при помощи lasso.
Создайте матрицу X из 100 пятимерных нормальных переменных. Создайте вектор отклика y всего из двух компонентов Xи добавить небольшое количество шума.
rng default % For reproducibility X = randn(100,5); weights = [0;2;0;-3;0]; % Only two nonzero coefficients y = X*weights + randn(100,1)*0.1; % Small added noise
Создайте лассо- подгонку по умолчанию.
B = lasso(X,y);
Найдите вектор коэффициентов для 25-го Lambda значение в B.
B(:,25)
ans = 5×1
0
1.6093
0
-2.5865
0
lasso определяет и удаляет избыточные предикторы.
Создайте выборочные данные с переменной предиктора X и переменная отклика .
rng('default') % For reproducibility X = rand(100,1); y = 2*X + randn(100,1)/10;
Задайте значение регуляризации и найдите коэффициент регрессионой модели без термина точки пересечения.
lambda = 1e-03; B = lasso(X,y,'Lambda',lambda,'Intercept',false)
Warning: When the 'Intercept' value is false, the 'Standardize' value is set to false.
B = 1.9825
Постройте график вещественных значений (точек) относительно предсказанных значений (линий).
scatter(X,y) hold on x = 0:0.1:1; plot(x,x*B) hold off
Создайте набор данных с избыточными предикторами и идентифицируйте эти предикторы с помощью перекрестно проверенных lasso.
Создайте матрицу X из 100 пятимерных нормальных переменных. Создайте вектор отклика y из двух компонентов X, и добавить небольшое количество шума.
rng default % For reproducibility X = randn(100,5); weights = [0;2;0;-3;0]; % Only two nonzero coefficients y = X*weights + randn(100,1)*0.1; % Small added noise
Создайте подгонку лассо с помощью 10-кратной перекрестной валидации с маркированными переменными предиктора.
[B,FitInfo] = lasso(X,y,'CV',10,'PredictorNames',{'x1','x2','x3','x4','x5'});
Отобразите переменные в модели, которые соответствуют минимальной перекрестной проверенной средней квадратичной невязке (MSE).
idxLambdaMinMSE = FitInfo.IndexMinMSE; minMSEModelPredictors = FitInfo.PredictorNames(B(:,idxLambdaMinMSE)~=0)
minMSEModelPredictors = 1x2 cell
{'x2'} {'x4'}
Отобразите переменные в самой разреженной модели в пределах одной стандартной ошибки минимального MSE.
idxLambda1SE = FitInfo.Index1SE; sparseModelPredictors = FitInfo.PredictorNames(B(:,idxLambda1SE)~=0)
sparseModelPredictors = 1x2 cell
{'x2'} {'x4'}
В этом примере lasso определяет те же предикторы для этих двух моделей и удаляет избыточные предикторы.
Визуально проверьте перекрестную ошибку различных уровней регуляризации.
Загрузите выборочные данные.
load acetyleneСоздайте матрицу проекта с взаимодействиями и без постоянного члена.
X = [x1 x2 x3]; D = x2fx(X,'interaction'); D(:,1) = []; % No constant term
Создайте подгонку lasso с помощью 10-кратной перекрестной валидации. Включите FitInfo выход, чтобы можно было построить график результата.
rng default % For reproducibility [B,FitInfo] = lasso(D,y,'CV',10);
Постройте график кросс-проверенных подгонок.
lassoPlot(B,FitInfo,'PlotType','CV'); legend('show') % Show legend
Зеленый круг и пунктирная линия определяют местоположение Lambda с минимальной ошибкой перекрестной проверки. Синий круг и пунктирная линия определяют местоположение точки с минимальной ошибкой перекрестной валидации плюс одно стандартное отклонение.
Прогнозируйте счета экзаменов для студентов с помощью lasso и метод эластичной сетки.
Загрузите examgrades набор данных.
load examgrades
X = grades(:,1:4);
y = grades(:,5);Разделите данные на обучающие и тестовые наборы.
n = length(y);
c = cvpartition(n,'HoldOut',0.3);
idxTrain = training(c,1);
idxTest = ~idxTrain;
XTrain = X(idxTrain,:);
yTrain = y(idxTrain);
XTest = X(idxTest,:);
yTest = y(idxTest);Найдите коэффициенты регуляризованной линейной регрессионой модели с помощью 10-кратной перекрестной валидации и метода упругой сети с Alpha = 0.75. Используйте самую большую Lambda значение таким образом, что средняя квадратичная невязка (MSE) находится внутри одной стандартной ошибки минимальной MSE.
[B,FitInfo] = lasso(XTrain,yTrain,'Alpha',0.75,'CV',10); idxLambda1SE = FitInfo.Index1SE; coef = B(:,idxLambda1SE); coef0 = FitInfo.Intercept(idxLambda1SE);
Спрогнозируйте счета экзамена для тестовых данных. Сравните предсказанные значения с фактическими оценками экзамена с помощью ссылки линии.
yhat = XTest*coef + coef0; hold on scatter(yTest,yhat) plot(yTest,yTest) xlabel('Actual Exam Grades') ylabel('Predicted Exam Grades') hold off
[1] Tibshirani, R. «Regression Shrinkage and Selection through the Lasso». Журнал Королевского статистического общества. Серия B, том 58, № 1, 1996, стр. 267-288.
[2] Zou, H., and T. Hastie. «Регуляризация и выбор переменных через эластичную сеть». Журнал Королевского статистического общества. Серия B, том 67, № 2, 2005, стр. 301-320.
[3] Фридман, Дж., Р. Тибширани и Т. Хасти. «Регуляризация Путей для обобщенных линейных моделей через спуск координат». Журнал статистического программного обеспечения. Том 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения. 2-е издание. Нью-Йорк: Спрингер, 2008.
[5] Boyd, S. «Распределенная оптимизация и статистическое обучение через метод множителей с переменным направлением». Основы и тренды машинного обучения. Том 3, № 1, 2010, стр. 1-122.
fitlm | fitrlinear | lassoglm | lassoPlot | ridge