Регуляризация лассо или эластичной сетки для линейных моделей
B = lasso(X,y)X и ответ y. Каждый столбец B соответствует конкретному коэффициенту регуляризации в Lambda. По умолчанию lasso выполняет регуляризацию лассо с использованием геометрической последовательности Lambda значения.
B = lasso(X,y,Name,Value)'Alpha',0.5 устанавливает эластичную сетку в качестве метода регуляризации с параметром Alpha равно 0,5.
Создайте набор данных с избыточными предикторами и определите эти предикторы с помощью lasso.
Создание матрицы X из 100 пятимерных нормальных переменных. Создание вектора отклика y только из двух компонентов Xи добавьте небольшое количество шума.
rng default % For reproducibility X = randn(100,5); weights = [0;2;0;-3;0]; % Only two nonzero coefficients y = X*weights + randn(100,1)*0.1; % Small added noise
Создайте подгонку лассо по умолчанию.
B = lasso(X,y);
Найти вектор коэффициентов для 25-го Lambda значение в B.
B(:,25)
ans = 5×1
0
1.6093
0
-2.5865
0
lasso идентифицирует и удаляет избыточные предикторы.
Создание образца данных с помощью переменной предиктора X и переменную ответа 2X +
rng('default') % For reproducibility X = rand(100,1); y = 2*X + randn(100,1)/10;
Укажите значение регуляризации и найдите коэффициент регрессионной модели без элемента пересечения.
lambda = 1e-03; B = lasso(X,y,'Lambda',lambda,'Intercept',false)
Warning: When the 'Intercept' value is false, the 'Standardize' value is set to false.
B = 1.9825
Постройте график действительных значений (точек) относительно прогнозируемых значений (линии).
scatter(X,y) hold on x = 0:0.1:1; plot(x,x*B) hold off
Создайте набор данных с избыточными предикторами и определите эти предикторы с помощью перекрестной проверки lasso.
Создание матрицы X из 100 пятимерных нормальных переменных. Создание вектора отклика y из двух компонентов Xи добавьте небольшое количество шума.
rng default % For reproducibility X = randn(100,5); weights = [0;2;0;-3;0]; % Only two nonzero coefficients y = X*weights + randn(100,1)*0.1; % Small added noise
Создайте подгонку лассо, используя 10-кратную перекрестную проверку с помеченными предикторными переменными.
[B,FitInfo] = lasso(X,y,'CV',10,'PredictorNames',{'x1','x2','x3','x4','x5'});
Отображение переменных в модели, соответствующих минимальной среднеквадратичной ошибке (MSE).
idxLambdaMinMSE = FitInfo.IndexMinMSE; minMSEModelPredictors = FitInfo.PredictorNames(B(:,idxLambdaMinMSE)~=0)
minMSEModelPredictors = 1x2 cell
{'x2'} {'x4'}
Отображение переменных в модели разрежения в пределах одной стандартной ошибки минимального MSE.
idxLambda1SE = FitInfo.Index1SE; sparseModelPredictors = FitInfo.PredictorNames(B(:,idxLambda1SE)~=0)
sparseModelPredictors = 1x2 cell
{'x2'} {'x4'}
В этом примере: lasso идентифицирует одни и те же предикторы для двух моделей и удаляет избыточные предикторы.
Визуально проверьте перекрестно подтвержденную ошибку различных уровней регуляризации.
Загрузите образцы данных.
load acetyleneСоздайте матрицу конструкции с взаимодействиями и без постоянного термина.
X = [x1 x2 x3]; D = x2fx(X,'interaction'); D(:,1) = []; % No constant term
Создайте подгонку лассо с помощью 10-кратной перекрестной проверки. Включить FitInfo вывод, чтобы можно было построить график результата.
rng default % For reproducibility [B,FitInfo] = lasso(D,y,'CV',10);
Постройте график перекрестно проверенных посадок.
lassoPlot(B,FitInfo,'PlotType','CV'); legend('show') % Show legend
Зеленый круг и пунктирная линия расположены Lambda с минимальной ошибкой перекрестной проверки. Синяя окружность и пунктирная линия определяют местоположение точки с минимальной ошибкой перекрестной проверки плюс одно стандартное отклонение.
Прогнозирование результатов экзаменов учащихся с использованием lasso и способ упругой сетки.
Загрузить examgrades набор данных.
load examgrades
X = grades(:,1:4);
y = grades(:,5);Разбейте данные на обучающие и тестовые наборы.
n = length(y);
c = cvpartition(n,'HoldOut',0.3);
idxTrain = training(c,1);
idxTest = ~idxTrain;
XTrain = X(idxTrain,:);
yTrain = y(idxTrain);
XTest = X(idxTest,:);
yTest = y(idxTest);Найдите коэффициенты регуляризованной модели линейной регрессии с помощью 10-кратной перекрестной проверки и метода упругой сетки с помощью Alpha = 0.75. Использовать самый большой Lambda значение, такое, что среднеквадратичная ошибка (MSE) находится в пределах одной стандартной ошибки минимального MSE.
[B,FitInfo] = lasso(XTrain,yTrain,'Alpha',0.75,'CV',10); idxLambda1SE = FitInfo.Index1SE; coef = B(:,idxLambda1SE); coef0 = FitInfo.Intercept(idxLambda1SE);
Прогнозирование результатов экзамена для данных теста. Сравните прогнозируемые значения с фактическими оценками экзамена с помощью контрольной линии.
yhat = XTest*coef + coef0; hold on scatter(yTest,yhat) plot(yTest,yTest) xlabel('Actual Exam Grades') ylabel('Predicted Exam Grades') hold off
[1] Тибширани, Р. «Регрессионная усадка и отбор через Лассо». Журнал Королевского статистического общества. Серия B, т. 58, № 1, 1996, стр. 267-288.
[2] Цзоу, H. и Т. Хэсти. «Регуляризация и выбор переменных через эластичную сеть». Журнал Королевского статистического общества. Серия B, т. 67, № 2, 2005, стр. 301-320.
[3] Фридман, Дж., Р. Тибширани и Т. Хасти. «Пути регуляризации для обобщенных линейных моделей через спуск по координатам». Журнал статистического программного обеспечения. Том 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения. 2-е издание. Нью-Йорк: Спрингер, 2008.
[5] Бойд, С. «Распределенная оптимизация и статистическое обучение с помощью метода чередующегося направления множителей». Основы и тенденции машинного обучения. т. 3, № 1, 2010, стр. 1-122.
fitlm | fitrlinear | lassoglm | lassoPlot | ridge