Ловите арканом или эластичная сетевая регуляризация для линейных моделей
B = lasso(X,y)X и ответ y. Каждый столбец B соответствует конкретному коэффициенту регуляризации в Lambda. По умолчанию, lasso выполняет регуляризацию лассо с помощью геометрической последовательности Lambda значения.
B = lasso(X,y,Name,Value)'Alpha',0.5 ставит эластичную сеть как метод регуляризации, параметром Alpha равняйтесь 0,5.
Создайте набор данных с избыточными предикторами и идентифицируйте те предикторы при помощи lasso.
Создайте матричный X из 100 пятимерных нормальных переменных. Создайте вектор отклика y всего от двух компонентов X, и добавьте небольшое количество шума.
rng default % For reproducibility X = randn(100,5); weights = [0;2;0;-3;0]; % Only two nonzero coefficients y = X*weights + randn(100,1)*0.1; % Small added noise
Создайте подгонку лассо по умолчанию.
B = lasso(X,y);
Найдите вектор коэффициентов для 25-го Lambda значение в B.
B(:,25)
ans = 5×1
0
1.6093
0
-2.5865
0
lasso идентифицирует и удаляет избыточные предикторы.
Создайте выборочные данные с переменным предиктором X и переменная отклика .
rng('default') % For reproducibility X = rand(100,1); y = 2*X + randn(100,1)/10;
Задайте значение регуляризации и найдите коэффициент модели регрессии без термина точки пересечения.
lambda = 1e-03; B = lasso(X,y,'Lambda',lambda,'Intercept',false)
Warning: When the 'Intercept' value is false, the 'Standardize' value is set to false.
B = 1.9825
Постройте действительные значения (точки) против ожидаемых значений (линия).
scatter(X,y) hold on x = 0:0.1:1; plot(x,x*B) hold off
Создайте набор данных с избыточными предикторами и идентифицируйте те предикторы при помощи перекрестного подтвержденного lasso.
Создайте матричный X из 100 пятимерных нормальных переменных. Создайте вектор отклика y от двух компонентов X, и добавьте небольшое количество шума.
rng default % For reproducibility X = randn(100,5); weights = [0;2;0;-3;0]; % Only two nonzero coefficients y = X*weights + randn(100,1)*0.1; % Small added noise
Создайте подгонку лассо при помощи 10-кратной перекрестной проверки с помеченными переменными предикторами.
[B,FitInfo] = lasso(X,y,'CV',10,'PredictorNames',{'x1','x2','x3','x4','x5'});
Отобразите переменные в модели, которая соответствует минимуму перекрестная подтвержденная среднеквадратическая ошибка (MSE).
idxLambdaMinMSE = FitInfo.IndexMinMSE; minMSEModelPredictors = FitInfo.PredictorNames(B(:,idxLambdaMinMSE)~=0)
minMSEModelPredictors = 1x2 cell
{'x2'} {'x4'}
Отобразите переменные в самой разреженной модели в одной стандартной погрешности минимального MSE.
idxLambda1SE = FitInfo.Index1SE; sparseModelPredictors = FitInfo.PredictorNames(B(:,idxLambda1SE)~=0)
sparseModelPredictors = 1x2 cell
{'x2'} {'x4'}
В этом примере, lasso идентифицирует те же предикторы для этих двух моделей и удаляет избыточные предикторы.
Визуально исследуйте перекрестную подтвержденную ошибку различных уровней регуляризации.
Загрузите выборочные данные.
load acetyleneСоздайте матрицу проекта со взаимодействиями и никаким постоянным термином.
X = [x1 x2 x3]; D = x2fx(X,'interaction'); D(:,1) = []; % No constant term
Создайте подгонку лассо использование 10-кратной перекрестной проверки. Включайте FitInfo выведите так, можно построить результат.
rng default % For reproducibility [B,FitInfo] = lasso(D,y,'CV',10);
Постройте перекрестные подтвержденные подгонки.
lassoPlot(B,FitInfo,'PlotType','CV'); legend('show') % Show legend
Зеленая круговая и пунктирная линия определяет местоположение Lambda с минимальной ошибкой перекрестной проверки. Синяя круговая и пунктирная линия определяет местоположение точки с минимальной ошибкой перекрестной проверки плюс одно стандартное отклонение.
Предскажите баллы экзамена студентов с помощью lasso и эластичный сетевой метод.
Загрузите examgrades набор данных.
load examgrades
X = grades(:,1:4);
y = grades(:,5);Разделите данные в наборы обучающих данных и наборы тестов.
n = length(y);
c = cvpartition(n,'HoldOut',0.3);
idxTrain = training(c,1);
idxTest = ~idxTrain;
XTrain = X(idxTrain,:);
yTrain = y(idxTrain);
XTest = X(idxTest,:);
yTest = y(idxTest);Найдите коэффициенты упорядоченной модели линейной регрессии использованием 10-кратной перекрестной проверки и эластичного сетевого метода с Alpha = 0.75. Используйте самый большой Lambda оцените таким образом, что среднеквадратическая ошибка (MSE) в одной стандартной погрешности минимального MSE.
[B,FitInfo] = lasso(XTrain,yTrain,'Alpha',0.75,'CV',10); idxLambda1SE = FitInfo.Index1SE; coef = B(:,idxLambda1SE); coef0 = FitInfo.Intercept(idxLambda1SE);
Предскажите музыку экзамена к тестовым данным. Сравните ожидаемые значения с фактическими классами экзамена с помощью ссылочной линии.
yhat = XTest*coef + coef0; hold on scatter(yTest,yhat) plot(yTest,yTest) xlabel('Actual Exam Grades') ylabel('Predicted Exam Grades') hold off
[1] Tibshirani, R. “Уменьшение регрессии и Выбор через Лассо”. Журнал Королевского Статистического Общества. Серии B, Издание 58, № 1, 1996, стр 267–288.
[2] Цзоу, H. и Т. Хэсти. “Регуляризация и Выбор переменной через Эластичную Сеть”. Журнал Королевского Статистического Общества. Серии B, Издание 67, № 2, 2005, стр 301–320.
[3] Фридман, J., Р. Тибширэни и Т. Хэсти. “Пути к регуляризации для Обобщенных линейных Моделей через Координатный Спуск”. Журнал Статистического программного обеспечения. Издание 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения. 2-й выпуск. Нью-Йорк: Спрингер, 2008.
[5] Бойд, S. “Распределенная Оптимизация и Статистическое Изучение с помощью Переменного Метода Направления Множителей”. Основы и Тренды в Машинном обучении. Издание 3, № 1, 2010, стр 1–122.
fitlm | fitrlinear | lassoglm | lassoPlot | ridge