Лассо или упругая сетевая регуляризация для обобщенных линейных моделей
B = lassoglm(X,y)X и ответ y, где значения в y приняты, что имеют нормальное распределение вероятностей. Каждый столбец B соответствует конкретному коэффициенту регуляризации в Lambda. По умолчанию, lassoglm выполняет регуляризацию лассо с помощью геометрической последовательности Lambda значения.
B = lassoglm(X,y,distr,Name,Value)'Alpha',0.5 устанавливает эластичную сетку как метод регуляризации с параметром Alpha равным 0,5.
Создайте набор данных с избыточными предикторами и идентифицируйте эти предикторы при помощи lassoglm.
Создайте случайную матрицу X со 100 наблюдениями и 10 предикторами. Создайте нормально распределенный ответ y использование только четырех предикторов и небольшое количество шума.
rng default X = randn(100,10); weights = [0.6;0.5;0.7;0.4]; y = X(:,[2 4 5 7])*weights + randn(100,1)*0.1; % Small added noise
Выполните регуляризацию лассо.
B = lassoglm(X,y);
Найдите вектор коэффициентов для 75-го Lambda значение в B.
B(:,75)
ans = 10×1
0
0.5431
0
0.3944
0.6173
0
0.3473
0
0
0
lassoglm определяет и удаляет избыточные предикторы.
Создайте данные из модели Пуассона и идентифицируйте важные предикторы с помощью lassoglm.
Создайте данные с 20 предикторами. Создайте переменную отклика Пуассона, используя только три предиктора плюс константа.
rng default % For reproducibility X = randn(100,20); weights = [.4;.2;.3]; mu = exp(X(:,[5 10 15])*weights + 1); y = poissrnd(mu);
Создайте перекрестную проверенную регуляризацию лассо регрессионой модели Пуассона данных.
[B,FitInfo] = lassoglm(X,y,'poisson','CV',10);
Исследуйте график перекрестной проверки, чтобы увидеть эффект Lambda параметр регуляризации.
lassoPlot(B,FitInfo,'plottype','CV'); legend('show') % Show legend
Зеленый круг и пунктирная линия определяют местоположение Lambda с минимальной ошибкой перекрестной проверки. Синий круг и пунктирная линия определяют местоположение точки с минимальной ошибкой перекрестной валидации плюс одно стандартное отклонение.
Найдите ненулевые коэффициенты модели, соответствующие двум идентифицированным точкам.
idxLambdaMinDeviance = FitInfo.IndexMinDeviance; mincoefs = find(B(:,idxLambdaMinDeviance))
mincoefs = 7×1
3
5
6
10
11
15
16
idxLambda1SE = FitInfo.Index1SE; min1coefs = find(B(:,idxLambda1SE))
min1coefs = 3×1
5
10
15
Коэффициенты из стандартной точки ошибки минимум плюс один являются именно теми коэффициентами, которые используются для создания данных.
Спрогнозируйте, получили ли студенты степень B или выше на своем последнем экзамене, используя lassoglm.
Загрузите examgrades набор данных. Преобразуйте последние оценки экзамена в логический вектор, где 1 представляет класс 80 или выше и 0 представляет класс ниже 80.
load examgrades
X = grades(:,1:4);
y = grades(:,5);
yBinom = (y>=80);Разделите данные на обучающие и тестовые наборы.
rng default % Set the seed for reproducibility c = cvpartition(yBinom,'HoldOut',0.3); idxTrain = training(c,1); idxTest = ~idxTrain; XTrain = X(idxTrain,:); yTrain = yBinom(idxTrain); XTest = X(idxTest,:); yTest = yBinom(idxTest);
Выполните регуляризацию лассо для обобщенной линейной регрессии модели с 3-кратной перекрестной валидацией обучающих данных. Примите значения в y являются биномиально распределенными. Выберите коэффициенты модели, соответствующие Lambda с минимальным ожидаемым отклонением.
[B,FitInfo] = lassoglm(XTrain,yTrain,'binomial','CV',3); idxLambdaMinDeviance = FitInfo.IndexMinDeviance; B0 = FitInfo.Intercept(idxLambdaMinDeviance); coef = [B0; B(:,idxLambdaMinDeviance)]
coef = 5×1
-21.1911
0.0235
0.0670
0.0693
0.0949
Спрогнозируйте оценки экзамена для тестовых данных, используя коэффициенты модели, найденные на предыдущем шаге. Задайте функцию ссылки для биномиального ответа, используя 'logit'. Преобразуйте значения предсказания в логический вектор.
yhat = glmval(coef,XTest,'logit');
yhatBinom = (yhat>=0.5);Определите точность предсказаний с помощью матрицы неточностей.
c = confusionchart(yTest,yhatBinom);
Функция правильно предсказывает 31 оценку экзамена. Однако функция неправильно предсказывает, что 1 студент получает B или выше и 4 ученики получают оценку ниже B.
[1] Tibshirani, R. «Regression Shrinkage and Selection through the Lasso». Журнал Королевского статистического общества. Серия B, том 58, № 1, 1996, стр. 267-288.
[2] Zou, H., and T. Hastie. «Регуляризация и выбор переменных через эластичную сеть». Журнал Королевского статистического общества. Серия B, том 67, № 2, 2005, стр. 301-320.
[3] Фридман, Дж., Р. Тибширани и Т. Хасти. «Регуляризация Путей для обобщенных линейных моделей через спуск координат». Журнал статистического программного обеспечения. Том 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения. 2-е издание. Нью-Йорк: Спрингер, 2008.
[5] Добсон, А. Дж. Введение в обобщенные линейные модели. 2-е издание. Нью-Йорк: Chapman & Hall/CRC Press, 2002.
[6] McCullagh, P., and J. A. Nelder. Обобщенные линейные модели. 2-е издание. Нью-Йорк: Chapman & Hall/CRC Press, 1989.
[7] Collett, D. Modelling Binary Data. 2-е издание. Нью-Йорк: Chapman & Hall/CRC Press, 2003.