Лассо или эластичная регуляризация сетки для обобщенных линейных моделей
B = lassoglm(X,y)X и ответ y, где значения в y предполагается, что они имеют нормальное распределение вероятности. Каждый столбец B соответствует конкретному коэффициенту регуляризации в Lambda. По умолчанию lassoglm выполняет регуляризацию лассо с использованием геометрической последовательности Lambda значения.
B = lassoglm(X,y,distr,Name,Value)'Alpha',0.5 устанавливает эластичную сетку в качестве метода регуляризации с параметром Alpha равно 0,5.
Создайте набор данных с избыточными предикторами и определите эти предикторы с помощью lassoglm.
Создание случайной матрицы X со 100 наблюдениями и 10 предикторами. Создание нормально распределенного ответа y используя только четыре из предикторов и небольшое количество шума.
rng default X = randn(100,10); weights = [0.6;0.5;0.7;0.4]; y = X(:,[2 4 5 7])*weights + randn(100,1)*0.1; % Small added noise
Выполните регуляризацию лассо.
B = lassoglm(X,y);
Найти вектор коэффициентов для 75-го Lambda значение в B.
B(:,75)
ans = 10×1
0
0.5431
0
0.3944
0.6173
0
0.3473
0
0
0
lassoglm идентифицирует и удаляет избыточные предикторы.
Создайте данные из модели Пуассона и определите важные предикторы с помощью lassoglm.
Создайте данные с помощью 20 предикторов. Создайте переменную отклика Пуассона, используя только три предиктора плюс константу.
rng default % For reproducibility X = randn(100,20); weights = [.4;.2;.3]; mu = exp(X(:,[5 10 15])*weights + 1); y = poissrnd(mu);
Построить перекрестно проверенную регуляризацию лассо регрессионной модели Пуассона данных.
[B,FitInfo] = lassoglm(X,y,'poisson','CV',10);
Проверьте график перекрестной проверки, чтобы увидеть эффект Lambda параметр регуляризации.
lassoPlot(B,FitInfo,'plottype','CV'); legend('show') % Show legend
Зеленый круг и пунктирная линия расположены Lambda с минимальной ошибкой перекрестной проверки. Синяя окружность и пунктирная линия определяют местоположение точки с минимальной ошибкой перекрестной проверки плюс одно стандартное отклонение.
Найдите ненулевые коэффициенты модели, соответствующие двум идентифицированным точкам.
idxLambdaMinDeviance = FitInfo.IndexMinDeviance; mincoefs = find(B(:,idxLambdaMinDeviance))
mincoefs = 7×1
3
5
6
10
11
15
16
idxLambda1SE = FitInfo.Index1SE; min1coefs = find(B(:,idxLambda1SE))
min1coefs = 3×1
5
10
15
Коэффициенты из стандартной точки ошибки «минимум плюс один» представляют собой именно те коэффициенты, которые используются для создания данных.
Предсказать, получили ли студенты B или выше на своем последнем экзамене, используя lassoglm.
Загрузить examgrades набор данных. Преобразование последних оценок ЕГЭ в логический вектор, где 1 представляет собой класс 80 или выше и 0 представляет собой класс ниже 80.
load examgrades
X = grades(:,1:4);
y = grades(:,5);
yBinom = (y>=80);Разбейте данные на обучающие и тестовые наборы.
rng default % Set the seed for reproducibility c = cvpartition(yBinom,'HoldOut',0.3); idxTrain = training(c,1); idxTest = ~idxTrain; XTrain = X(idxTrain,:); yTrain = yBinom(idxTrain); XTest = X(idxTest,:); yTest = yBinom(idxTest);
Выполните регуляризацию лассо для обобщенной регрессии линейной модели с трехкратной перекрестной проверкой данных обучения. Предположим значения в y биномиально распределены. Выберите коэффициенты модели, соответствующие Lambda с минимальным ожидаемым отклонением.
[B,FitInfo] = lassoglm(XTrain,yTrain,'binomial','CV',3); idxLambdaMinDeviance = FitInfo.IndexMinDeviance; B0 = FitInfo.Intercept(idxLambdaMinDeviance); coef = [B0; B(:,idxLambdaMinDeviance)]
coef = 5×1
-21.1911
0.0235
0.0670
0.0693
0.0949
Прогнозирование оценок экзамена для тестовых данных с использованием коэффициентов модели, найденных на предыдущем шаге. Укажите функцию связи для биномиального ответа с помощью 'logit'. Преобразуйте прогнозируемые значения в логический вектор.
yhat = glmval(coef,XTest,'logit');
yhatBinom = (yhat>=0.5);Определите точность прогнозов с помощью матрицы путаницы.
c = confusionchart(yTest,yhatBinom);
Функция правильно прогнозирует 31 балл ЕГЭ. Однако функция неверно предсказывает, что 1 студент получает B или выше и 4 учащиеся получают оценку ниже уровня B.
[1] Тибширани, Р. «Регрессионная усадка и отбор через Лассо». Журнал Королевского статистического общества. Серия B, т. 58, № 1, 1996, стр. 267-288.
[2] Цзоу, H. и Т. Хэсти. «Регуляризация и выбор переменных через эластичную сеть». Журнал Королевского статистического общества. Серия B, т. 67, № 2, 2005, стр. 301-320.
[3] Фридман, Дж., Р. Тибширани и Т. Хасти. «Пути регуляризации для обобщенных линейных моделей через спуск по координатам». Журнал статистического программного обеспечения. Том 33, № 1, 2010. https://www.jstatsoft.org/v33/i01
[4] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения. 2-е издание. Нью-Йорк: Спрингер, 2008.
[5] Добсон, А. Дж. Введение в обобщенные линейные модели. 2-е издание. Нью-Йорк: Chapman & Hall/CRC Press, 2002.
[6] Маккалла, П. и Дж. А. Нелдер. Обобщенные линейные модели. 2-е издание. Нью-Йорк: Chapman & Hall/CRC Press, 1989.
[7] Коллетт, D. Моделирование двоичных данных. 2-е издание. Нью-Йорк: Chapman & Hall/CRC Press, 2003.