lasso

Ловите арканом или эластичная сетевая регуляризация для линейных моделей

Синтаксис

B = lasso(X,y)

B = lasso(X,y,Name,Value)

[B,FitInfo]
= lasso(___)

Описание

пример

B = lasso(X,y) возвращает адаптированные коэффициенты регрессии наименьших квадратов для линейных моделей данных о предикторе X и ответ y. Каждый столбец B соответствует конкретному коэффициенту регуляризации в Lambda. По умолчанию, lasso выполняет регуляризацию лассо с помощью геометрической последовательности Lambda значения.

пример

B = lasso(X,y,Name,Value) подгонки упорядочили регрессии с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Например, 'Alpha',0.5 ставит эластичную сеть как метод регуляризации, параметром Alpha равняйтесь 0,5.

пример

[B,FitInfo] = lasso(___) также возвращает структуру FitInfo, который содержит информацию о припадке моделей, с помощью любого из входных параметров в предыдущих синтаксисах.

Примеры

свернуть все

Удалите избыточные предикторы Используя регуляризацию лассо

Скрипт Open Live Script

Создайте набор данных с избыточными предикторами и идентифицируйте те предикторы при помощи lasso.

Создайте матричный X из 100 пятимерных нормальных переменных. Создайте вектор отклика y всего от двух компонентов X, и добавьте небольшое количество шума.

rng default % For reproducibility
X = randn(100,5);
weights = [0;2;0;-3;0]; % Only two nonzero coefficients
y = X*weights + randn(100,1)*0.1; % Small added noise

Создайте подгонку лассо по умолчанию.

B = lasso(X,y);

Найдите вектор коэффициентов для 25-го Lambda значение в B.

B(:,25)

lasso идентифицирует и удаляет избыточные предикторы.

Создайте линейную модель без термина точки пересечения Используя регуляризацию лассо

Скрипт Open Live Script

Создайте выборочные данные с переменным предиктором X и переменная отклика $y = 0 + 2 X + ε$ .

rng('default') % For reproducibility
X = rand(100,1);
y = 2*X + randn(100,1)/10;

Задайте значение регуляризации и найдите коэффициент модели регрессии без термина точки пересечения.

lambda = 1e-03;
B = lasso(X,y,'Lambda',lambda,'Intercept',false)

Warning: When the 'Intercept' value is false, the 'Standardize' value is set to false.

B = 1.9825

Постройте действительные значения (точки) против ожидаемых значений (линия).

scatter(X,y)
hold on
x = 0:0.1:1;
plot(x,x*B)
hold off

Figure contains an axes. The axes contains 2 objects of type scatter, line.

Удалите избыточные предикторы при помощи перекрестных подтвержденных подгонок

Скрипт Open Live Script

Создайте набор данных с избыточными предикторами и идентифицируйте те предикторы при помощи перекрестного подтвержденного lasso.

Создайте матричный X из 100 пятимерных нормальных переменных. Создайте вектор отклика y от двух компонентов X, и добавьте небольшое количество шума.

rng default % For reproducibility
X = randn(100,5);
weights = [0;2;0;-3;0]; % Only two nonzero coefficients
y = X*weights + randn(100,1)*0.1; % Small added noise

Создайте подгонку лассо при помощи 10-кратной перекрестной проверки с помеченными переменными предикторами.

[B,FitInfo] = lasso(X,y,'CV',10,'PredictorNames',{'x1','x2','x3','x4','x5'});

Отобразите переменные в модели, которая соответствует минимуму перекрестная подтвержденная среднеквадратическая ошибка (MSE).

idxLambdaMinMSE = FitInfo.IndexMinMSE;
minMSEModelPredictors = FitInfo.PredictorNames(B(:,idxLambdaMinMSE)~=0)

minMSEModelPredictors = 1x2 cell
    {'x2'}    {'x4'}

Отобразите переменные в самой разреженной модели в одной стандартной погрешности минимального MSE.

idxLambda1SE = FitInfo.Index1SE;
sparseModelPredictors = FitInfo.PredictorNames(B(:,idxLambda1SE)~=0)

sparseModelPredictors = 1x2 cell
    {'x2'}    {'x4'}

В этом примере, lasso идентифицирует те же предикторы для этих двух моделей и удаляет избыточные предикторы.

Ловите арканом график с перекрестными подтвержденными подгонками

Скрипт Open Live Script

Визуально исследуйте перекрестную подтвержденную ошибку различных уровней регуляризации.

Загрузите выборочные данные.

load acetylene

Создайте матрицу проекта со взаимодействиями и никаким постоянным термином.

X = [x1 x2 x3];
D = x2fx(X,'interaction');
D(:,1) = []; % No constant term

Создайте подгонку лассо использование 10-кратной перекрестной проверки. Включайте FitInfo выведите так, можно построить результат.

rng default % For reproducibility 
[B,FitInfo] = lasso(D,y,'CV',10);

Постройте перекрестные подтвержденные подгонки.

lassoPlot(B,FitInfo,'PlotType','CV');
legend('show') % Show legend

Figure contains an axes. The axes with title Cross-Validated MSE of Lasso Fit contains 5 objects of type errorbar, line. These objects represent MSE with Error Bars, LambdaMinMSE, Lambda1SE.

Зеленая круговая и пунктирная линия определяет местоположение Lambda с минимальной ошибкой перекрестной проверки. Синяя круговая и пунктирная линия определяет местоположение точки с минимальной ошибкой перекрестной проверки плюс одно стандартное отклонение.

Предскажите значения Используя эластичную сетевую регуляризацию

Скрипт Open Live Script

Предскажите баллы экзамена студентов с помощью lasso и эластичный сетевой метод.

Загрузите examgrades набор данных.

load examgrades
X = grades(:,1:4);
y = grades(:,5);

Разделите данные в наборы обучающих данных и наборы тестов.

n = length(y);
c = cvpartition(n,'HoldOut',0.3);
idxTrain = training(c,1);
idxTest = ~idxTrain;
XTrain = X(idxTrain,:);
yTrain = y(idxTrain);
XTest = X(idxTest,:);
yTest = y(idxTest);

Найдите коэффициенты упорядоченной модели линейной регрессии использованием 10-кратной перекрестной проверки и эластичного сетевого метода с Alpha = 0.75. Используйте самый большой Lambda оцените таким образом, что среднеквадратическая ошибка (MSE) в одной стандартной погрешности минимального MSE.

[B,FitInfo] = lasso(XTrain,yTrain,'Alpha',0.75,'CV',10);
idxLambda1SE = FitInfo.Index1SE;
coef = B(:,idxLambda1SE);
coef0 = FitInfo.Intercept(idxLambda1SE);

Предскажите музыку экзамена к тестовым данным. Сравните ожидаемые значения с фактическими классами экзамена с помощью ссылочной линии.

yhat = XTest*coef + coef0;
hold on
scatter(yTest,yhat)
plot(yTest,yTest)
xlabel('Actual Exam Grades')
ylabel('Predicted Exam Grades')
hold off

Figure contains an axes. The axes contains 2 objects of type scatter, line.

Входные параметры

свернуть все

`X` — Данные о предикторе
числовая матрица

Данные о предикторе в виде числовой матрицы. Каждая строка представляет одно наблюдение, и каждый столбец представляет один переменный предиктор.

Типы данных: single | double

`y` — Данные об ответе
числовой вектор

Данные об ответе в виде числового вектора. y имеет длину n, где n является количеством строк X. Ответ y(i) соответствует i th строка X.

Типы данных: single | double

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: lasso(X,y,'Alpha',0.75,'CV',10) выполняет эластичную сетевую регуляризацию с 10-кратной перекрестной проверкой. 'Alpha',0.75 аргумент пары "имя-значение" устанавливает параметр, используемый в эластичной сетевой оптимизации.

`'AbsTol'` — Допуск абсолютной погрешности
`1e–4` (значение по умолчанию) | положительная скалярная величина

Допуск абсолютной погрешности раньше определял сходимость Алгоритма ADMM в виде разделенной запятой пары, состоящей из 'AbsTol' и положительная скалярная величина. Алгоритм сходится, когда последовательные оценки вектора коэффициентов отличаются суммой меньше, чем AbsTol.

Примечание

Эта опция применяется только, когда вы используете lasso на длинных массивах. Смотрите Расширенные Возможности для получения дополнительной информации.

Пример: 'AbsTol',1e–3

Типы данных: single | double

`'Alpha'` — Вес лассо по сравнению с гребенчатой оптимизацией
1 (значение по умолчанию) | положительная скалярная величина

Вес лассо (L ¹) по сравнению с гребнем (L ²) оптимизация в виде разделенной запятой пары, состоящей из 'Alpha' и значение положительной скалярной величины в интервале (0,1]. Значение Alpha = 1 представляет регрессию лассо, Alpha близко к 0 регрессия гребня подходов и другие значения представляют эластичную сетевую оптимизацию. Смотрите Эластичную Сеть.

Пример: 'Alpha',0.5

Типы данных: single | double

`'B0'` — Начальные значения для x - коэффициенты в Алгоритме ADMM
нулевой вектор (значение по умолчанию) | числовой вектор

Начальные значения для x - коэффициенты в Алгоритме ADMM в виде разделенной запятой пары, состоящей из 'B0' и числовой вектор.

Примечание

Типы данных: single | double

`'CV'` — Спецификация перекрестной проверки для оценки среднеквадратической ошибки
`'resubstitution'` (значение по умолчанию) | положительный целочисленный скаляр | `cvpartition` объект

Спецификация перекрестной проверки для оценки среднеквадратической ошибки (MSE) в виде разделенной запятой пары, состоящей из 'CV' и одно из следующего:

'resubstitution' — lasso использование X и y подбирать модель и оценить MSE без перекрестной проверки.
Положительное скалярное целое число K — lasso использование K- сверните перекрестную проверку.
cvpartition объект cvp — lasso использует метод перекрестной проверки, описанный в cvp. Вы не можете использовать 'leaveout' раздел с lasso.

Пример: 'CV',3

`'DFmax'` — Максимальное количество ненулевых коэффициентов
`Inf` (значение по умолчанию) | положительный целочисленный скаляр

Максимальное количество ненулевых коэффициентов в модели в виде разделенной запятой пары, состоящей из 'DFmax' и положительный целочисленный скаляр. lasso возвращает результаты только для Lambda значения, которые удовлетворяют этому критерию.

Пример: 'DFmax',5

Типы данных: single | double

`'Intercept'` — Отметьте для того, чтобы подбирать модель с термином точки пересечения
`true` (значение по умолчанию) | `false`

Отметьте для того, чтобы подбирать модель с термином точки пересечения в виде разделенной запятой пары, состоящей из 'Intercept' и любой true или false. Значением по умолчанию является true, который указывает, чтобы включать член в модели точки пересечения. Если Intercept false, затем возвращенное значение точки пересечения 0.

Пример: 'Intercept',false

Типы данных: логический

`'Lambda'` — Коэффициенты регуляризации
неотрицательный вектор

Коэффициенты регуляризации в виде разделенной запятой пары, состоящей из 'Lambda' и вектор из неотрицательных значений. Смотрите Лассо.

Если вы не предоставляете Lambdaто lasso вычисляет самое большое значение Lambda это дает непустую модель. В этом случае, LambdaRatio дает отношение самого маленького к самому большому значению последовательности и NumLambda дает длину вектора.
Если вы предоставляете Lambdaто lasso игнорирует LambdaRatio и NumLambda.
Если Standardize true, затем Lambda множество значений, используемое, чтобы подбирать модели с X данные, стандартизированные, чтобы иметь нулевое среднее значение и отклонение одного.

Значением по умолчанию является геометрическая последовательность NumLambda значения, только с самым большим значением, которое в состоянии произвести B= 0 .

Пример: 'Lambda',linspace(0,1)

Типы данных: single | double

`'LambdaRatio'` — Отношение самых маленьких к самому большому `Lambda` значения
`1e–4` (значение по умолчанию) | положительная скалярная величина

Отношение самого маленького к самому большому Lambda значения, когда вы не предоставляете LambdaВ виде разделенной запятой пары, состоящей из 'LambdaRatio' и положительная скалярная величина.

Если вы устанавливаете LambdaRatio = 0, затем lasso генерирует последовательность по умолчанию Lambda значения и замены самая маленькая с 0.

Пример: 'LambdaRatio',1e–2

Типы данных: single | double

`'MaxIter'` — Максимальное количество итераций позволено
положительный целочисленный скаляр

Максимальное количество итераций, позволенных в виде разделенной запятой пары, состоящей из 'MaxIter' и положительный целочисленный скаляр.

Если алгоритм выполняет MaxIter итерации прежде, чем достигнуть допуска сходимости RelTol, затем функция прекращает выполнять итерации и возвращает предупреждающее сообщение.

Функция может возвратить больше чем одно предупреждение когда NumLambda больше 1.

Значениями по умолчанию является 1e5 для стандартных данных и 1e4 для длинных массивов.

Пример: 'MaxIter',1e3

Типы данных: single | double

`'MCReps'` — Количество повторений Монте-Карло для перекрестной проверки
1 (значение по умолчанию) | положительный целочисленный скаляр

Количество повторений Монте-Карло для перекрестной проверки в виде разделенной запятой пары, состоящей из 'MCReps' и положительный целочисленный скаляр.

Если CV 'resubstitution' или cvpartition из типа 'resubstitution', затем MCReps должен быть 1.
Если CV cvpartition из типа 'holdout', затем MCReps должен быть больше 1.

Пример: 'MCReps',5

Типы данных: single | double

`'NumLambda'` — Количество `Lambda` значения
100 (значение по умолчанию) | положительный целочисленный скаляр

Количество Lambda значения lasso использование, когда вы не предоставляете LambdaВ виде разделенной запятой пары, состоящей из 'NumLambda' и положительный целочисленный скаляр. lasso может возвратить меньше, чем NumLambda подгонки, если остаточная ошибка подгонок опускается ниже пороговой части отклонения y.

Пример: 'NumLambda',50

Типы данных: single | double

`'Options'` — Опция, чтобы перекрестный подтвердить параллельно и задать случайные потоки
структура

Опция, чтобы перекрестный подтвердить параллельно и задать случайные потоки в виде разделенной запятой пары, состоящей из 'Options' и структура. Эта опция требует Parallel Computing Toolbox™.

Создайте Options структура с statset. Поля опции:

UseParallel — Установите на true вычислить параллельно. Значением по умолчанию является false.
UseSubstreams — Установите на true вычислить параллельно восстанавливаемым способом. Для воспроизводимости установите Streams к типу, позволяющему подпотоки: 'mlfg6331_64' или 'mrg32k3a'. Значением по умолчанию является false.
Streams A RandStream объектный массив или массив ячеек, состоящий из одного такого объекта. Если вы не задаете Streams, затем lasso использует поток по умолчанию.

Пример: 'Options',statset('UseParallel',true)

Типы данных: struct

`'PredictorNames'` — Имена переменных предикторов
`{}` (значение по умолчанию) | массив строк | массив ячеек из символьных векторов

Имена переменных предикторов, в порядке, в котором они появляются в XВ виде разделенной запятой пары, состоящей из 'PredictorNames' и массив строк или массив ячеек из символьных векторов.

Пример: 'PredictorNames',{'x1','x2','x3','x4'}

Типы данных: string | cell

`'RelTol'` — Порог сходимости для координатного алгоритма спуска
`1e–4` (значение по умолчанию) | положительная скалярная величина

Порог сходимости для координатного алгоритма спуска [3] в виде разделенной запятой пары, состоящей из 'RelTol' и положительная скалярная величина. Алгоритм останавливается, когда последовательные оценки вектора коэффициентов отличаются по L ² нормы относительной суммой меньше, чем RelTol.

Пример: 'RelTol',5e–3

Типы данных: single | double

`'Rho'` — Увеличенный лагранжевый параметр
положительная скалярная величина

Увеличенный лагранжевый параметр ρ для Алгоритма ADMM в виде разделенной запятой пары, состоящей из 'Rho' и положительная скалярная величина. Значением по умолчанию является автоматический выбор.

Примечание

Пример: 'Rho',2

Типы данных: single | double

`'Standardize'` — Отметьте для стандартизации данных о предикторе прежде, чем подбирать модели
`true` (значение по умолчанию) | `false`

Отметьте для стандартизации данных о предикторе X прежде, чем подбирать модели в виде разделенной запятой пары, состоящей из 'Standardize' и любой true или false. Если Standardize true, затем X данные масштабируются, чтобы иметь нулевое среднее значение и отклонение одного. Standardize влияет, применяется ли регуляризация к коэффициентам по стандартизированной шкале или исходной шкале. Результаты всегда представляются по исходной шкале данных.

Если Intercept false, затем программное обеспечение устанавливает Standardize к false, независимо от Standardize значение вы задаете.

X и y всегда сосредотачиваются когда Intercept true.

Пример: 'Standardize',false

Типы данных: логический

`'U0'` — Начальное значение масштабированной двойной переменной
нулевой вектор (значение по умолчанию) | числовой вектор

Начальное значение масштабированной двойной переменной u в Алгоритме ADMM в виде разделенной запятой пары, состоящей из 'U0' и числовой вектор.

Примечание

Типы данных: single | double

`'Weights'` — Веса наблюдения
`1/n*ones(n,1)` (значение по умолчанию) | неотрицательный вектор

Веса наблюдения в виде разделенной запятой пары, состоящей из 'Weights' и неотрицательный вектор. Weights имеет длину n, где n является количеством строк X. lasso функционируйте масштабирует Weights суммировать к 1.

Типы данных: single | double

Выходные аргументы

свернуть все

`B` — Подходящие коэффициенты
числовая матрица

Подходящие коэффициенты, возвращенные как числовая матрица. B p-by-L матрица, где p является количеством предикторов (столбцы) в X, и L является количеством Lambda значения. Можно задать количество Lambda значения с помощью NumLambda аргумент пары "имя-значение".

Коэффициент, соответствующий термину точки пересечения, является полем в FitInfo.

Типы данных: single | double

`FitInfo` — Подходящая информация моделей
структура

Подходящая информация линейных моделей, возвращенных как структура с полями, описанными в этой таблице.

Поле в `FitInfo`	Описание
`Intercept`	Термин точки пересечения β ₀ для каждой линейной модели, `1`- L вектор
`Lambda`	Параметры lambda в порядке возрастания, `1`- L вектор
`Alpha`	Значение `Alpha` параметр, скаляр
`DF`	Количество ненулевых коэффициентов в `B` для каждого значения `Lambda`, `1`- L вектор
`MSE`	Среднеквадратическая ошибка (MSE), `1`- L вектор
`PredictorNames`	Значение `PredictorNames` параметр, сохраненный как массив ячеек из символьных векторов

Если вы устанавливаете CV аргумент пары "имя-значение", чтобы перекрестный подтвердить, FitInfo структура содержит эти дополнительные поля.

Поле в `FitInfo`	Описание
`SE`	Стандартная погрешность MSE для каждого `Lambda`, как вычислено во время перекрестной проверки, `1`- L вектор
`LambdaMinMSE`	`Lambda` значение с минимальным MSE, скаляром
`Lambda1SE`	Самый большой `Lambda` оцените таким образом, что MSE в одной стандартной погрешности минимального MSE, скаляра
`IndexMinMSE`	Индекс `Lambda` со значением `LambdaMinMSE`, скаляр
`Index1SE`	Индекс `Lambda` со значением `Lambda1SE`, скаляр

Больше о

свернуть все

Лассо

Для данного значения λ, неотрицательного параметра, lasso решает задачу

$\min_{β_{0}, β} (\frac{1}{2 N} \sum_{i = 1}^{N} {(y_{i} - β_{0} - x_{i}^{T} β)}^{2} + λ \sum_{j = 1}^{p} | β_{j} |) .$

N является количеством наблюдений.
_yi является ответом при наблюдении i.
_xi является данными, вектором из длины p при наблюдении i.
λ является неотрицательным параметром регуляризации, соответствующим одному значению Lambda.
Параметры β ₀ и β являются скаляром и вектором из длины p, соответственно.

Когда λ увеличивается, количество ненулевых компонентов уменьшений β.

Проблема лассо включает L ¹ норма β, как контрастируется с эластичным сетевым алгоритмом.

Эластичная сеть

Для α строго между 0 и 1, и неотрицательный λ, эластичная сеть решает задачу

$\min_{β_{0}, β} (\frac{1}{2 N} \sum_{i = 1}^{N} {(y_{i} - β_{0} - x_{i}^{T} β)}^{2} + λ P_{α} (β)),$

где

$P_{α} (β) = \frac{(1 - α)}{2} {‖ β ‖}_{2}^{2} + α {‖ β ‖}_{1} = \sum_{j = 1}^{p} (\frac{(1 - α)}{2} β_{j}^{2} + α | β_{j} |) .$

Эластичная сеть совпадает с лассо когда α = 1. Для других значений α термин штрафа _Pα (β) интерполирует между L ¹ норму β и L в квадрате ² нормы β. Когда α уменьшается к 0, эластичные сетевые подходы ridge регрессия.

Алгоритмы

свернуть все

Алгоритм ADMM

При работе с длинными массивами, lasso использует алгоритм на основе Переменного Метода Направления Множителей (ADMM) [5]. Обозначение, используемое здесь, эквивалентно в ссылочной газете. Этот метод решает задачи формы

Минимизировать $l (x) + g (z)$

При ограничениях $A x + B z = c$

Используя это обозначение, проблема регрессии лассо

Минимизировать $l (x) + g (z) = \frac{1}{2} {‖ A x - b ‖}_{2}^{2} + λ {‖ z ‖}_{1}$

При ограничениях $x - z = 0$

Поскольку функция потерь $l (x) = \frac{1}{2} {‖ A x - b ‖}_{2}^{2}$ квадратично, итеративные обновления, выполняемые алгоритмом, составляют решение линейной системы уравнений с одной матрицей коэффициентов, но несколькими правыми сторонами. Обновления, выполняемые алгоритмом во время каждой итерации,

$\begin{array}{l} x^{k + 1} = {(A^{T} A + ρ I)}^{- 1} (A^{T} b + ρ (z^{k} - u^{k})) \\ z^{k + 1} = S_{λ / ρ} (x^{k + 1} + u^{k}) \\ u^{k + 1} = u^{k} + x^{k + 1} - z^{k + 1} \end{array}$

A является набором данных (длинный массив), x содержит коэффициенты, ρ является параметром штрафа (увеличенный лагранжевый параметр), b является ответом (длинный массив), и S является мягким оператором пороговой обработки.

$S_{κ} (a) = {\begin{matrix} \begin{matrix} a - κ, & a > κ \end{matrix} \\ \begin{matrix} 0, & | a | \leq κ \end{matrix} \\ \begin{matrix} a + κ, & a < κ \end{matrix} \end{matrix} .$

lasso решает линейную систему с помощью факторизации Холесского потому что матрица коэффициентов $A^{T} A + ρ I$ симметрично и положительный определенный. Поскольку $ρ$ не изменяется между итерациями, факторизация Холесского кэшируется между итерациями.

Даже при том, что A и b являются длинными массивами, они появляются только в терминах $A^{T} A$ и $A^{T} b$ . Результаты этих двух умножений матриц малы достаточно, чтобы уместиться в памяти, таким образом, они предварительно вычисляются, и итеративные обновления между итерациями выполняются полностью в памяти.

Ссылки

[1] Tibshirani, R. “Уменьшение регрессии и Выбор через Лассо”. Журнал Королевского Статистического Общества. Серии B, Издание 58, № 1, 1996, стр 267–288.

[2] Цзоу, H. и Т. Хэсти. “Регуляризация и Выбор переменной через Эластичную Сеть”. Журнал Королевского Статистического Общества. Серии B, Издание 67, № 2, 2005, стр 301–320.

[3] Фридман, J., Р. Тибширэни и Т. Хэсти. “Пути к регуляризации для Обобщенных линейных Моделей через Координатный Спуск”. Журнал Статистического программного обеспечения. Издание 33, № 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения. 2-й выпуск. Нью-Йорк: Спрингер, 2008.

[5] Бойд, S. “Распределенная Оптимизация и Статистическое Изучение с помощью Переменного Метода Направления Множителей”. Основы и Тренды в Машинном обучении. Издание 3, № 1, 2010, стр 1–122.

Расширенные возможности

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Эта функция поддерживает длинные массивы для данных, которые не помещаются в память, с некоторыми ограничениями.

Для получения дополнительной информации см. Раздел "Высокие массивы".

Автоматическая параллельная поддержка
Ускорьте код автоматически рабочим расчетом в параллели с помощью Parallel Computing Toolbox™.

Чтобы запуститься параллельно, задайте 'Options' аргумент значения имени в вызове этой функции и набора 'UseParallel' поле структуры опций к true использование statset.

Например: 'Options',statset('UseParallel',true)

Для получения дополнительной информации о параллельных вычислениях, смотрите функции MATLAB Запуска с Автоматической Параллельной Поддержкой (Parallel Computing Toolbox).

Темы

Представленный в R2011b

Документация

lasso

Синтаксис

Описание

Примеры

Удалите избыточные предикторы Используя регуляризацию лассо

Создайте линейную модель без термина точки пересечения Используя регуляризацию лассо

Удалите избыточные предикторы при помощи перекрестных подтвержденных подгонок

Ловите арканом график с перекрестными подтвержденными подгонками

Предскажите значения Используя эластичную сетевую регуляризацию

Входные параметры

X — Данные о предикторе числовая матрица

y — Данные об ответе числовой вектор

Аргументы в виде пар имя-значение

'AbsTol' — Допуск абсолютной погрешности 1e–4 (значение по умолчанию) | положительная скалярная величина

'Alpha' — Вес лассо по сравнению с гребенчатой оптимизацией1 (значение по умолчанию) | положительная скалярная величина

'B0' — Начальные значения для x - коэффициенты в Алгоритме ADMM нулевой вектор (значение по умолчанию) | числовой вектор

'DFmax' — Максимальное количество ненулевых коэффициентов Inf (значение по умолчанию) | положительный целочисленный скаляр

'Intercept' — Отметьте для того, чтобы подбирать модель с термином точки пересечения true (значение по умолчанию) | false

'Lambda' — Коэффициенты регуляризации неотрицательный вектор

'LambdaRatio' — Отношение самых маленьких к самому большому Lambda значения 1e–4 (значение по умолчанию) | положительная скалярная величина

'MaxIter' — Максимальное количество итераций позволено положительный целочисленный скаляр

'MCReps' — Количество повторений Монте-Карло для перекрестной проверки1 (значение по умолчанию) | положительный целочисленный скаляр

'NumLambda' — Количество Lambda значения100 (значение по умолчанию) | положительный целочисленный скаляр

'Options' — Опция, чтобы перекрестный подтвердить параллельно и задать случайные потоки структура

'PredictorNames' — Имена переменных предикторов {} (значение по умолчанию) | массив строк | массив ячеек из символьных векторов

'RelTol' — Порог сходимости для координатного алгоритма спуска 1e–4 (значение по умолчанию) | положительная скалярная величина

'Rho' — Увеличенный лагранжевый параметр положительная скалярная величина

'Standardize' — Отметьте для стандартизации данных о предикторе прежде, чем подбирать модели true (значение по умолчанию) | false

'U0' — Начальное значение масштабированной двойной переменной нулевой вектор (значение по умолчанию) | числовой вектор

'Weights' — Веса наблюдения 1/n*ones(n,1) (значение по умолчанию) | неотрицательный вектор

Выходные аргументы

B — Подходящие коэффициенты числовая матрица

FitInfo — Подходящая информация моделей структура

Больше о

Лассо

Эластичная сеть

Алгоритмы

Алгоритм ADMM

Ссылки

Расширенные возможности

"Высокие" массивы Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Автоматическая параллельная поддержка Ускорьте код автоматически рабочим расчетом в параллели с помощью Parallel Computing Toolbox™.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

`X` — Данные о предикторе
числовая матрица

`y` — Данные об ответе
числовой вектор

`'AbsTol'` — Допуск абсолютной погрешности
`1e–4` (значение по умолчанию) | положительная скалярная величина

`'Alpha'` — Вес лассо по сравнению с гребенчатой оптимизацией
1 (значение по умолчанию) | положительная скалярная величина

`'B0'` — Начальные значения для x - коэффициенты в Алгоритме ADMM
нулевой вектор (значение по умолчанию) | числовой вектор

`'DFmax'` — Максимальное количество ненулевых коэффициентов
`Inf` (значение по умолчанию) | положительный целочисленный скаляр

`'Intercept'` — Отметьте для того, чтобы подбирать модель с термином точки пересечения
`true` (значение по умолчанию) | `false`

`'Lambda'` — Коэффициенты регуляризации
неотрицательный вектор

`'LambdaRatio'` — Отношение самых маленьких к самому большому `Lambda` значения
`1e–4` (значение по умолчанию) | положительная скалярная величина

`'MaxIter'` — Максимальное количество итераций позволено
положительный целочисленный скаляр

`'MCReps'` — Количество повторений Монте-Карло для перекрестной проверки
1 (значение по умолчанию) | положительный целочисленный скаляр

`'NumLambda'` — Количество `Lambda` значения
100 (значение по умолчанию) | положительный целочисленный скаляр

`'Options'` — Опция, чтобы перекрестный подтвердить параллельно и задать случайные потоки
структура

`'PredictorNames'` — Имена переменных предикторов
`{}` (значение по умолчанию) | массив строк | массив ячеек из символьных векторов

`'RelTol'` — Порог сходимости для координатного алгоритма спуска
`1e–4` (значение по умолчанию) | положительная скалярная величина

`'Rho'` — Увеличенный лагранжевый параметр
положительная скалярная величина

`'Standardize'` — Отметьте для стандартизации данных о предикторе прежде, чем подбирать модели
`true` (значение по умолчанию) | `false`

`'U0'` — Начальное значение масштабированной двойной переменной
нулевой вектор (значение по умолчанию) | числовой вектор

`'Weights'` — Веса наблюдения
`1/n*ones(n,1)` (значение по умолчанию) | неотрицательный вектор

`B` — Подходящие коэффициенты
числовая матрица

`FitInfo` — Подходящая информация моделей
структура

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Автоматическая параллельная поддержка
Ускорьте код автоматически рабочим расчетом в параллели с помощью Parallel Computing Toolbox™.