Преобразуйте модель машины опорных векторов двоичной классификации (SVM) в инкрементальную обучающуюся
возвращает двоичную классификационную линейную модель для инкрементного обучения, IncrementalMdl
= incrementalLearner(Mdl
)IncrementalMdl
, используя гиперпараметры и коэффициенты традиционно обученной линейной модели SVM для двоичной классификации, Mdl
. Потому что значения его свойств отражают знания, полученные от Mdl
, IncrementalMdl
может предсказывать метки, заданные новые наблюдения, и это warm, что означает, что его прогнозирующая эффективность отслеживается.
использует дополнительные опции, заданные одним или несколькими аргументами пары "имя-значение". Некоторые опции требуют от вас обучения IncrementalMdl
= incrementalLearner(Mdl
,Name,Value
)IncrementalMdl
перед отслеживанием его прогнозирующей эффективности. Для примера, 'MetricsWarmupPeriod',50,'MetricsWindowSize',100
задает предварительный инкрементный период обучения 50 наблюдений перед отслеживанием показателей эффективности и определяет обработку 100 наблюдений перед обновлением показателей эффективности.
Обучите модель SVM при помощи fitcsvm
, а затем преобразуйте его в пошагового ученика.
Загрузка и предварительная обработка данных
Загрузите набор данных о деятельности человека.
load humanactivity
Для получения дополнительной информации о наборе данных введите Description
в командной строке.
Отклики могут быть одним из пяти классов: Sitting
, Standing
, Walking
, Running
, или Dancing
. Дихотомизируйте ответ путем определения, движется ли субъект (actid
> 2).
Y = actid > 2;
Обучите модель SVM
Подбор модели SVM ко всему набору данных. Отбросьте поддерживающие векторы (Alpha
) из модели так, чтобы программное обеспечение использовало линейные коэффициенты (Beta
) для предсказания.
TTMdl = fitcsvm(feat,Y); TTMdl = discardSupportVectors(TTMdl)
TTMdl = ClassificationSVM ResponseName: 'Y' CategoricalPredictors: [] ClassNames: [0 1] ScoreTransform: 'none' NumObservations: 24075 Beta: [60x1 double] Bias: -6.4243 KernelParameters: [1x1 struct] BoxConstraints: [24075x1 double] ConvergenceInfo: [1x1 struct] IsSupportVector: [24075x1 logical] Solver: 'SMO' Properties, Methods
TTMdl
является ClassificationSVM
объект модели, представляющий традиционно обученную модель SVM.
Преобразуйте обученную модель
Преобразуйте традиционно обученную модель SVM в двоичную классификационную линейную модель для инкрементного обучения.
IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl = incrementalClassificationLinear IsWarm: 1 Metrics: [1x2 table] ClassNames: [0 1] ScoreTransform: 'none' Beta: [60x1 double] Bias: -6.4243 Learner: 'svm' Properties, Methods
IncrementalMdl
является incrementalClassificationLinear
объект модели, подготовленный для инкрементного обучения с использованием SVM.
The incrementalLearner
Функция Инициализирует пошагового ученика путем передачи ему выученных коэффициентов вместе с другой информацией TTMdl
извлечен из обучающих данных.
IncrementalMdl
тепло (IsWarm
является 1
), что означает, что инкрементальные функции обучения могут начать отслеживать метрики эффективности.
The incrementalLearner
функция задает, чтобы обучить модель с помощью адаптивного решателя с инвариантным масштабом, тогда как fitcsvm
обученные TTMdl
использование SMO
решатель.
Предсказание ответов
Инкрементный ученик, созданный из преобразования традиционно обученной модели, может генерировать предсказания без дальнейшей обработки.
Спрогнозируйте классификационные оценки для всех наблюдений, используя обе модели.
[~,ttscores] = predict(TTMdl,feat); [~,ilcores] = predict(IncrementalMdl,feat); compareScores = norm(ttscores(:,1) - ilcores(:,1))
compareScores = 0
Различие между счетами, сгенерированными моделями, равняется 0.
Решателем по умолчанию является адаптивный решатель с инвариантным масштабом. Если вы задаете этот решатель, вам не нужно настраивать какие-либо параметры для обучения. Однако, если вы задаете либо стандартный решатель SGD, либо ASGD, можно также задать период оценки, в течение которого инкрементальные функции аппроксимации настраивают скорость обучения.
Загрузите набор данных о деятельности человека.
load humanactivity
Для получения дополнительной информации о наборе данных введите Description
в командной строке.
Отклики могут быть одним из пяти классов: Sitting
, Standing
, Walking
, Running
, и Dancing
. Дихотомизируйте ответ путем определения, движется ли субъект (actid
> 2).
Y = actid > 2;
Случайным образом разделите данные пополам: первая половина предназначена для настройки модели традиционно, а вторая половина - для инкрементного обучения.
n = numel(Y); rng(1) % For reproducibility cvp = cvpartition(n,'Holdout',0.5); idxtt = training(cvp); idxil = test(cvp); % First half of data Xtt = feat(idxtt,:); Ytt = Y(idxtt); % Second half of data Xil = feat(idxil,:); Yil = Y(idxil);
Подбор модели SVM к первой половине данных. Стандартизируйте данные предиктора путем установки 'Standardize',true
.
TTMdl = fitcsvm(Xtt,Ytt,'Standardize',true);
The Mu
и Sigma
свойства TTMdl
содержат средство выборки данных предиктора и стандартные отклонения, соответственно.
Предположим, что распределение предикторов не изменится в будущем. Преобразуйте традиционно обученную модель SVM в двоичную классификационную линейную модель для инкрементного обучения. Задайте стандартный решатель SGD и период оценки 2000
наблюдения (по умолчанию это 1000
когда требуется скорость обучения).
IncrementalMdl = incrementalLearner(TTMdl,'Solver','sgd','EstimationPeriod',2000);
IncrementalMdl
является incrementalClassificationLinear
объект модели. Потому что данные предиктора TTMdl
стандартизирован (TTMdl.Mu
и TTMdl.Sigma
непусты), incrementalLearner
подготавливает инкрементальные функции обучения для стандартизации предоставленных данных предиктора с помощью ранее выученных моментов (сохраненных в IncrementalMdl.Mu
и IncrementalMdl.Sigma
).
Подгонка инкрементальной модели ко второй половине данных с помощью fit
функция. При каждой итерации:
Симулируйте поток данных путем обработки 10 наблюдений за раз.
Перезаписать предыдущую инкрементальную модель на новую, подобранную входящему наблюдению.
Сохраните скорость обучения и чтобы увидеть, как коэффициенты и скорость обучения развиваются во время обучения.
% Preallocation nil = numel(Yil); numObsPerChunk = 10; nchunk = floor(nil/numObsPerChunk); learnrate = [IncrementalMdl.LearnRate; zeros(nchunk,1)]; beta1 = [IncrementalMdl.Beta(1); zeros(nchunk,1)]; % Incremental fitting for j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1); iend = min(nil,numObsPerChunk*j); idx = ibegin:iend; IncrementalMdl = fit(IncrementalMdl,Xil(idx,:),Yil(idx)); beta1(j + 1) = IncrementalMdl.Beta(1); learnrate(j + 1) = IncrementalMdl.LearnRate; end
IncrementalMdl
является incrementalClassificationLinear
объект модели обучен на всех данных в потоке.
Чтобы увидеть, как скорость обучения и развивался во время обучения, строил их на отдельных подграфиках.
subplot(2,1,1) plot(beta1) ylabel('\beta_1') xline(IncrementalMdl.EstimationPeriod/numObsPerChunk,'r-.'); subplot(2,1,2) plot(learnrate) ylabel('Learning Rate') xline(IncrementalMdl.EstimationPeriod/numObsPerChunk,'r-.'); xlabel('Iteration')
После периода оценки скорости обучения переходит к своему автоматическому значению.
Потому что fit
не подгоняет модель к потоковым данным в течение периода оценки, является постоянным для первых 200 итераций (2000 наблюдений). Затем, изменения во время инкрементного подборы кривой.
Используйте обученную модель SVM, чтобы инициализировать пошагового ученика. Подготовьте добавочного ученика путем определения периода разогрева метрики, в течение которого updateMetricsAndFit
функция подходит только для модели. Задайте размер окна метрики 500 наблюдений.
Загрузите набор данных о деятельности человека.
load humanactivity
Для получения дополнительной информации о наборе данных введите Description
в командной строке
Отклики могут быть одним из пяти классов: Sitting
, Standing
, Walking
, Running
, и Dancing
. Дихотомизируйте ответ путем определения, движется ли субъект (actid
> 2).
Y = actid > 2;
Поскольку набор данных сгруппирован по действиям, перетасуйте его, чтобы уменьшить смещение. Затем случайным образом разделите данные пополам: первую половину для настройки модели традиционно, и вторую половину для инкрементного обучения.
n = numel(Y); rng(1) % For reproducibility cvp = cvpartition(n,'Holdout',0.5); idxtt = training(cvp); idxil = test(cvp); shuffidx = randperm(n); X = feat(shuffidx,:); Y = Y(shuffidx); % First half of data Xtt = X(idxtt,:); Ytt = Y(idxtt); % Second half of data Xil = X(idxil,:); Yil = Y(idxil);
Подбор модели SVM к первой половине данных.
TTMdl = fitcsvm(Xtt,Ytt);
Преобразуйте традиционно обученную модель SVM в двоичную классификационную линейную модель для инкрементного обучения. Задайте следующее:
Период прогрева показателей эффективности 2000 наблюдений
Размер окна метрики 500 наблюдений
Использование классификационной ошибки и потерь шарнира для измерения эффективности модели
IncrementalMdl = incrementalLearner(TTMdl,'MetricsWarmupPeriod',2000,'MetricsWindowSize',500,... 'Metrics',["classiferror" "hinge"]);
Подгонка инкрементальной модели ко второй половине данных с помощью updateMetricsAndfit
функция. При каждой итерации:
Симулируйте поток данных путем обработки 20 наблюдений за раз.
Перезаписать предыдущую инкрементальную модель на новую, подобранную входящему наблюдению.
Магазин , совокупные метрики и метрики окна, чтобы увидеть, как они развиваются во время инкрементного обучения.
% Preallocation nil = numel(Yil); numObsPerChunk = 20; nchunk = ceil(nil/numObsPerChunk); ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); hinge = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); beta1 = zeros(nchunk,1); % Incremental fitting for j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1); iend = min(nil,numObsPerChunk*j); idx = ibegin:iend; IncrementalMdl = updateMetricsAndFit(IncrementalMdl,Xil(idx,:),Yil(idx)); ce{j,:} = IncrementalMdl.Metrics{"ClassificationError",:}; hinge{j,:} = IncrementalMdl.Metrics{"HingeLoss",:}; beta1(j + 1) = IncrementalMdl.Beta(1); end
IncrementalMdl
является incrementalClassificationLinear
объект модели обучен на всех данных в потоке. Во время инкрементного обучения и после прогрева модели updateMetricsAndFit
проверяет эффективность модели при входящем наблюдении, а затем подбирает модель к этому наблюдению.
Чтобы увидеть, как метрики эффективности и развивался во время обучения, строил их на отдельных подграфиках.
figure; subplot(3,1,1) plot(beta1) ylabel('\beta_1') xlim([0 nchunk]); xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); subplot(3,1,2) h = plot(ce.Variables); xlim([0 nchunk]); ylabel('Classification Error') xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,ce.Properties.VariableNames,'Location','northwest') subplot(3,1,3) h = plot(hinge.Variables); xlim([0 nchunk]); ylabel('Hinge Loss') xline(IncrementalMdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,hinge.Properties.VariableNames,'Location','northwest') xlabel('Iteration')
График предполагает, что updateMetricsAndFit
делает следующее:
Подгонка во время всех итераций инкрементного обучения.
Вычислите показатели эффективности только после периода прогрева метрики.
Вычислите совокупные метрики во время каждой итерации.
Вычислите метрики окна после обработки 500 наблюдений (25 итераций).
Mdl
- Традиционно обученная линейная модель SVM для двоичной классификацииClassificationSVM
объект модели | CompactClassificationSVM
объект моделиТрадиционно обученная линейная модель SVM для двоичной классификации, заданная как объект модели, возвращаемый ее функцией обучения или обработки.
Объект модели | Функция обучения или обработки |
---|---|
ClassificationSVM | fitcsvm |
CompactClassificationSVM | fitcsvm или compact |
Примечание
Инкрементные функции обучения поддерживают только числовые входные данные предиктора. Если Mdl
был подходит к категориальным данным, использование dummyvar
чтобы преобразовать каждую категориальную переменную в числовую матрицу фиктивных переменных и объединить все фиктивные переменные матрицы и любые другие числовые предикторы. Для получения дополнительной информации см. Dummy Переменных.
Задайте необязательные разделенные разделенными запятой парами Name,Value
аргументы. Name
- имя аргумента и Value
- соответствующее значение. Name
должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN
.
'Solver','scale-invariant','MetricsWindowSize',100
задает адаптивный масштабно-инвариантный решатель для объективной оптимизации и задает обработку 100 наблюдений перед обновлением показателей эффективности.'Solver'
- Метод минимизации целевой функции'scale-invariant'
(по умолчанию) | 'sgd'
| 'asgd'
Метод минимизации целевой функции, заданный как разделенная разделенными запятой парами, состоящая из 'Solver'
и значение в этой таблице.
Значение | Описание | Примечания |
---|---|---|
'scale-invariant' | Адаптивный масштабно-инвариантный решатель для инкрементного обучения [1] |
|
'sgd' | Стохастический градиентный спуск (SGD) [3][2] |
|
'asgd' | Средний стохастический градиентный спуск (ASGD) [4] |
|
Пример: 'Solver','sgd'
Типы данных: char
| string
'EstimationPeriod'
- Количество наблюдений, обработанных для оценки гиперпараметровКоличество наблюдений, обработанных инкрементальной моделью для оценки гиперпараметров перед обучением или отслеживанием показателей эффективности, заданное как разделенная разделенными запятой парами, состоящая из 'EstimationPeriod'
и неотрицательное целое число.
Примечание
Если Mdl
подготовлен к пошаговому обучению (указаны все гиперпараметры, необходимые для обучения), incrementalLearner
силы 'EstimationPeriod'
на 0
.
Если Mdl
не подготовлен к инкрементному обучению, incrementalLearner
устанавливает 'EstimationPeriod'
на 1000
.
Для получения дополнительной информации смотрите Период оценки.
Пример: 'EstimationPeriod',100
Типы данных: single
| double
'Standardize'
- Флаг для стандартизации данных предиктора'auto'
(по умолчанию) | false
| true
Флаг для стандартизации данных предиктора, заданный как разделенная разделенными запятой парами, состоящая из 'Standardize'
и значение в этой таблице.
Значение | Описание |
---|---|
'auto' | incrementalLearner определяет, нужно ли стандартизировать переменные предиктора. См. Раздел «Стандартизация данных» |
true | Программное обеспечение стандартизирует данные предиктора. |
false | Программное обеспечение не стандартизирует данные предиктора. |
При некоторых условиях, incrementalLearner
может переопределить спецификацию. Для получения дополнительной информации см. раздел Стандартизация данных.
Пример: 'Standardize',true
Типы данных: logical
| char
| string
'BatchSize'
- Размер мини-партии10
(по умолчанию) | положительное целое числоМини-пакет, заданный как разделенная разделенными запятой парами, состоящая из 'BatchSize'
и положительное целое число. При каждой итерации во время обучения, incrementalLearner
использует min(BatchSize,numObs)
наблюдения для вычисления подградиента, где numObs
количество наблюдений в обучающих данных, переданных fit
или updateMetricsAndFit
.
Пример: 'BatchSize',1
Типы данных: single
| double
'Lambda'
- Хребет (L2) Регуляризационный термин прочности1e-5
(по умолчанию) | неотрицательной скаляромХребет (L2) коэффициент регуляризации, заданный как разделенная разделенными запятой парами, состоящая из 'Lambda'
и неотрицательный скаляр.
Пример: 'Lambda',0.01
Типы данных: single
| double
'LearnRate'
- Скорость обучения'auto'
(по умолчанию) | положительная скалярная величинаСкорость обучения, заданный как разделенная разделенными запятой парами, состоящая из 'LearnRate'
и 'auto'
или положительная скалярная величина. LearnRate
управляет размером шага оптимизации путем масштабирования целевого подграфика.
Для 'auto'
:
Если EstimationPeriod
является 0
, начальная скорость обучения 0.7
.
Если EstimationPeriod
> 0
, начальная скорость обучения 1/sqrt(1+max(sum(X.^2,obsDim)))
, где obsDim
является 1
если наблюдения составляют столбцы данных предиктора, и 2
в противном случае. fit
и updateMetricsAndFit
установите значение, когда вы передаете данные модели и обучающие данные любой функции.
Область аргумента пары "имя-значение" 'LearnRateSchedule'
определяет скорость обучения для последующих циклов обучения.
Пример: 'LearnRate',0.001
Типы данных: single
| double
| char
| string
'LearnRateSchedule'
- График скорости обучения'decaying'
(по умолчанию) | 'constant'
Расписание скорости обучения, заданное как разделенная разделенными запятой парами, состоящая из 'LearnRateSchedule'
и значение в этой таблице, где LearnRate
задает начальную скорость обучения ɣ 0 .
Значение | Описание |
---|---|
'constant' | Эта скорость обучения является ɣ 0 для всех циклов обучения. |
'decaying' | Это скорость обучения на t цикла обучения
|
Пример: 'LearnRateSchedule','constant'
Типы данных: char
| string
'Shuffle'
- Флаг для тасования наблюдений в пакетеtrue
(по умолчанию) | false
Флаг для тасования наблюдений в пакете при каждой итерации, заданный как разделенная разделенными запятой парами, состоящая из 'Shuffle'
и значение в этой таблице.
Значение | Описание |
---|---|
true | Программа тасует наблюдения в каждом входящем пакете данных перед обработкой набора. Это действие уменьшает смещение, вызванное схемой дискретизации. |
false | Программное обеспечение обрабатывает данные в полученном порядке. |
Пример: 'Shuffle',false
Типы данных: logical
'Metrics'
- Моделируйте метрики производительности для отслеживания во время инкрементного обучения"classiferror"
(дефолт) | натягивает вектор | указатель на функцию | вектор камеры | массив структур | "binodeviance"
| "exponential"
| "hinge"
| "logit"
| "quadratic"
| ...Моделируйте метрики производительности для отслеживания во время инкрементного обучения с updateMetrics
или updateMetricsAndFit
функция, заданная как встроенное имя функции потерь, строковый вектор имен, указатель на функцию (@metricName
), массив структур указателей на функцию или вектор камер с именами, указатели на функцию или массивы структур.
В следующей таблице перечислены встроенные имена функции потерь. Можно задать больше одного при помощи строкового вектора.
Имя | Описание |
---|---|
"binodeviance" | Биномиальное отклонение |
"classiferror" | Ошибка классификации |
"exponential" | Экспоненциал |
"hinge" | Стержень |
"logit" | Логистический |
"quadratic" | Квадратный |
Для получения дополнительной информации о встроенных функциях потерь смотрите loss
.
Пример: 'Metrics',["classiferror" "hinge"]
Чтобы задать пользовательскую функцию, которая возвращает метрику эффективности, используйте обозначение указателя на функцию. Функция должна иметь следующую форму:
metric = customMetric(C,S)
Выходной аргумент metric
является n-на-1 числовым вектором, где каждый элемент является потерей соответствующего наблюдения в данных путем обработки инкрементных функций обучения во время цикла обучения.
Вы задаете имя функции (customMetric
).
C
является n -by-2 логической матрицей с строками, указывающими класс, к которому принадлежит соответствующее наблюдение. Порядок столбцов соответствует порядку классов в Mdl.ClassNames
. Создание C
путем установки C
= (p
, q
)1
, если наблюдение
находится в p
, для каждого наблюдения в заданных данных. Установите другой элемент в строку q классов
на p
0
.
S
является n -by-2 числовой матрицей предсказанных классификационных оценок. S
аналогичен score
выхода predict
, где строки соответствуют наблюдениям в данных, а порядок столбцов соответствует порядку классов в Mdl.ClassNames
. S
- классификационная оценка наблюдения (p
, q
)
классифицируется в классах p
.q
Чтобы задать несколько пользовательских метрик и назначить пользовательское имя каждому, используйте массив структур. Чтобы задать комбинацию встроенных и пользовательских метрик, используйте вектор камеры.
Пример: 'Metrics',struct('Metric1',@customMetric1,'Metric2',@customMetric2)
Пример: 'Metrics',{@customMetric1 @customeMetric2 'logit' struct('Metric3',@customMetric3)}
updateMetrics
и updateMetricsAndFit
хранить указанные метрики в таблице в свойстве IncrementalMdl.Metrics
. Тип данных Metrics
определяет имена строк таблицы.
'Metrics' Тип данных значения | Описание Metrics Имя строки свойства | Пример |
---|---|---|
Строка или вектор символов | Имя соответствующей встроенной метрики | Имя строки для "classiferror" является "ClassificationError" |
Массив структур | Имя поля | Имя строки для struct('Metric1',@customMetric1) является "Metric1" |
Указатель на функцию для функции, сохраненной в программном файле | Имя функции | Имя строки для @customMetric является "customMetric" |
Анонимная функция | , где метрический в Metrics | Имя строки для @(C,S)customMetric(C,S)... является CustomMetric_1 |
Для получения дополнительной информации о опциях показателей эффективности см. Раздел «Показатели эффективности».
Типы данных: char
| string
| struct
| cell
| function_handle
'MetricsWarmupPeriod'
- Количество наблюдений перед отслеживанием показателей эффективности0
(по умолчанию) | неотрицательное целое число |...Количество наблюдений, к которым должна соответствовать инкрементальная модель, прежде чем она отслеживает метрики эффективности в своей Metrics
свойство, заданное как разделенная разделенными запятой парами, состоящая из 'MetricsWarmupPeriod'
и неотрицательное целое число. Инкрементальная модель тепла после инкрементного аппроксимации функций подгонки MetricsWarmupPeriod
наблюдения за инкрементальной моделью (EstimationPeriod
+ MetricsWarmupPeriod
наблюдения).
Для получения дополнительной информации о опциях показателей эффективности см. Раздел «Показатели эффективности».
Типы данных: single
| double
'MetricsWindowSize'
- Количество наблюдений, используемых для вычисления показателей эффективности окна200
(по умолчанию) | положительное целое число |...Количество наблюдений, используемых для вычисления показателей эффективности окна, заданное в виде положительного целого числа.
Для получения дополнительной информации о опциях показателей эффективности см. Раздел «Показатели эффективности».
Типы данных: single
| double
IncrementalMdl
- Двоичная классификационная линейная модель для инкрементного обученияincrementalClassificationLinear
объект моделиДвоичная классификационная линейная модель для инкрементного обучения, возвращенная как incrementalClassificationLinear
объект модели. IncrementalMdl
также сконфигурировано, чтобы сгенерировать предсказания, заданные новыми данными (см. predict
).
Как инициализировать IncrementalMdl
для инкрементного обучения, incrementalLearner
передает значения Mdl
свойства в этой таблице к конгруэнтным свойствам IncrementalMdl
.
Свойство | Описание |
---|---|
Beta | Линейные коэффициенты модели, числовой вектор |
Bias | Модель точки пересечения, числовой скаляр |
ClassNames | Метки классов для двоичной классификации, двухэлементный список |
Mu | Переменная предиктора означает, числовой вектор |
Prior | Предшествующее распределение меток классов, числовой вектор |
Sigma | Стандартные отклонения переменной предиктора, числовой вектор |
Incremental learning, или online learning, является ветвью машинного обучения, связанная с обработкой входящих данных из потока данных, возможно, практически не учитывая распределения переменных предиктора, аспектов предсказания или целевой функции (включая настройку значений параметров) или того, помечены ли наблюдения. Инкрементальное обучение отличается от традиционного машинного обучения, где доступно достаточно маркированных данных, чтобы соответствовать модели, выполнить перекрестную валидацию, чтобы настроить гиперпараметры и вывести распределение предиктора.
Учитывая входящие наблюдения, модель инкрементного обучения обрабатывает данные любым из следующих способов, но обычно в этом порядке:
Спрогнозируйте метки.
Измерьте прогнозирующую эффективность.
Проверьте наличие структурных пропусков или дрейфа в модели.
Подбор модели к входящим наблюдениям.
Этот adaptive scale-invariant solver for incremental learning, введенный в [1], является основанным на градиенте-спуске целевым решателем для настройки линейных прогнозирующих моделей. Решатель свободен от гиперпараметра, нечувствителен к различиям в шкалах переменных предиктора и не требует предварительного знания распределения переменных предиктора. Эти характеристики делают его хорошо подходящим для инкрементного обучения.
Стандартные решатели SGD и ASGD чувствительны к различным шкалам среди переменных, что приводит к моделям, которые могут работать плохо. Чтобы достичь лучшей точности с помощью SGD и ASGD, можно стандартизировать данные предиктора, и настройка параметров регуляризации и скорости обучения может потребовать настройки. Для традиционного машинного обучения доступно достаточно данных, чтобы включить настройку гиперпараметра путем перекрестной валидации и стандартизации предиктора. Однако для инкрементного обучения достаточно данных может быть недоступно (для примера наблюдения могут быть доступны только по одному за раз), и распределение предикторов может быть неизвестным. Эти характеристики делают настройку параметров и стандартизацию предиктора трудной или невозможной во время инкрементного обучения.
Инкрементальные функции аппроксимации для классификации fit
и updateMetricsAndFit
используйте более агрессивную ScInOL2 версию алгоритма.
В течение периода оценки, инкрементальные функции аппроксимации fit
и updateMetricsAndFit
использовать первый входящий EstimationPeriod
наблюдения для оценки (настройки) гиперпараметров, необходимых для инкрементного обучения. Эта таблица описывает гиперпараметры и когда они оцениваются или настраиваются.
Гиперпараметр | Свойство модели | Использовать | Оценка гиперпараметров |
---|---|---|---|
Предиктор означает и стандартные отклонения |
| Стандартизируйте данные предиктора | Когда оба эти условия применяются:
|
Скорость обучения | LearnRate | Настройте размер шага решателя | Когда оба из этих условий применяются:
|
Функции подходят только к последнему наблюдению периода оценки к инкрементной модели, и они не используют ни одно из наблюдений, чтобы отслеживать эффективность модели. В конце периода оценки функции обновляют свойства, которые хранят гиперпараметры.
Если функции инкрементного обучения сконфигурированы для стандартизации переменных предиктора, они делают это с помощью средств и стандартных отклонений, хранящихся в Mu
и Sigma
свойства модели инкрементного обучения IncrementalMdl
.
Если вы стандартизировали данные предиктора, когда вы обучали модель входа Mdl
при помощи fitcsvm
, применяются следующие условия:
incrementalLearner
передает средство в Mdl.Mu
и стандартные отклонения в Mdl.Sigma
к конгруэнтным свойствам инкрементальной модели обучения.
Инкрементные функции обучения всегда стандартизируют данные предиктора, независимо от значения 'Standardize'
аргумент пары "имя-значение".
Когда вы задаете 'Standardize',true
, и IncrementalMdl.Mu
и IncrementalMdl.Sigma
пусты, применяются следующие условия:
Если период оценки положительный (см. EstimationPeriod
свойство IncrementalMdl
), средство оценки инкрементных функций аппроксимации и стандартные отклонения с использованием наблюдений за периодом оценки.
Если период оценки равен 0, incrementalLearner
заставляет период оценки 1000
. Следовательно, инкрементальные функции аппроксимации оценивают новое средство переменной предиктора и стандартные отклонения в течение периода принудительной оценки.
Когда вы задаете 'Standardize','auto'
(по умолчанию) применяются следующие условия.
Если IncrementalMdl.Mu
и IncrementalMdl.Sigma
являются пустыми, инкрементальные функции обучения не стандартизируют переменные предиктора.
В противном случае функции инкрементного обучения стандартизируют переменные предиктора с помощью их средств и стандартных отклонений в IncrementalMdl.Mu
и IncrementalMdl.Sigma
, соответственно. Инкрементные функции аппроксимации не оценивают новые средства и стандартные отклонения независимо от длины периода оценки.
Когда инкрементальные функции аппроксимации оценивают средства предиктора и стандартные отклонения, функции вычисляют взвешенные средства и взвешенные стандартные отклонения, используя наблюдения периода оценки. В частности, функции стандартизируют j предиктора (xj), используя
где
xj является предиктором j, а xjk - k наблюдения предиктора j в периоде оценки.
где
p k является априорной вероятностью k класса (Prior
свойство инкрементальной модели).
wj - j веса наблюдения.
updateMetrics
и updateMetricsAndFit
функции являются инкрементальными функциями обучения, которые отслеживают метрики производительности модели ('Metrics'
) из новых данных, когда инкрементальная модель warm (IsWarm
свойство). Инкрементальная модель тепла после fit
или updateMetricsAndFit
подгонка инкрементной модели к 'MetricsWarmupPeriod'
наблюдения, что является metrics warm-up period.
Если 'EstimationPeriod'
> 0, функции оценивают гиперпараметры перед подгонкой модели к данным. Поэтому функции должны обрабатывать дополнительное EstimationPeriod
наблюдения перед началом модели периода прогрева метрики.
The Metrics
свойство инкрементальной модели хранит две формы каждой метрики эффективности как переменные (столбцы) таблицы, Cumulative
и Window
, с отдельными метриками в строках. Когда инкрементальная модель теплая, updateMetrics
и updateMetricsAndFit
обновлять метрики на следующих частотах:
Cumulative
- Функции вычисляют совокупные метрики с начала отслеживания производительности модели. Функции обновляют метрики каждый раз, когда вы вызываете функции и основываете вычисление на целом поставленном наборе данных.
Window
- Функции вычисляют метрики на основе всех наблюдений в окне, определяемом 'MetricsWindowSize'
аргумент пары "имя-значение". 'MetricsWindowSize'
также определяет частоту обновления программного обеспечения Window
метрики. Для примера, если MetricsWindowSize
равен 20, функции вычисляют метрики на основе последних 20 наблюдений в предоставленных данных (X((end – 20 + 1):end,:)
и Y((end – 20 + 1):end)
).
Инкрементальные функции, которые отслеживают метрики эффективности в окне, используют следующий процесс:
Для каждой заданной метрики сохраните буфер длины MetricsWindowSize
и буфер весов наблюдений.
Заполните элементы буфера метриков производительностью модели на основе пакетов входящих наблюдений и сохраните соответствующие веса наблюдений в буфере весов.
Когда буфер будет заполнен, перезаписайте IncrementalMdl.Metrics.Window
со средневзвешенной эффективностью в окне метрики. Если буфер переполнен, когда функция обрабатывает пакет наблюдений, последний входящий MetricsWindowSize
наблюдения заходят в буфер, и самые ранние наблюдения удаляются из буфера. Например, предположим MetricsWindowSize
20, буфер метрики имеет 10 значений из ранее обработанного пакета и 15 значений являются входящими. Чтобы составить окно длины 20, функции используют измерения из 15 входящих наблюдений и последние 5 измерений из предыдущей партии.
[1] Кемпка, Михал, Войцех Котловский и Манфред К. Вармут. Адаптивные онлайновые алгоритмы масштабирования-инвариантные для обучения линейным моделям. CoRR (февраль 2019). https://arxiv.org/abs/1902.07528.
[2] Лэнгфорд, Дж., Л. Ли, и Т. Чжан. «Разреженное онлайн-обучение через усеченный градиент». Дж. Мач. Учись. Рес., том 10, 2009, стр. 777-801.
[3] Шалев-Шварц, С., Я. Сингер, и Н. Сребру. Pegasos: Primal Estimated Sub-Gradient Solver for SVM (неопр.) (недоступная ссылка). Материалы 24-й Международной конференции по машинному обучению, ICML "07, 2007, стр. 807-814.
[4] Сюй, Вэй. «К оптимальной однопроходной большой Шкале обучению со средним стохастическим градиентным спуском». CoRR, abs/1107.2490, 2011.
У вас есть измененная версия этого примера. Вы хотите открыть этот пример с вашими правками?
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.