Exponenta Banner

incrementalClassificationLinear

Бинарная классификация линейная модель для пошагового обучения

расширьте все на странице

Описание

incrementalClassificationLinear создает incrementalClassificationLinear объект модели, который представляет бинарную классификацию линейная модель для пошагового обучения. Поддерживаемые ученики включают машину опорных векторов (SVM) и логистическую регрессию.

В отличие от других объектов модели Statistics and Machine Learning Toolbox™, incrementalClassificationLinear может быть назван непосредственно. Кроме того, можно задать изучение опций, таких как настройки показателей производительности, значения параметров и объективный решатель, прежде, чем подбирать модель к данным. После того, как вы создаете incrementalClassificationLinear объект, это подготовлено к пошаговому обучению.

incrementalClassificationLinear подходит лучше всего для пошагового обучения. Для традиционного подхода к обучению SVM или линейная модель для бинарной классификации (такой как создание модели путем подбора кривой ему к данным, выполнения перекрестной проверки, настройки гиперпараметров, и так далее), смотрите fitcsvm или fitclinear. Для пошагового обучения мультикласса с помощью наивного алгоритма Бейеса смотрите incrementalClassificationNaiveBayes.

Создание

Можно создать incrementalClassificationLinear объект модели несколькими способами:

  • Вызовите функцию непосредственно — Конфигурируют опции пошагового обучения или задают начальные значения для линейных параметров модели и гиперпараметров, путем вызова incrementalClassificationLinear непосредственно. Этот подход является лучшим, когда у вас еще нет данных, или вы хотите запустить пошаговое обучение сразу.

  • Преобразуйте традиционно обученную модель — Чтобы инициализировать бинарную классификацию линейная модель для пошагового обучения с помощью коэффициентов модели и гиперпараметров обученного SVM или бинарной классификации линейный объект модели, можно преобразовать традиционно обученную модель в incrementalClassificationLinear объект модели путем передачи его incrementalLearner функция. Эта таблица содержит ссылки на соответствующие страницы с описанием.

    Конвертируемый объект моделиФункция преобразования
    ClassificationSVM или CompactClassificationSVMincrementalLearner
    ClassificationLinearincrementalLearner

  • Вызовите функцию пошагового обучения — fit, updateMetrics, и updateMetricsAndFit примите сконфигурированный incrementalClassificationLinear объект модели и данные, как введено, и возвращают incrementalClassificationLinear объект модели, обновленный с информацией, усвоенной из входной модели и данных.

Синтаксис

Mdl = incrementalClassificationLinear()
Mdl = incrementalClassificationLinear(Name,Value)

Описание

пример

Mdl = incrementalClassificationLinear() возвращает бинарную классификацию по умолчанию линейный объект модели для пошагового обучения, Mdl. Свойства модели по умолчанию содержат заполнителей для неизвестных параметров модели. Необходимо обучить модель по умолчанию, прежде чем можно будет отследить ее эффективность или сгенерировать предсказания от нее.

пример

Mdl = incrementalClassificationLinear(Name,Value) свойства наборов и аргументы пары "имя-значение" использования дополнительных опций. Заключите каждое имя в кавычки. Например, incrementalClassificationLinear('Beta',[0.1 0.3],'Bias',1,'MetricsWarmupPeriod',100) устанавливает вектор из линейных коэффициентов модели β к [0.1 0.3], смещение β 0 к 1, и метрический период прогрева к 100.

Входные параметры

развернуть все

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'Standardize',true стандартизирует данные о предикторе с помощью средних значений предиктора и стандартных отклонений, оцененных в период оценки.

Метрики производительности модели, чтобы отследить во время пошагового обучения в виде встроенного имени функции потерь, представьте вектор в виде строки из имен, указатель на функцию (@metricName), массив структур указателей на функцию или вектор ячейки из имен, указателей на функцию или массивов структур.

Когда Mdl warm (см. IsWarm), updateMetrics и updateMetricsAndFit отследите показатели производительности в свойстве Metrics Mdl.

В следующей таблице перечислены встроенные имена функции потерь. Можно задать больше чем один при помощи вектора строки.

ИмяОписание
"binodeviance"Биномиальное отклонение
"classiferror"Ошибка классификации
"exponential"Экспоненциал
"hinge"Стержень
"logit"Логистический
"quadratic"Квадратичный

Для получения дополнительной информации о встроенных функциях потерь смотрите loss.

Пример: 'Metrics',["classiferror" "hinge"]

Чтобы задать пользовательскую функцию, которая возвращает показатель производительности, используйте обозначение указателя на функцию. Функция должна иметь эту форму:

metric = customMetric(C,S)

  • Выходной аргумент metric n-by-1 числовой вектор, где каждым элементом является потеря соответствующего наблюдения в данных, обработанных функциями пошагового обучения во время цикла изучения.

  • Вы выбираете имя функции (customMetric).

  • C n-by-2 логическая матрица со строками, указывающими на класс, которому принадлежит соответствующее наблюдение. Порядок следования столбцов соответствует порядку класса в ClassNames свойство. Создайте C установкой C (pQ)= 1 , если наблюдение p находится в классе q, для каждого наблюдения в заданных данных. Установите другой элемент в строке p к 0.

  • S n-by-2 числовая матрица предсказанных классификационных оценок. S похоже на Score выход predict, где строки соответствуют наблюдениям в данных, и порядок следования столбцов соответствует порядку класса в ClassNames свойство. S (pQ) классификационная оценка наблюдения p будучи классифицированным на класс q.

Чтобы задать несколько пользовательских метрик и присвоить пользовательское имя к каждому, используйте массив структур. Чтобы задать комбинацию встроенных и пользовательских метрик, используйте вектор ячейки.

Пример: 'Metrics',struct('Metric1',@customMetric1,'Metric2',@customMetric2)

Пример: 'Metrics',{@customMetric1 @customeMetric2 'logit' struct('Metric3',@customMetric3)}

updateMetrics и updateMetricsAndFit сохраните заданные метрики в таблице в Metrics свойство. Тип данных Metrics определяет имена строки таблицы.

'Metrics' Тип данных значенияОписание Metrics Имя строки свойстваПример
Строка или вектор символовИмя соответствующей встроенной метрикиИмя строки для "classiferror" "ClassificationError"
Массив структурИмя поляИмя строки для struct('Metric1',@customMetric1) "Metric1"
Указатель на функцию, чтобы функционировать сохраненный в программном файлеИмя функцииИмя строки для @customMetric "customMetric"
Анонимная функцияCustomMetric_j, где j метрический j в MetricsИмя строки для @(C,S)customMetric(C,S)... CustomMetric_1

Для получения дополнительной информации об опциях показателей производительности смотрите показатели производительности.

Типы данных: char | string | struct | cell | function_handle

Отметьте, чтобы стандартизировать данные о предикторе в виде разделенной запятой пары, состоящей из 'Standardize' и значение в этой таблице.

ЗначениеОписание
'auto'incrementalClassificationLinear определяет, должны ли переменные предикторы быть стандартизированы. Смотрите Стандартизируют Данные.
trueПрограммное обеспечение стандартизирует данные о предикторе. Для получения дополнительной информации смотрите, Стандартизируют Данные.
falseПрограммное обеспечение не стандартизирует данные о предикторе.

Пример: 'Standardize',true

Типы данных: логический | char | string

Свойства

развернуть все

Можно установить большинство свойств при помощи синтаксиса аргумента пары "имя-значение" только, когда вы вызываете incrementalClassificationLinear непосредственно. Можно установить некоторые свойства, когда вы вызываете incrementalLearner преобразовывать традиционно обученную модель. Вы не можете установить свойства FittedLoss, NumTrainingObservations\mu\sigmaОпции решателя, и IsWarm.

Параметры модели классификации

Это свойство доступно только для чтения.

Линейные коэффициенты модели β в виде NumPredictors- 1 числовой вектор.

Если вы преобразуете традиционно обученную модель, чтобы создать Mdl\beta задан значением Beta свойство традиционно обученной модели. В противном случае, по умолчанию, Beta zeros(NumPredictors,1).

Типы данных: single | double

Это свойство доступно только для чтения.

Точка пересечения модели β 0 или смещение называет в виде числового скаляра.

Если вы преобразуете традиционно обученную модель, чтобы создать Mdl, Bias задан значением Bias свойство традиционно обученной модели. В противном случае, по умолчанию, Bias 0.

Типы данных: single | double

Это свойство доступно только для чтения.

Уникальные метки класса использовали в обучении модель в виде категориального или символьного массива, логического или числового вектора или массива ячеек из символьных векторов. incrementalClassificationLinear хранит заданный вектор строки как массив ячеек из символьных векторов. ClassNames и данные об ответе должны иметь совпадающий тип данных.

  • Если вы преобразуете традиционно обученную модель, чтобы создать Mdl, ClassNames ClassNames свойство традиционно обученной модели.

  • В противном случае инкрементные подходящие функции выводят ClassNames во время обучения.

Типы данных: single | double | logical | char | cell | categorical

Это свойство доступно только для чтения.

Функция потерь раньше подбирала линейную модель в виде 'hinge' или 'logit'.

ЗначениеАлгоритмФункция потерьLearner Значение
'hinge'Машина опорных векторовСтержень: ℓ[y,f(x)]=max[0,1−yf(x)]'svm'
'logit'Логистическая регрессия(Логистическое) отклонение: ℓ[y,f(x)]=log{1+exp[−yf(x)]}'logistic'

Это свойство доступно только для чтения.

Линейный тип модели классификации в виде 'logistic' или 'svm'.

В следующей таблице, f(x)=xβ+b.

  • β является вектором из коэффициентов p.

  • x является наблюдением от переменных предикторов p.

  • b является скалярным смещением.

ЗначениеАлгоритмФункция потерьFittedLoss Значение
'logistic'Логистическая регрессия(Логистическое) отклонение: ℓ[y,f(x)]=log{1+exp[−yf(x)]}'logit'
'svm'Машина опорных векторовСтержень: ℓ[y,f(x)]=max[0,1−yf(x)]'hinge'

Если вы преобразуете традиционно обученную модель, чтобы создать Mdl, Learner ученик традиционно обученной модели.

  • Если традиционно обученной моделью является ClassificationSVM или CompactClassificationSVM, Learner 'svm'.

  • Если традиционно обученной моделью является ClassificationLinear, Learner значение Learner свойство традиционно обученной модели.

Это свойство доступно только для чтения.

Количество переменных предикторов в виде неотрицательного числового скаляра.

Если вы преобразуете традиционно обученную модель, чтобы создать Mdl, NumPredictors задан как конгруэнтное свойство традиционно обученной модели. В противном случае инкрементные подходящие функции выводят NumPredictors из данных о предикторе во время обучения.

Типы данных: double

Это свойство доступно только для чтения.

Количество наблюдений соответствует к инкрементной модели MdlВ виде неотрицательного числового скаляра. NumTrainingObservations увеличения, когда вы передаете Mdl и обучающие данные к fit или updateMetricsAndFit.

Примечание

Если вы преобразуете традиционно обученную модель, чтобы создать Mdl, incrementalClassificationLinear не добавляет количество подгонки наблюдений к традиционно обученной модели к NumTrainingObservations.

Типы данных: double

Это свойство доступно только для чтения.

Предшествующие вероятности класса в виде значения в этой таблице. Можно установить этот синтаксис аргумента пары "имя-значение" использования свойства, но incrementalClassificationLinear всегда хранит числовой вектор.

ЗначениеОписание
'empirical'Функции пошагового обучения выводят предшествующие вероятности класса из наблюдаемых частот родственника класса в данных об ответе во время инкрементного обучения (после того, как период оценки EstimationPeriod).
'uniform'Для каждого класса априорная вероятность является 1/K, где K является количеством классов.
числовой векторПользовательские, нормированные априорные вероятности. Порядок элементов Prior соответствует элементам ClassNames свойство.

  • Если вы преобразуете традиционно обученную модель, чтобы создать Mdl, incrementalClassificationLinear использует Prior свойство традиционно обученной модели.

  • В противном случае, Prior 'empirical'.

Типы данных: single | double

Это свойство доступно только для чтения.

Выиграйте функцию преобразования описание, как функции пошагового обучения преобразовывают необработанные значения отклика в виде вектора символов, строкового скаляра или указателя на функцию. incrementalClassificationLinear хранит заданное значение как вектор символов или указатель на функцию.

Эта таблица описывает доступные встроенные функции для преобразования счета.

ЗначениеОписание
"doublelogit"1/(1 + e–2x)
"invlogit"журнал (x / (1 – x))
"ismax"Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к 0
"logit"1/(1 + e–x)
"none" или "identity"x (никакое преобразование)
"sign"– 1 для x <0
0 для x = 0
1 для x> 0
"symmetric"2x – 1
"symmetricismax"Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к –1
"symmetriclogit"2/(1 + e–x) – 1

Для MATLAB® функционируйте или функция, что вы задаете, вводите ее указатель на функцию; например, 'ScoreTransform',@function, где:

  • function принимает n-by-K матрица (исходные баллы) и возвращает матрицу, одного размера (преобразованные баллы).

  • n является количеством наблюдений и строкой, j матрицы содержит оценки класса наблюдения j.

  • K является количеством классов numel(ClassNames), и столбец k является классом ClassNames (k).

По умолчанию:

  • Если вы преобразуете традиционно обученную модель, чтобы создать Mdl, ScoreTransform задан как конгруэнтное свойство традиционно обученной модели. Например, если ScoreTransform свойство традиционно обученной модели является счетом к функции преобразования апостериорной вероятности, как вычислено fitPosterior или fitSVMPosterior, Mdl.ScoreTransform содержит анонимную функцию.

  • ScoreTransform 'none' когда Learner 'svm'.

  • ScoreTransform 'logit' когда Learner 'logistic'.

Типы данных: char | function_handle

Параметры обучения

Это свойство доступно только для чтения.

Количество наблюдений, обработанных инкрементной моделью, чтобы оценить гиперпараметры перед обучением или отслеживающий показатели производительности в виде неотрицательного целого числа.

Примечание

  • Если Mdl подготовлен к пошаговому обучению (все гиперпараметры, требуемые для обучения, заданы), incrementalClassificationLinear силы 'EstimationPeriod' к 0.

  • Если Mdl не подготовлен к пошаговому обучению, incrementalClassificationLinear наборы 'EstimationPeriod' к 1000.

Для получения дополнительной информации смотрите Период Оценки.

Типы данных: single | double

Это свойство доступно только для чтения.

Линейное включение точки пересечения модели отмечает в виде true или false.

ЗначениеОписание
trueincrementalClassificationLinear включает термин смещения β 0 в линейной модели, которую инкрементные подходящие функции подбирают к данным.
falseincrementalClassificationLinear наборы β 0 = 0.

Если Bias ≠ 0, FitBias должен быть true. Другими словами, incrementalClassificationLinear не поддерживает ограничение равенства на β 0.

Если вы преобразуете традиционно обученную линейную модель классификации (ClassificationLinear) создать Mdl, FitBias задан значением ModelParameters.FitBias свойство традиционно обученной модели.

Типы данных: логический

Это свойство доступно только для чтения.

Предиктор означает в виде числового вектора.

Если Mu пустой массив [] и вы задаете 'Standardize',true, инкрементные подходящие функции устанавливают Mu к средним значениям переменного предиктора, оцененным во время оценки, период задан EstimationPeriod.

Вы не можете задать Mu непосредственно.

Типы данных: single | double

Это свойство доступно только для чтения.

Стандартные отклонения предиктора в виде числового вектора.

Если Sigma пустой массив [] и вы задаете 'Standardize',true, инкрементные подходящие функции устанавливают Sigma к стандартным отклонениям переменного предиктора, оцененным во время оценки, период задан EstimationPeriod.

Вы не можете задать Sigma непосредственно.

Типы данных: single | double

Это свойство доступно только для чтения.

Метод минимизации целевой функции в виде значения в этой таблице.

ЗначениеОписаниеПримечания
'scale-invariant'

Адаптивный инвариантный к масштабу решатель для пошагового обучения [1]

  • Этот алгоритм является свободным параметром и может адаптироваться к различиям в шкалах предиктора. Попробуйте этот алгоритм перед использованием SGD или ASGD.

  • Переставить входящие пакеты перед fit функционируйте подбирает модель, установите Shuffle к true.

'sgd'Stochastic gradient descent (SGD) [3][2]

  • Чтобы обучаться эффективно с SGD, стандартизируйте данные и задайте соответствующие значения для гиперпараметров с помощью опций, перечисленных в SGD и Параметрах Решателя ASGD.

  • fit функционируйте всегда переставляет входящий пакет данных прежде, чем подбирать модель.

'asgd'Средний стохастический градиентный спуск (ASGD) [4]

  • Чтобы обучаться эффективно с ASGD, стандартизируйте данные и задайте соответствующие значения для гиперпараметров с помощью опций, перечисленных в SGD и Параметрах Решателя ASGD.

  • fit функционируйте всегда переставляет входящий пакет данных прежде, чем подбирать модель.

Если вы преобразуете традиционно обученную линейную модель для бинарной классификации (ClassificationLinear) создать Mdl, чей ModelParameters.Solver свойством является 'sgd' или 'asgd', Solver задан ModelParameters.Solver свойство традиционно обученной модели.

Типы данных: char | string

Это свойство доступно только для чтения.

Объективные настройки решателя в виде массива структур. Поля SolverOptions свойства, характерные для заданного решателя Solver.

Типы данных: struct

SGD и параметры решателя ASGD

Это свойство доступно только для чтения.

Мини-пакетный размер в виде положительного целого числа. В каждой итерации во время обучения, incrementalClassificationLinear использование min(BatchSize,numObs) наблюдения, чтобы вычислить подградиент, где numObs количество наблюдений в обучающих данных, переданных fit или updateMetricsAndFit.

Если вы преобразуете традиционно обученную линейную модель для бинарной классификации (ClassificationLinear) создать Mdl, чей ModelParameters.Solver свойством является 'sgd' или 'asgd', BatchSize задан ModelParameters.BatchSize свойство традиционно обученной модели. В противном случае значением по умолчанию является 10.

Типы данных: single | double

Это свойство доступно только для чтения.

Гребень (L 2) сила термина регуляризации в виде неотрицательного скаляра.

Если вы преобразуете традиционно обученную линейную модель для бинарной классификации с гребенчатым штрафом (ClassificationLinear объект со свойством Regularization равняйтесь 'ridge (L2)') создать Mdl\lambda задан значением Lambda свойство традиционно обученной модели. В противном случае значением по умолчанию является 1e-5.

Типы данных: double | single

Это свойство доступно только для чтения.

Скорость обучения в виде 'auto' или положительная скалярная величина. LearnRate управляет размером шага оптимизации путем масштабирования объективного подградиента.

Когда вы задаете 'auto':

  • Если EstimationPeriod 0, начальной скоростью обучения является 0.7.

  • Если EstimationPeriod> 0 , начальной скоростью обучения является 1/sqrt(1+max(sum(X.^2,obsDim))), где obsDim 1 если наблюдения составляют столбцы данных о предикторе и 2 в противном случае. fit и updateMetricsAndFit установите значение, когда вы передадите данные модели и обучающие данные к также.

Если вы преобразуете традиционно обученную линейную модель для бинарной классификации (ClassificationLinear) создать Mdl, чей ModelParameters.Solver свойством является 'sgd' или 'asgd', LearnRate задан ModelParameters.LearnRate свойство традиционно обученной модели.

LearnRateSchedule свойство определяет скорость обучения для последующих циклов изучения.

Типы данных: single | double | char | string

Это свойство доступно только для чтения.

Расписание скорости обучения в виде значения в этой таблице, где LearnRate задает начальную скорость обучения ɣ 0.

ЗначениеОписание
'constant'Скоростью обучения является ɣ 0 для всех циклов изучения.
'decaying'

Скорость обучения при изучении цикла t

γt=γ0(1+λγ0t)c.

  • λ является значением Lambda.

  • Если Solver 'sgd', затем c = 1.

  • Если Solver 'asgd', затем c 0.75 [4].

Если вы преобразуете традиционно обученную линейную модель для бинарной классификации (ClassificationLinear) создать Mdl, чей ModelParameters.Solver свойством является 'sgd' или 'asgd', LearnRate 'decaying'.

Типы данных: char | string

Адаптивные инвариантные к масштабу опции решателя

Это свойство доступно только для чтения.

Отметьте для перестановки наблюдений в пакете в каждом цикле изучения в виде значения в этой таблице.

ЗначениеОписание
trueПрограммное обеспечение переставляет наблюдения в каждом входящем пакете данных прежде, чем обработать набор. Это действие уменьшает смещение, вызванное схемой выборки.
falseПрограммные процессы данные в порядке получены.

Типы данных: логический

Параметры показателей производительности

Это свойство доступно только для чтения.

Отметьте указание, отслеживает ли инкрементная модель показатели производительности в виде false или true. Инкрементная модель Mdl warm (IsWarm становится true) после того, как инкрементные подходящие функции соответствуют MetricsWarmupPeriod наблюдения к инкрементной модели (то есть, EstimationPeriod + MetricsWarmupPeriod наблюдения).

ЗначениеОписание
trueИнкрементная модель Mdl является теплым. Следовательно, updateMetrics и updateMetricsAndFit отследите показатели производительности в Metrics свойство Mdl.
falseupdateMetrics и updateMetricsAndFit не отслеживайте показатели производительности.

Типы данных: логический

Это свойство доступно только для чтения.

Метрики производительности модели, обновленные во время пошагового обучения updateMetrics и updateMetricsAndFitВ виде таблицы с двумя столбцами и строками m, где m является количеством метрик, заданных 'Metrics' аргумент пары "имя-значение".

Столбцы Metrics помечены Cumulative и Window.

  • Cumulative: Элемент j производительность модели, как измерено метрическим j, со времени модель стала теплой (IsWarm является 1).

  • Window: Элемент j производительность модели, как измерено метрическим j, оцененный по всем наблюдениям в окне задан MetricsWindowSize свойство. Обновления программного обеспечения Window после того, как это обрабатывает MetricsWindowSize наблюдения.

Строки помечены заданными метриками. Для получения дополнительной информации смотрите 'Metrics'.

Типы данных: table

Это свойство доступно только для чтения.

Количество наблюдений, инкрементная модель должна быть подходящей к тому, прежде чем это отследит показатели производительности в своем Metrics свойство в виде неотрицательного целого числа.

Для получения дополнительной информации смотрите показатели производительности.

Типы данных: single | double

Это свойство доступно только для чтения.

Количество наблюдений, чтобы использоваться для расчета показателей производительности окна в виде положительного целого числа.

Для получения дополнительной информации об опциях показателей производительности смотрите показатели производительности.

Типы данных: single | double

Функции объекта

fitОбучите линейную модель пошаговому обучению
updateMetricsAndFitОбновите показатели производительности в линейной модели для пошагового обучения, данного новые данные, и обучите модель
updateMetricsОбновите показатели производительности в линейной модели для пошагового обучения, данного новые данные
lossПотеря линейной модели для пошагового обучения на пакете данных
predictПредскажите ответы для новых наблюдений из линейной модели для пошагового обучения

Примеры

свернуть все

Скрипт Open Live Script

Создайте инкрементную линейную модель SVM по умолчанию для бинарной классификации. 

Mdl = incrementalClassificationLinear()
Mdl = 
  incrementalClassificationLinear

            IsWarm: 0
           Metrics: [1x2 table]
        ClassNames: [1x0 double]
    ScoreTransform: 'none'
              Beta: [0x1 double]
              Bias: 0
           Learner: 'svm'


  Properties, Methods

Mdl incrementalClassificationLinear объект модели. Все его свойства только для чтения.

Mdl должно быть подходящим к данным, прежде чем можно будет использовать их, чтобы выполнить любые другие операции.

Загрузите набор данных деятельности человека. Случайным образом переставьте данные. 

load humanactivity
n = numel(actid);
rng(1); % For reproducibility
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

Для получения дополнительной информации на наборе данных, введите Description в командной строке.

Ответы могут быть одним из пяти классов: Нахождение, Положение, Обход, Выполнение или Танец. Разделите пополам ответ путем идентификации, перемещается ли предмет (actid > 2).

Y = Y > 2;

Подбирайте инкрементную модель к обучающим данным при помощи updateMetricsAndfit функция. Симулируйте поток данных путем обработки фрагментов 50 наблюдений за один раз. В каждой итерации:

  • Процесс 50 наблюдений.

  • Перезапишите предыдущую инкрементную модель с новой, адаптированной к входящему наблюдению.

  • Хранилище β1, совокупные метрики и метрики окна, чтобы видеть, как они развиваются во время пошагового обучения.

% Preallocation
numObsPerChunk = 50;
nchunk = floor(n/numObsPerChunk);
ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta1 = zeros(nchunk,1);    

% Incremental learning
for j = 1:nchunk
    ibegin = min(n,numObsPerChunk*(j-1) + 1);
    iend   = min(n,numObsPerChunk*j);
    idx = ibegin:iend;    
    Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx));
    ce{j,:} = Mdl.Metrics{"ClassificationError",:};
    beta1(j + 1) = Mdl.Beta(1);
end

IncrementalMdl incrementalClassificationLinear объект модели, обученный на всех данных в потоке. Во время пошагового обучения и после того, как модель подогревается, updateMetricsAndFit проверяет эффективность модели на входящем наблюдении, и затем подбирает модель к тому наблюдению.

Чтобы видеть, как показатели производительности и β1 развитый во время обучения, постройте их на отдельных подграфиках.

figure;
subplot(2,1,1)
plot(beta1)
ylabel('\beta_1')
xlim([0 nchunk]);
xline(Mdl.EstimationPeriod/numObsPerChunk,'r-.');
subplot(2,1,2)
h = plot(ce.Variables);
xlim([0 nchunk]);
ylabel('Classification Error')
xline(Mdl.EstimationPeriod/numObsPerChunk,'r-.');
xline((Mdl.EstimationPeriod + Mdl.MetricsWarmupPeriod)/numObsPerChunk,'g-.');
legend(h,ce.Properties.VariableNames)
xlabel('Iteration')

Figure contains 2 axes objects. Axes object 1 contains 2 objects of type line, constantline. Axes object 2 contains 4 objects of type line, constantline. These objects represent Cumulative, Window.

График предлагает тот updateMetricsAndFit делает следующее:

  • Подгонка β1 во время всех итераций пошагового обучения

  • Вычислите показатели производительности после метрического периода прогрева только.

  • Вычислите совокупные метрики во время каждой итерации.

  • Вычислите метрики окна после обработки 500 наблюдений.

Скрипт Open Live Script

Подготовьте инкрементного бинарного ученика SVM путем определения метрического периода прогрева, во время который updateMetricsAndFit функция только подбирает модель. Задайте метрический размер окна 500 наблюдений. Обучите модель при помощи SGD и настройте размер пакета SGD, скорость обучения и параметр регуляризации.

Загрузите набор данных деятельности человека. Случайным образом переставьте данные. 

load humanactivity
n = numel(actid);
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

Для получения дополнительной информации на наборе данных, введите Description в командной строке.

Ответы могут быть одним из пяти классов: Нахождение, Положение, Waling, Выполнение или Танец. Разделите пополам ответ путем идентификации, перемещается ли предмет (actid > 2).

Y = Y > 2;

Создайте инкрементную линейную модель для бинарной классификации. Сконфигурируйте модель можно следующим образом:

  • Укажите, что инкрементные подходящие функции обрабатывают сырые данные (нестандартизированные) данные о предикторе.

  • Задайте решатель SGD.

  • Примите, что гребенчатое значение параметров регуляризации 0,001, размер пакета SGD 20 и скорость обучения 0,002 работают хорошо на проблему.

  • Задайте метрический период прогрева 5 000 наблюдений.

  • Задайте метрический размер окна 500 наблюдений.

  • Отследите классификацию и ошибочные метрики стержня, чтобы измерить уровень модели.

Mdl = incrementalClassificationLinear('Standardize',false,...
    'Solver','sgd','Lambda',0.001,'BatchSize',20,'LearnRate',0.002,...
    'MetricsWarmupPeriod',5000,'MetricsWindowSize',500,...
    'Metrics',{'classiferror' 'hinge'})
Mdl = 
  incrementalClassificationLinear

            IsWarm: 0
           Metrics: [2x2 table]
        ClassNames: [1x0 double]
    ScoreTransform: 'none'
              Beta: [0x1 double]
              Bias: 0
           Learner: 'svm'


  Properties, Methods

Mdl incrementalClassificationLinear объект модели сконфигурирован для пошагового обучения.

Подбирайте инкрементную модель к остальной части данных при помощи updateMetricsAndfit функция. В каждой итерации:

  • Симулируйте поток данных путем обработки фрагмента 50 наблюдений. Обратите внимание на то, что разделите размер на блоки, отличается от размера пакета SGD.

  • Перезапишите предыдущую инкрементную модель с новой, адаптированной к входящему наблюдению.

  • Сохраните предполагаемый коэффициент β10, совокупные метрики и метрики окна, чтобы видеть, как они развиваются во время пошагового обучения.

% Preallocation
numObsPerChunk = 50;
nchunk = floor(n/numObsPerChunk);
ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
hinge = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta10 = zeros(nchunk,1);    

% Incremental fitting
for j = 1:nchunk
    ibegin = min(n,numObsPerChunk*(j-1) + 1);
    iend   = min(n,numObsPerChunk*j);
    idx = ibegin:iend;    
    Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx));
    ce{j,:} = Mdl.Metrics{"ClassificationError",:};
    hinge{j,:} = Mdl.Metrics{"HingeLoss",:};
    beta10(j + 1) = Mdl.Beta(10);
end

IncrementalMdl incrementalClassificationLinear объект модели, обученный на всех данных в потоке. Во время пошагового обучения и после того, как модель подогревается, updateMetricsAndFit проверяет эффективность модели на входящем наблюдении, и затем подбирает модель к тому наблюдению.

Чтобы видеть, как показатели производительности и β10 развитый во время обучения, постройте их на отдельных подграфиках.

figure;
subplot(2,2,1)
plot(beta10)
ylabel('\beta_{10}')
xlim([0 nchunk]);
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.');
xlabel('Iteration')
subplot(2,2,2)
h = plot(ce.Variables);
xlim([0 nchunk]);
ylabel('Classification Error')
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.');
legend(h,ce.Properties.VariableNames)
xlabel('Iteration')
subplot(2,2,3)
h = plot(hinge.Variables);
xlim([0 nchunk]);
ylabel('Hinge Loss')
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.');
legend(h,hinge.Properties.VariableNames)
xlabel('Iteration')

Figure contains 3 axes objects. Axes object 1 contains 2 objects of type line, constantline. Axes object 2 contains 3 objects of type line, constantline. These objects represent Cumulative, Window. Axes object 3 contains 3 objects of type line, constantline. These objects represent Cumulative, Window.

График предлагает тот updateMetricsAndFit делает следующее:

  • Подгонка β10 во время всех итераций пошагового обучения

  • Вычислите показатели производительности после метрического периода прогрева только.

  • Вычислите совокупные метрики во время каждой итерации.

  • Вычислите метрики окна после обработки 500 наблюдений (10 итераций).

Скрипт Open Live Script

Обучите линейную модель бинарной классификации при помощи fitclinear, преобразуйте его в инкрементного ученика, отследите его эффективность и соответствуйте ему к потоковой передаче данных. Перенесите опции обучения от традиционного до пошагового обучения.

Загрузите и предварительно обработайте данные

Загрузите набор данных деятельности человека. Случайным образом переставьте данные. Восток наблюдения за данными о предикторе в столбцах. 

load humanactivity
rng(1); % For reproducibility
n = numel(actid);
idx = randsample(n,n);
X = feat(idx,:)';
Y = actid(idx);

Для получения дополнительной информации на наборе данных, введите Description в командной строке.

Ответы могут быть одним из пяти классов: Нахождение, Положение, Обход, Выполнение или Танец. Разделите пополам ответ путем идентификации, перемещается ли предмет (actid > 2).

Y = Y > 2;

Предположим, что данные собрались, когда предмет был неактивен (Y = false) имеет дважды качество чем тогда, когда предмет перемещался. Создайте переменную веса, которая приписывает 2 наблюдениям, собранным из неактивного предмета, и 1 к движущемуся предмету.

W = ones(n,1) + ~Y;

Обучите линейную модель бинарной классификации

Подбирайте линейную модель для бинарной классификации к случайной выборке половины данных.

idxtt = randsample([true false],n,true);
TTMdl = fitclinear(X(:,idxtt),Y(idxtt),'ObservationsIn','columns',...
    'Weights',W(idxtt))
TTMdl = 
  ClassificationLinear
      ResponseName: 'Y'
        ClassNames: [0 1]
    ScoreTransform: 'none'
              Beta: [60x1 double]
              Bias: -0.1107
            Lambda: 8.2967e-05
           Learner: 'svm'


  Properties, Methods

TTMdl ClassificationLinear объект модели, представляющий традиционно обученную линейную модель для бинарной классификации.

Преобразуйте обученную модель

Преобразуйте традиционно обученную модель классификации в бинарную классификацию линейная модель для пошагового обучения.

IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl = 
  incrementalClassificationLinear

            IsWarm: 1
           Metrics: [1x2 table]
        ClassNames: [0 1]
    ScoreTransform: 'none'
              Beta: [60x1 double]
              Bias: -0.1107
           Learner: 'svm'


  Properties, Methods

Отдельно отследите показатели производительности и подбирайте модель

Выполните пошаговое обучение на остальной части данных при помощи updateMetrics и fit функции. Симулируйте поток данных путем обработки 50 наблюдений за один раз. В каждой итерации:

  1. Вызовите updateMetrics обновить совокупное и ошибку классификации окон модели, учитывая входящий фрагмент наблюдений. Перезапишите предыдущую инкрементную модель, чтобы обновить потери в Metrics свойство. Обратите внимание на то, что функция не подбирает модель к фрагменту данных — фрагмент является "новыми" данными для модели. Укажите, что наблюдения ориентированы в столбцах и задают веса наблюдения.

  2. Вызовите fit подбирать модель к входящему фрагменту наблюдений. Перезапишите предыдущую инкрементную модель, чтобы обновить параметры модели. Укажите, что наблюдения ориентированы в столбцах и задают веса наблюдения.

  3. Сохраните ошибку классификации и сначала оцененный коэффициент β1.

% Preallocation
idxil = ~idxtt;
nil = sum(idxil);
numObsPerChunk = 50;
nchunk = floor(nil/numObsPerChunk);
ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta1 = [IncrementalMdl.Beta(1); zeros(nchunk,1)];
Xil = X(:,idxil);
Yil = Y(idxil);
Wil = W(idxil);

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;
    IncrementalMdl = updateMetrics(IncrementalMdl,Xil(:,idx),Yil(idx),...
        'ObservationsIn','columns','Weights',Wil(idx));
    ce{j,:} = IncrementalMdl.Metrics{"ClassificationError",:};
    IncrementalMdl = fit(IncrementalMdl,Xil(:,idx),Yil(idx),'ObservationsIn','columns',...
        'Weights',Wil(idx));
    beta1(j + 1) = IncrementalMdl.Beta(end);
end

IncrementalMdl incrementalClassificationLinear объект модели, обученный на всех данных в потоке.

В качестве альтернативы можно использовать updateMetricsAndFit обновить показатели производительности модели, учитывая новый фрагмент данных, и затем подбирать модель к данным.

Постройте график трассировки показателей производительности и оцененного коэффициента β1.

figure;
subplot(2,1,1)
h = plot(ce.Variables);
xlim([0 nchunk]);
ylabel('Classification Error')
legend(h,ce.Properties.VariableNames)
subplot(2,1,2)
plot(beta1)
ylabel('\beta_1')
xlim([0 nchunk]);
xlabel('Iteration')

Figure contains 2 axes objects. Axes object 1 contains 2 objects of type line. These objects represent Cumulative, Window. Axes object 2 contains an object of type line.

Совокупная потеря устойчива и постепенно уменьшается, тогда как потеря окна переходит.

β1 изменения резко сначала, затем постепенно выравнивается как fit процессы больше фрагментов.

Больше о

развернуть все

Советы

  • После создания модели можно сгенерировать код C/C++, который выполняет пошаговое обучение на потоке данных. Генерация кода C/C++ требует MATLAB Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.

Алгоритмы

развернуть все

Ссылки

[1] Kempka, Michał, Войцех Kotłowski и Манфред К. Вармут. "Адаптивные Инвариантные к масштабу Онлайновые Алгоритмы для Изучения Линейных Моделей". CoRR (февраль 2019). https://arxiv.org/abs/1902.07528.

[2] Лэнгфорд, J., Л. Ли и Т. Чжан. “Разреженное Дистанционное обучение Через Усеченный Градиент”. Дж. Мах. Учиться. Res., Издание 10, 2009, стр 777–801.

[3] Шалев-Шварц, S., И. Зингер и Н. Сребро. “Pegasos: Основной Предполагаемый Решатель Подградиента для SVM”. Продолжения 24-й Международной конференции по вопросам Машинного обучения, ICML ’07, 2007, стр 807–814.

[4] Сюй, Вэй. “К Оптимальному Один Крупный масштаб Передачи Изучение с Усредненным Стохастическим Градиентным спуском”. CoRR, abs/1107.2490, 2011.

Расширенные возможности

Смотрите также

Функции

Объекты

Темы

Введенный в R2020b

Документация Statistics and Machine Learning Toolbox

Поддержка