Exponenta Banner
exponenta event banner

incrementalClassificationLinear

Линейная модель двоичной классификации для инкрементного обучения

развернуть все на странице

Описание

incrementalClassificationLinear создает incrementalClassificationLinear объект модели, представляющий линейную модель двоичной классификации для инкрементного обучения. Поддерживаемые ученики включают в себя вспомогательную векторную машину (SVM) и логистическую регрессию.

В отличие от других объектов модели Toolbox™ статистики и машинного обучения, incrementalClassificationLinear может вызываться напрямую. Кроме того, перед подгонкой модели к данным можно задать такие параметры обучения, как конфигурации показателей производительности, значения параметров и целевой решатель. После создания incrementalClassificationLinear объект подготовлен к инкрементному обучению.

incrementalClassificationLinear лучше всего подходит для инкрементного обучения. Традиционный подход к обучению SVM или линейной модели для двоичной классификации (например, создание модели путем подгонки ее к данным, выполнение перекрестной проверки, настройка гиперпараметров и т. д.) см. в разделе fitcsvm или fitclinear. Для получения информации о многоклассовом инкрементном обучении с использованием наивного алгоритма Байеса см. incrementalClassificationNaiveBayes.

Создание

Можно создать incrementalClassificationLinear объект модели несколькими способами:

  • Вызовите функцию напрямую - настройте параметры инкрементного обучения или укажите начальные значения параметров и гиперпараметров линейной модели путем вызова incrementalClassificationLinear непосредственно. Этот подход лучше всего подходит, когда у вас еще нет данных или вы хотите немедленно начать инкрементное обучение.

  • Преобразовать традиционно обученную модель - чтобы инициализировать линейную модель двоичной классификации для инкрементного обучения с использованием коэффициентов модели и гиперпараметров обучаемого объекта модели SVM или линейной модели двоичной классификации, можно преобразовать традиционно обученную модель в incrementalClassificationLinear объект модели путем передачи его в incrementalLearner функция. Эта таблица содержит ссылки на соответствующие страницы ссылок.

    Конвертируемый объект моделиФункция преобразования
    ClassificationSVM или CompactClassificationSVMincrementalLearner
    ClassificationLinearincrementalLearner

  • Вызов функции инкрементного обучения - fit, updateMetrics, и updateMetricsAndFit принять сконфигурированный incrementalClassificationLinear объект модели и данные в качестве входных данных и возвращают incrementalClassificationLinear объект модели обновлен информацией, полученной из входной модели и данных.

Синтаксис

Mdl = incrementEdLinear ()
Mdl = IncrementAllinear (имя, значение)

Описание

пример

Mdl = incrementalClassificationLinear() возвращает объект линейной модели двоичной классификации по умолчанию для инкрементного обучения, Mdl. Свойства модели по умолчанию содержат местозаполнители для неизвестных параметров модели. Необходимо обучить модель по умолчанию, прежде чем можно будет отслеживать ее производительность или генерировать прогнозы на ее основе.

пример

Mdl = incrementalClassificationLinear(Name,Value) задает свойства и дополнительные параметры, используя аргументы пары имя-значение. Заключите каждое имя в кавычки. Например, incrementalClassificationLinear('Beta',[0.1 0.3],'Bias',1,'MetricsWarmupPeriod',100) устанавливает вектор коэффициентов линейной модели β в [0.1 0.3], смещение β0 до 1и период прогрева метрик до 100.

Входные аргументы

развернуть все

Аргументы пары «имя-значение»

Укажите дополнительные пары, разделенные запятыми Name,Value аргументы. Name является именем аргумента и Value - соответствующее значение. Name должен отображаться внутри кавычек. Можно указать несколько аргументов пары имен и значений в любом порядке как Name1,Value1,...,NameN,ValueN.

Пример: 'Standardize',true стандартизирует данные предиктора с использованием средства предиктора и стандартных отклонений, оцененных в течение периода оценки.

Метрики производительности модели для отслеживания в процессе инкрементного обучения, указанные как имя встроенной функции потери, строковый вектор имен, дескриптор функции (@metricName), структурный массив дескрипторов функций или вектор ячеек имен, дескрипторов функций или структурных массивов.

Когда Mdl теплый (см. IsThream), updateMetrics и updateMetricsAndFit отслеживать метрики производительности в свойстве Metrics Mdl.

В следующей таблице перечислены имена встроенных функций потери. С помощью вектора строки можно указать несколько.

ИмяОписание
"binodeviance"Биномиальное отклонение
"classiferror"Ошибка классификации
"exponential"Показательный
"hinge"Стержень
"logit"Логистический
"quadratic"Квадратный

Дополнительные сведения о встроенных функциях потери см. в разделе loss.

Пример: 'Metrics',["classiferror" "hinge"]

Чтобы указать пользовательскую функцию, возвращающую метрику производительности, используйте нотацию дескриптора функции. Функция должна иметь следующую форму:

metric = customMetric(C,S)

  • Выходной аргумент metric является n-на-1 числовым вектором, где каждый элемент является потерей соответствующего наблюдения в данных, обрабатываемых инкрементными функциями обучения в течение цикла обучения.

  • Выберите имя функции (customMetric).

  • C - логическая матрица n-by-2 со строками, указывающими класс, которому принадлежит соответствующее наблюдение. Порядок столбцов соответствует порядку классов в ClassNames собственность. Создать C путем установки C(p,q) = 1, если наблюдение p находится в классе q, для каждого наблюдения в указанных данных. Установка другого элемента в строке p кому 0.

  • S представляет собой n-на-2 числовую матрицу прогнозируемых показателей классификации. S аналогичен Score вывод predict, где строки соответствуют наблюдениям в данных, а порядок столбцов соответствует порядку классов в ClassNames собственность. S(p,q) - классификационный балл наблюдения p классифицируется по классу q.

Чтобы указать несколько пользовательских метрик и назначить каждому пользовательское имя, используйте массив структуры. Чтобы задать комбинацию встроенных и пользовательских метрик, используйте вектор ячейки.

Пример: 'Metrics',struct('Metric1',@customMetric1,'Metric2',@customMetric2)

Пример: 'Metrics',{@customMetric1 @customeMetric2 'logit' struct('Metric3',@customMetric3)}

updateMetrics и updateMetricsAndFit сохранить указанные метрики в таблице в Metrics собственность. Тип данных Metrics определяет имена строк таблицы.

'Metrics' Тип данных значенияОписание Metrics Имя строки свойстваПример
Строковый или символьный векторНаименование соответствующей встроенной метрикиИмя строки для "classiferror" является "ClassificationError"
Структурный массивИмя поляИмя строки для struct('Metric1',@customMetric1) является "Metric1"
Дескриптор функции для функции, сохраненной в файле программыНаименование функцииИмя строки для @customMetric является "customMetric"
Анонимная функцияCustomMetric_j, где j является метрикой j в MetricsИмя строки для @(C,S)customMetric(C,S)... является CustomMetric_1

Дополнительные сведения о параметрах показателей производительности см. в разделе Показатели производительности.

Типы данных: char | string | struct | cell | function_handle

Флаг для стандартизации данных предиктора, указанный как пара, разделенная запятыми, состоящая из 'Standardize' и значение в этой таблице.

СтоимостьОписание
'auto'incrementalClassificationLinear определяет необходимость стандартизации переменных предиктора. См. раздел Стандартизация данных.
trueПрограммное обеспечение стандартизирует данные предиктора. Дополнительные сведения см. в разделе Стандартизация данных.
falseПрограммное обеспечение не стандартизирует данные предиктора.

Пример: 'Standardize',true

Типы данных: logical | char | string

Свойства

развернуть все

Большинство свойств можно задать с помощью синтаксиса аргумента пары имя-значение только при вызове incrementalClassificationLinear непосредственно. Некоторые свойства можно задать при вызове incrementalLearner преобразование традиционно обученной модели. Невозможно задать свойства FittedLoss, NumTrainingObservations, Mu, Sigma, SolverOptions, и IsWarm.

Параметры классификационной модели

Это свойство доступно только для чтения.

Коэффициенты линейной модели β, указанные как NumPredictors-по-1 числовой вектор.

При преобразовании традиционно обученной модели для создания Mdl, Beta определяется значением Beta свойство традиционно обученной модели. В противном случае по умолчанию Beta является zeros(NumPredictors,1).

Типы данных: single | double

Это свойство доступно только для чтения.

Модель перехватывает β0, или член смещения, заданный как числовой скаляр.

При преобразовании традиционно обученной модели для создания Mdl, Bias определяется значением Bias свойство традиционно обученной модели. В противном случае по умолчанию Bias является 0.

Типы данных: single | double

Это свойство доступно только для чтения.

Уникальные метки классов, используемые при обучении модели, указанные как категориальный или символьный массив, логический или числовой вектор или массив ячеек символьных векторов. incrementalClassificationLinear сохраняет указанный строковый вектор в виде массива ячеек символьных векторов. ClassNames и данные ответа должны иметь один и тот же тип данных.

  • При преобразовании традиционно обученной модели для создания Mdl, ClassNames является ClassNames свойство традиционно обученной модели.

  • В противном случае функции приращения фитинга выводят ClassNames во время обучения.

Типы данных: single | double | logical | char | cell | categorical

Это свойство доступно только для чтения.

Функция потерь, используемая для соответствия линейной модели, заданная как 'hinge' или 'logit'.

СтоимостьАлгоритмФункция потерьLearner Стоимость
'hinge'Опорная векторная машинаШарнир: ℓ[y,f (x)] = max [0,1 − yf (x)]'svm'
'logit'Логистическая регрессияОтклонение (логистическое): ℓ[y,f (x)] = log {1 + exp [− yf (x)]}'logistic'

Это свойство доступно только для чтения.

Тип модели линейной классификации, указанный как 'logistic' или 'svm'.

В следующей таблице f (x) = xβ + b.

  • β - вектор p-коэффициентов.

  • x - это наблюдение из переменных p-предиктора.

  • b - скалярное смещение.

СтоимостьАлгоритмФункция потерьFittedLoss Стоимость
'logistic'Логистическая регрессияОтклонение (логистическое): ℓ[y,f (x)] = log {1 + exp [− yf (x)]}'logit'
'svm'Опорная векторная машинаШарнир: ℓ[y,f (x)] = max [0,1 − yf (x)]'hinge'

При преобразовании традиционно обученной модели для создания Mdl, Learner является учеником традиционно обученной модели.

  • Если традиционно обученная модель ClassificationSVM или CompactClassificationSVM, Learner является 'svm'.

  • Если традиционно обученная модель ClassificationLinear, Learner - значение Learner свойство традиционно обученной модели.

Это свойство доступно только для чтения.

Число переменных предиктора, указанных как неотрицательный числовой скаляр.

При преобразовании традиционно обученной модели для создания Mdl, NumPredictors определяется конгруэнтным свойством традиционно обученной модели. В противном случае функции приращения фитинга выводят NumPredictors из данных предиктора во время тренировки.

Типы данных: double

Это свойство доступно только для чтения.

Количество наблюдений, соответствующих инкрементной модели Mdl, указанный как неотрицательный числовой скаляр. NumTrainingObservations увеличивается при прохождении Mdl и данные обучения fit или updateMetricsAndFit.

Примечание

При преобразовании традиционно обученной модели для создания Mdl, incrementalClassificationLinear не добавляет количество наблюдений, подходящих для традиционно обученной модели, к NumTrainingObservations.

Типы данных: double

Это свойство доступно только для чтения.

Вероятности предыдущего класса, указанные в качестве значения в этой таблице. Можно задать это свойство, используя синтаксис аргумента пары имя-значение, но incrementalClassificationLinear всегда сохраняет числовой вектор.

СтоимостьОписание
'empirical'Функции инкрементного обучения выводят вероятности предыдущего класса из наблюдаемых относительных частот класса в данных ответа во время инкрементного обучения (после периода оценки EstimationPeriod).
'uniform'Для каждого класса предшествующая вероятность равна 1/K, где K - количество классов.
числовой векторПользовательские, нормализованные предыдущие вероятности. Порядок элементов Prior соответствует элементам ClassNames собственность.

  • При преобразовании традиционно обученной модели для создания Mdl, incrementalClassificationLinear использует Prior свойство традиционно обученной модели.

  • В противном случае Prior является 'empirical'.

Типы данных: single | double

Это свойство доступно только для чтения.

Функция преобразования баллов, описывающая, как функции инкрементного обучения преобразуют необработанные значения ответа, заданные как вектор символа, скаляр строки или дескриптор функции. incrementalClassificationLinear сохраняет указанное значение в виде символьного вектора или дескриптора функции.

В этой таблице описаны доступные встроенные функции для преобразования баллов.

СтоимостьОписание
'doublelogit'1/( 1 + e-2x)
'invlogit'log (x/( 1 - x))
'ismax'Устанавливает балл для класса с наибольшим баллом в 1 и устанавливает балл для всех остальных классов в 0
'logit'1/( 1 + e-x)
'none' или 'identity'x (без преобразования)
'sign'-1 для x < 0
0 для x = 0
1 для x > 0
'symmetric'2x – 1
'symmetricismax'Устанавливает балл для класса с наибольшим баллом в 1 и устанавливает балл для всех остальных классов в -1
'symmetriclogit'2/( 1 + e-x) - 1

Для определяемой функции MATLAB ® введите дескриптор ее функции; например ,'ScoreTransform',@function, где:

  • function принимает матрицу n-by-K (исходные оценки) и возвращает матрицу того же размера (преобразованные оценки).

  • n - количество наблюдений, а строка j матрицы содержит оценки классов наблюдений j.

  • K - количество классов numel(ClassNames), и столбец k является классом ClassNames(k).

По умолчанию:

  • При преобразовании традиционно обученной модели для создания Mdl, ScoreTransform определяется конгруэнтным свойством традиционно обученной модели. Например, если ScoreTransform свойство традиционно обученной модели представляет собой функцию преобразования «оценка-задняя вероятность», вычисленную с помощью fitPosterior или fitSVMPosterior, Mdl.ScoreTransform содержит анонимную функцию.

  • ScoreTransform является 'none' когда Learner является 'svm'.

  • ScoreTransform является 'logit' когда Learner является 'logistic'.

Типы данных: char | function_handle

Параметры обучения

Это свойство доступно только для чтения.

Количество наблюдений, обработанных инкрементной моделью для оценки гиперпараметров перед обучением или отслеживанием метрик производительности, указанных как неотрицательное целое число.

Примечание

  • Если Mdl подготовлен к инкрементному обучению (указаны все гиперпараметры, необходимые для обучения), incrementalClassificationLinear силы 'EstimationPeriod' кому 0.

  • Если Mdl не подготовлен к инкрементному обучению, incrementalClassificationLinear наборы 'EstimationPeriod' кому 1000.

Дополнительные сведения см. в разделе Период оценки.

Типы данных: single | double

Это свойство доступно только для чтения.

Флаг включения пересечения линейной модели, указанный как true или false.

СтоимостьОписание
trueincrementalClassificationLinear включает в линейную модель член смещения β0, какие инкрементные аппроксимирующие функции подходят к данным.
falseincrementalClassificationLinear устанавливает β0 = 0.

Если Bias ≠ 0, FitBias должно быть true. Другими словами, incrementalClassificationLinear не поддерживает ограничение равенства для β0.

При преобразовании традиционно обученной модели линейной классификации (ClassificationLinear) для создания Mdl, FitBias определяется значением ModelParameters.FitBias свойство традиционно обученной модели.

Типы данных: logical

Это свойство доступно только для чтения.

Средство предсказания, указанное как числовой вектор.

Если Mu является пустым массивом [] и вы указываете 'Standardize',true, набор инкрементных функций фитинга Mu в средство предикторной переменной, оцененное в течение периода оценки, указанного EstimationPeriod.

Невозможно указать Mu непосредственно.

Типы данных: single | double

Это свойство доступно только для чтения.

Стандартные отклонения предиктора, заданные как числовой вектор.

Если Sigma является пустым массивом [] и вы указываете 'Standardize',true, набор инкрементных функций фитинга Sigma к переменной предиктора стандартные отклонения, оцененные в течение периода оценки, указанного EstimationPeriod.

Невозможно указать Sigma непосредственно.

Типы данных: single | double

Это свойство доступно только для чтения.

Метод минимизации целевой функции, указанный как значение в этой таблице.

СтоимостьОписаниеПримечания
'scale-invariant'

Адаптивный инвариантный решатель масштаба для инкрементного обучения [1]

  • Этот алгоритм не содержит параметров и может адаптироваться к различиям в шкалах предикторов. Попробуйте использовать этот алгоритм перед использованием SGD или ASGD.

  • Перетасовка входящих партий перед fit функция подходит для модели, набор Shuffle кому true.

'sgd'Стохастический градиентный спуск (SGD) [3][2]

  • Чтобы эффективно работать с SGD, стандартизируйте данные и укажите адекватные значения для гиперпараметров, используя опции, перечисленные в параметрах решателя SGD и ASGD.

  • fit функция всегда тасует входящий пакет данных перед подгонкой модели.

'asgd'Средний стохастический градиентный спуск (ASGD) [4]

  • Чтобы эффективно работать с ASGD, стандартизируйте данные и укажите адекватные значения для гиперпараметров, используя опции, перечисленные в параметрах решателя SGD и ASGD.

  • fit функция всегда тасует входящий пакет данных перед подгонкой модели.

При преобразовании традиционно обученной линейной модели для двоичной классификации (ClassificationLinear) для создания Mdl, чей ModelParameters.Solver свойство - 'sgd' или 'asgd', Solver определяется ModelParameters.Solver свойство традиционно обученной модели.

Типы данных: char | string

Это свойство доступно только для чтения.

Целевые конфигурации решателя, заданные как массив структуры. Поля SolverOptions - свойства, специфичные для указанного решателя; Solver.

Типы данных: struct

Параметры решателя SGD и ASGD

Это свойство доступно только для чтения.

Размер мини-пакета, указанный как положительное целое число. При каждой итерации во время обучения, incrementalClassificationLinear использование min(BatchSize,numObs) наблюдения для вычисления подградуора, где numObs - количество наблюдений в данных обучения, переданных fit или updateMetricsAndFit.

При преобразовании традиционно обученной линейной модели для двоичной классификации (ClassificationLinear) для создания Mdl, чей ModelParameters.Solver свойство - 'sgd' или 'asgd', BatchSize определяется ModelParameters.BatchSize свойство традиционно обученной модели. В противном случае значение по умолчанию - 10.

Типы данных: single | double

Это свойство доступно только для чтения.

Сила члена регуляризации хребта (L2), определяемая как неотрицательный скаляр.

При преобразовании традиционно обученной линейной модели для бинарной классификации со штрафом по гребню (ClassificationLinear объект со свойством Regularization равно 'ridge (L2)') для создания Mdl, Lambda определяется значением Lambda свойство традиционно обученной модели. В противном случае значение по умолчанию - 1e-5.

Типы данных: double | single

Это свойство доступно только для чтения.

Коэффициент обучения, указанный как 'auto' или положительный скаляр. LearnRate управляет размером шага оптимизации путем масштабирования целевого подградуира.

При указании 'auto':

  • Если EstimationPeriod является 0, начальная скорость обучения 0.7.

  • Если EstimationPeriod > 0, начальная скорость обучения 1/sqrt(1+max(sum(X.^2,obsDim))), где obsDim является 1 если наблюдения составляют столбцы данных предиктора, и 2 в противном случае. fit и updateMetricsAndFit установите значение при передаче модели и данных обучения на.

При преобразовании традиционно обученной линейной модели для двоичной классификации (ClassificationLinear) для создания Mdl, чей ModelParameters.Solver свойство - 'sgd' или 'asgd', LearnRate определяется ModelParameters.LearnRate свойство традиционно обученной модели.

LearnRateSchedule свойство определяет скорость обучения для последующих циклов обучения.

Типы данных: single | double | char | string

Это свойство доступно только для чтения.

График скорости обучения, указанный как значение в этой таблице, где LearnRate определяет ɣ0 начальной скорости обучения.

СтоимостьОписание
'constant'Уровень обучения является ɣ0 для всех циклов обучения.
'decaying'

Скорость обучения в учебном цикле t составляет

γ t = γ 0 (1 + λ γ 0t) c.

  • λ - значение Lambda.

  • Если Solver является 'sgd', то c = 1.

  • Если Solver является 'asgd', то c равно 0,75 [4].

При преобразовании традиционно обученной линейной модели для двоичной классификации (ClassificationLinear) для создания Mdl, чей ModelParameters.Solver свойство - 'sgd' или 'asgd', LearnRate является 'decaying'.

Типы данных: char | string

Опции адаптивного масштабирования-инвариантного решателя

Это свойство доступно только для чтения.

Флаг для тасования наблюдений в пакете при каждом цикле обучения, указанный как значение в этой таблице.

СтоимостьОписание
trueПрограмма выполняет тасование наблюдений в каждом входящем пакете данных перед обработкой аппарата. Это действие уменьшает смещение, вызванное схемой выборки.
falseПрограммное обеспечение обрабатывает данные в полученном порядке.

Типы данных: logical

Параметры показателей производительности

Это свойство доступно только для чтения.

Флаг, указывающий, отслеживает ли инкрементная модель метрики производительности, указанные как false или true. Инкрементная модель Mdl теплый (IsWarm становится true) после подгонки инкрементных функций фитинга MetricsWarmupPeriod наблюдения за инкрементной моделью (то есть EstimationPeriod + MetricsWarmupPeriod наблюдения).

СтоимостьОписание
trueИнкрементная модель Mdl тепло. Следовательно, updateMetrics и updateMetricsAndFit отслеживать метрики производительности в Metrics имущество Mdl.
falseupdateMetrics и updateMetricsAndFit не отслеживайте метрики производительности.

Типы данных: logical

Это свойство доступно только для чтения.

Метрики производительности модели обновлены во время инкрементного обучения updateMetrics и updateMetricsAndFit, заданная как таблица с двумя столбцами и m строками, где m - количество метрик, заданное 'Metrics' аргумент пары имя-значение.

Столбцы Metrics помечены Cumulative и Window.

  • Cumulative: Элемент j - производительность модели, измеряемая метрикой j, с того момента, как модель стала теплой (IsHeam 1).

  • Window: Элемент j - производительность модели, измеряемая метрикой j, оценивается по всем наблюдениям в пределах окна, указанного MetricsWindowSize собственность. Обновления программного обеспечения Window после обработки MetricsWindowSize наблюдения.

Строки помечены указанными метриками. Для получения более подробной информации см. 'Metrics'.

Типы данных: table

Это свойство доступно только для чтения.

Количество наблюдений, которым должна соответствовать инкрементная модель, прежде чем она будет отслеживать метрики производительности в своей Metrics , указанное как неотрицательное целое число.

Дополнительные сведения см. в разделе Показатели производительности.

Типы данных: single | double

Это свойство доступно только для чтения.

Число наблюдений, используемых для вычисления метрик производительности окна, указанных как положительное целое число.

Дополнительные сведения о параметрах показателей производительности см. в разделе Показатели производительности.

Типы данных: single | double

Функции объекта

fitОбучение линейной модели для инкрементного обучения
updateMetricsAndFitОбновление показателей производительности в линейной модели для инкрементного обучения с учетом новых данных и модели поезда
updateMetricsОбновление показателей производительности в линейной модели для инкрементного обучения с учетом новых данных
lossПотеря линейной модели для инкрементного обучения по пакету данных
predictПрогнозирование ответов для новых наблюдений из линейной модели для инкрементного обучения

Примеры

свернуть все

Открыть сценарий в реальном времени

Создайте инкрементную линейную модель SVM по умолчанию для двоичной классификации. 

Mdl = incrementalClassificationLinear()
Mdl = 
  incrementalClassificationLinear

            IsWarm: 0
           Metrics: [1x2 table]
        ClassNames: [1x0 double]
    ScoreTransform: 'none'
              Beta: [0x1 double]
              Bias: 0
           Learner: 'svm'


  Properties, Methods

Mdl является incrementalClassificationLinear объект модели. Все его свойства доступны только для чтения.

Mdl должны соответствовать данным, прежде чем их можно будет использовать для выполнения любых других операций.

Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные. 

load humanactivity
n = numel(actid);
rng(1); % For reproducibility
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

Для получения подробной информации о наборе данных введите Description в командной строке.

Отклики могут быть одним из пяти классов: Сидя, стоя, Ходьба, Бега или Танцы. Дихотомизировать ответ, определив, движется ли субъект (actid > 2).

Y = Y > 2;

Подгонка инкрементной модели к данным обучения с помощью updateMetricsAndfit функция. Моделирование потока данных путем обработки порций по 50 наблюдений за один раз. При каждой итерации:

  • Процесс 50 наблюдений.

  • Перезаписать предыдущую инкрементную модель новой, установленной для входящего наблюдения.

  • Сохраните β1, кумулятивные метрики и оконные метрики, чтобы увидеть, как они развиваются во время инкрементного обучения.

% Preallocation
numObsPerChunk = 50;
nchunk = floor(n/numObsPerChunk);
ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta1 = zeros(nchunk,1);    

% Incremental learning
for j = 1:nchunk
    ibegin = min(n,numObsPerChunk*(j-1) + 1);
    iend   = min(n,numObsPerChunk*j);
    idx = ibegin:iend;    
    Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx));
    ce{j,:} = Mdl.Metrics{"ClassificationError",:};
    beta1(j + 1) = Mdl.Beta(1);
end

IncrementalMdl является incrementalClassificationLinear объект модели обучен всем данным в потоке. Во время инкрементного обучения и после разогрева модели updateMetricsAndFit проверяет производительность модели на входящем наблюдении, а затем подгоняет модель под это наблюдение.

Чтобы увидеть, как метрики производительности и β1 развивались во время обучения, постройте их график на отдельных вложенных графиках.

figure;
subplot(2,1,1)
plot(beta1)
ylabel('\beta_1')
xlim([0 nchunk]);
xline(Mdl.EstimationPeriod/numObsPerChunk,'r-.');
subplot(2,1,2)
h = plot(ce.Variables);
xlim([0 nchunk]);
ylabel('Classification Error')
xline(Mdl.EstimationPeriod/numObsPerChunk,'r-.');
xline((Mdl.EstimationPeriod + Mdl.MetricsWarmupPeriod)/numObsPerChunk,'g-.');
legend(h,ce.Properties.VariableNames)
xlabel('Iteration')

Figure contains 2 axes. Axes 1 contains 2 objects of type line, constantline. Axes 2 contains 4 objects of type line, constantline. These objects represent Cumulative, Window.

Сюжет говорит о том, что updateMetricsAndFit выполняет следующее:

  • Вписать β1 во все инкрементные итерации обучения

  • Вычислять метрики производительности только после периода прогрева метрик.

  • Вычислите кумулятивные метрики во время каждой итерации.

  • Вычислите метрику окна после обработки 500 наблюдений.

Открыть сценарий в реальном времени

Подготовка инкрементного двоичного SVM-ученика путем указания периода прогрева метрик, в течение которого updateMetricsAndFit функция подходит только для модели. Укажите размер окна метрик, равный 500 наблюдениям. Обучайте модель с помощью SGD и настройте размер партии SGD, скорость обучения и параметр регуляризации.

Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные. 

load humanactivity
n = numel(actid);
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

Для получения подробной информации о наборе данных введите Description в командной строке.

Отклики могут быть одним из пяти классов: Сидя, Стоя, Валинг, Бега или Танцы. Дихотомизировать ответ, определив, движется ли субъект (actid > 2).

Y = Y > 2;

Создайте инкрементную линейную модель для двоичной классификации. Сконфигурируйте модель следующим образом:

  • Укажите, что инкрементные фитинговые функции обрабатывают необработанные (нестандартные) данные предиктора.

  • Укажите решатель SGD.

  • Предположим, что значение параметра регуляризации гребня 0,001, размер партии SGD 20 и скорость обучения 0,002 хорошо работают для проблемы.

  • Укажите период прогрева показателей 5000 наблюдений.

  • Укажите размер окна метрик, равный 500 наблюдениям.

  • Отслеживайте метрики ошибок классификации и петли, чтобы измерить производительность модели.

Mdl = incrementalClassificationLinear('Standardize',false,...
    'Solver','sgd','Lambda',0.001,'BatchSize',20,'LearnRate',0.002,...
    'MetricsWarmupPeriod',5000,'MetricsWindowSize',500,...
    'Metrics',{'classiferror' 'hinge'})
Mdl = 
  incrementalClassificationLinear

            IsWarm: 0
           Metrics: [2x2 table]
        ClassNames: [1x0 double]
    ScoreTransform: 'none'
              Beta: [0x1 double]
              Bias: 0
           Learner: 'svm'


  Properties, Methods

Mdl является incrementalClassificationLinear объект модели, настроенный для инкрементного обучения.

Подгоните инкрементную модель к остальным данным с помощью updateMetricsAndfit функция. При каждой итерации:

  • Моделирование потока данных путем обработки части из 50 наблюдений. Следует отметить, что размер блока отличается от размера пакета SGD.

  • Перезаписать предыдущую инкрементную модель новой, установленной для входящего наблюдения.

  • Сохраните оцененный коэффициент β10, кумулятивные метрики и оконные метрики, чтобы увидеть, как они развиваются во время инкрементного обучения.

% Preallocation
numObsPerChunk = 50;
nchunk = floor(n/numObsPerChunk);
ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
hinge = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta10 = zeros(nchunk,1);    

% Incremental fitting
for j = 1:nchunk
    ibegin = min(n,numObsPerChunk*(j-1) + 1);
    iend   = min(n,numObsPerChunk*j);
    idx = ibegin:iend;    
    Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx));
    ce{j,:} = Mdl.Metrics{"ClassificationError",:};
    hinge{j,:} = Mdl.Metrics{"HingeLoss",:};
    beta10(j + 1) = Mdl.Beta(10);
end

IncrementalMdl является incrementalClassificationLinear объект модели обучен всем данным в потоке. Во время инкрементного обучения и после разогрева модели updateMetricsAndFit проверяет производительность модели на входящем наблюдении, а затем подгоняет модель под это наблюдение.

Чтобы увидеть, как метрики производительности и β10 развивались во время обучения, постройте их график на отдельных вложенных графиках.

figure;
subplot(2,2,1)
plot(beta10)
ylabel('\beta_{10}')
xlim([0 nchunk]);
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.');
xlabel('Iteration')
subplot(2,2,2)
h = plot(ce.Variables);
xlim([0 nchunk]);
ylabel('Classification Error')
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.');
legend(h,ce.Properties.VariableNames)
xlabel('Iteration')
subplot(2,2,3)
h = plot(hinge.Variables);
xlim([0 nchunk]);
ylabel('Hinge Loss')
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.');
legend(h,hinge.Properties.VariableNames)
xlabel('Iteration')

Figure contains 3 axes. Axes 1 contains 2 objects of type line, constantline. Axes 2 contains 3 objects of type line, constantline. These objects represent Cumulative, Window. Axes 3 contains 3 objects of type line, constantline. These objects represent Cumulative, Window.

Сюжет говорит о том, что updateMetricsAndFit выполняет следующее:

  • Вписать β10 во все инкрементные итерации обучения

  • Вычислять метрики производительности только после периода прогрева метрик.

  • Вычислите кумулятивные метрики во время каждой итерации.

  • Вычислите метрику окна после обработки 500 наблюдений (10 итераций).

Открыть сценарий в реальном времени

Обучение линейной модели для двоичной классификации с помощью fitclinearпреобразуйте его в добавочный ученик, отслеживайте его производительность и подгоняйте под потоковые данные. Переносите варианты обучения с традиционного на инкрементное обучение.

Загрузка и предварительная обработка данных

Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные. Сориентируйте наблюдения данных предиктора в столбцах. 

load humanactivity
rng(1); % For reproducibility
n = numel(actid);
idx = randsample(n,n);
X = feat(idx,:)';
Y = actid(idx);

Для получения подробной информации о наборе данных введите Description в командной строке.

Отклики могут быть одним из пяти классов: Сидя, стоя, Ходьба, Бега или Танцы. Дихотомизировать ответ, определив, движется ли субъект (actid > 2).

Y = Y > 2;

Предположим, что данные, собранные при бездействии субъекта (Y = false) имеет вдвое большее качество, чем когда субъект двигался. Создайте переменную веса, которая приписывает 2 наблюдениям, собранным из свободной темы, а 1 - движущейся теме.

W = ones(n,1) + ~Y;

Линейная модель поезда для двоичной классификации

Поместите линейную модель для двоичной классификации в случайную выборку из половины данных.

idxtt = randsample([true false],n,true);
TTMdl = fitclinear(X(:,idxtt),Y(idxtt),'ObservationsIn','columns',...
    'Weights',W(idxtt))
TTMdl = 
  ClassificationLinear
      ResponseName: 'Y'
        ClassNames: [0 1]
    ScoreTransform: 'none'
              Beta: [60x1 double]
              Bias: -0.1107
            Lambda: 8.2967e-05
           Learner: 'svm'


  Properties, Methods

TTMdl является ClassificationLinear объект модели, представляющий традиционно обученную линейную модель для двоичной классификации.

Преобразовать обученную модель

Преобразование традиционно обученной модели классификации в линейную модель двоичной классификации для инкрементного обучения.

IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl = 
  incrementalClassificationLinear

            IsWarm: 1
           Metrics: [1x2 table]
        ClassNames: [0 1]
    ScoreTransform: 'none'
              Beta: [60x1 double]
              Bias: -0.1107
           Learner: 'svm'


  Properties, Methods

Отдельно отслеживать показатели производительности и модель соответствия

Инкрементное изучение остальных данных с помощью updateMetrics и fit функции. Моделирование потока данных путем одновременной обработки 50 наблюдений. При каждой итерации:

  1. Звонить updateMetrics для обновления кумулятивной и оконной ошибки классификации модели с учетом входящего фрагмента наблюдений. Перезаписать предыдущую инкрементную модель для обновления потерь в Metrics собственность. Обратите внимание, что функция не подходит модели к порции данных - порция является «новыми» данными для модели. Укажите, что наблюдения ориентированы в столбцах, и укажите веса наблюдений.

  2. Звонить fit для соответствия модели входящему фрагменту наблюдений. Перезаписать предыдущую инкрементную модель для обновления параметров модели. Укажите, что наблюдения ориентированы в столбцах, и укажите веса наблюдений.

  3. Сохраните ошибку классификации и первый оцененный коэффициент β1.

% Preallocation
idxil = ~idxtt;
nil = sum(idxil);
numObsPerChunk = 50;
nchunk = floor(nil/numObsPerChunk);
ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]);
beta1 = [IncrementalMdl.Beta(1); zeros(nchunk,1)];
Xil = X(:,idxil);
Yil = Y(idxil);
Wil = W(idxil);

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;
    IncrementalMdl = updateMetrics(IncrementalMdl,Xil(:,idx),Yil(idx),...
        'ObservationsIn','columns','Weights',Wil(idx));
    ce{j,:} = IncrementalMdl.Metrics{"ClassificationError",:};
    IncrementalMdl = fit(IncrementalMdl,Xil(:,idx),Yil(idx),'ObservationsIn','columns',...
        'Weights',Wil(idx));
    beta1(j + 1) = IncrementalMdl.Beta(end);
end

IncrementalMdl является incrementalClassificationLinear объект модели обучен всем данным в потоке.

Кроме того, можно использовать updateMetricsAndFit для обновления метрик производительности модели с учетом нового фрагмента данных, а затем подгонки модели к данным.

Постройте график трассировки метрик производительности и оценочного коэффициента β1.

figure;
subplot(2,1,1)
h = plot(ce.Variables);
xlim([0 nchunk]);
ylabel('Classification Error')
legend(h,ce.Properties.VariableNames)
subplot(2,1,2)
plot(beta1)
ylabel('\beta_1')
xlim([0 nchunk]);
xlabel('Iteration')

Figure contains 2 axes. Axes 1 contains 2 objects of type line. These objects represent Cumulative, Window. Axes 2 contains an object of type line.

Кумулятивные потери стабильны и постепенно уменьшаются, тогда как оконные потери скачет.

β1 сначала резко меняется, затем постепенно выравнивается как fit обрабатывает больше кусков.

Подробнее

развернуть все

Совет

  • После создания модели можно создать код C/C + +, который выполняет инкрементное изучение потока данных. Для создания кода C/C + + требуется Coder™ MATLAB. Дополнительные сведения см. в разделе Введение в создание кода.

Алгоритмы

развернуть все

Ссылки

[1] Кемпка, Михал, Войцех Котловский и Манфред К. Вармут. «Адаптивный масштаб - инвариантные онлайн-алгоритмы для обучения линейным моделям». КоРР (февраль 2019). https://arxiv.org/abs/1902.07528.

[2] Лэнгфорд, Дж., Л. Ли и Т. Чжан. «Разреженное онлайн-обучение через усеченный градиент». Дж. Мач. Рес., т. 10, 2009, стр. 777-801.

[3] Шалев-Шварц, С., Я. Сингер и Н. Сребро. «Pegasos: Основной оценочный вычислитель субпогренов для SVM». Материалы 24-й Международной конференции по машинному обучению, ICML "07, 2007, стр. 807-814.

[4] Сюй, Вэй. «К оптимальному однопроходному крупномасштабному обучению со усредненным стохастическим градиентным спуском». CoRR, abs/1107.2490, 2011.

Расширенные возможности

.

См. также

Функции

Объекты

Темы

Представлен в R2020b

Документация по инструментам для статистического и машинного обучения

Поддержка