Наивная классификационная модель Байеса для инкрементного обучения
incrementalClassificationNaiveBayes создает incrementalClassificationNaiveBayes объект модели, который представляет наивную многоклассовую классификационную модель Байеса для инкрементного обучения. incrementalClassificationNaiveBayes поддерживает нормально распределенные переменные предиктора.
В отличие от другого Statistics and Machine Learning Toolbox™ объектов модели, incrementalClassificationNaiveBayes можно вызвать непосредственно. Кроме того, можно задать опции обучения, такие как строения метрики эффективности и предыдущие вероятности класса, прежде чем подгонять модель к данным. После создания incrementalClassificationNaiveBayes объект подготовлен для инкрементного обучения.
incrementalClassificationNaiveBayes лучше всего подходит для инкрементного обучения. Для традиционного подхода к обучению наивной модели Байеса для многоклассовой классификации (такой как создание модели путем подбора ее к данным, выполнения перекрестной валидации, настройки гиперпараметров и так далее), смотрите fitcnb.
Можно создать incrementalClassificationNaiveBayes моделировать объект несколькими способами:
Вызов функции непосредственно - настройте опции инкрементного обучения или задайте опции конкретного учащегося, вызывая incrementalClassificationNaiveBayes непосредственно. Этот подход лучше всего, когда у вас еще нет данных или вы хотите немедленно начать инкрементное обучение. Необходимо задать максимальное количество классов или всех имен классов, ожидаемых в данных отклика во время инкрементного обучения.
Преобразуйте традиционно обученную модель - Чтобы инициализировать наивную классификационную модель Байеса для инкрементного обучения с использованием параметров модели обученного наивного объекта модели Байеса, можно преобразовать традиционно обученную модель в incrementalClassificationNaiveBayes моделировать объект путем передачи его в incrementalLearner функция.
Вызовите функцию инкрементного обучения - fit, updateMetrics, и updateMetricsAndFit принять сконфигурированную incrementalClassificationNaiveBayes моделируйте объект и данные как вход и возвращайте incrementalClassificationNaiveBayes объект модели обновлен информацией, полученной из модели входа, и данными.
Mdl = incrementalClassificationNaiveBayes('MaxNumClasses',MaxNumClasses)Mdl, где MaxNumClasses - максимальное количество классов, ожидаемое в данных отклика во время инкрементного обучения. Свойства модели по умолчанию содержат заполнители для неизвестных параметров модели. Необходимо обучить модель по умолчанию, прежде чем можно будет отследить ее эффективность или сгенерировать предсказания из нее.
Mdl = incrementalClassificationNaiveBayes('ClassNames',ClassNames)ClassNames ожидается в данных отклика во время инкрементного обучения и устанавливает ClassNames свойство.
Mdl = incrementalClassificationNaiveBayes(___,Name,Value)incrementalClassificationNaiveBayes('MaxNumClasses',5,'MetricsWarmupPeriod',100) устанавливает максимальное количество классов, ожидаемых в данных отклика, равным 5, и устанавливает период разогрева метрики равным 100.
fit | Обучите наивную модель классификации Байеса для инкрементного обучения |
updateMetricsAndFit | Обновите метрики эффективности в наивной модели классификации Байеса для инкрементного обучения с учетом новых данных и train |
updateMetrics | Обновляйте метрики эффективности в наивной модели классификации Байеса для инкрементного обучения с учетом новых данных |
logp | Логгирование безусловной плотности вероятностей наивной модели классификации Байеса для инкрементного обучения |
loss | Потеря наивной модели классификации Байеса для инкрементного обучения на пакете данных |
predict | Предсказать ответы на новые наблюдения из наивной модели классификации Байеса для инкрементного обучения |
Чтобы создать наивную модель классификации Байеса для инкрементного обучения, наименьший объем информации, которую вы должны задать, является максимальным количеством классов, которые вы ожидаете, что модель испытает ('MaxNumClasses' аргумент имя-значение). Когда вы подгоняете модель к входящим пакетам данных с помощью инкрементальной функции подгонки, модель собирает недавно опытные классы в своей ClassNames свойство. Если заданное ожидаемое максимальное количество классов неточно, возникает одна из следующих альтернатив:
Прежде чем инкрементальная функция аппроксимации испытывает ожидаемое максимальное количество классов, модель является холодной. Следовательно, updateMetrics и updateMetricsAndFit функции не измеряют показатели эффективности.
Если количество классов превышает максимально ожидаемое, инкрементальная функция аппроксимации вызывает ошибку.
В этом примере показано, как создать наивную модель классификации Байеса для инкрементного обучения, когда вы знаете только ожидаемое максимальное количество классов в данных. Кроме того, пример иллюстрирует последствия, когда инкрементные функции аппроксимации испытывают все ожидаемые классы рано и поздно в выборке.
В данном примере рассмотрите возможность обучения устройства для предсказания того, сидит ли субъект, стоит ли он, ходит, бегает или танцует, на основе биометрических данных, измеренных на объекте. Поэтому устройство имеет максимум 5 классов, из которых можно выбрать.
Опыт Ожидаемое Максимальное Количество Классов Раннее в Выборке
Создайте инкрементный наивный ученик Бейеса для многоклассового обучения. Задайте в данных не более 5 классов.
MdlEarly = incrementalClassificationNaiveBayes('MaxNumClasses',5)MdlEarly =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [1×2 table]
ClassNames: [1×0 double]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {}
Properties, Methods
MdlEarly является incrementalClassificationNaiveBayes объект модели. Все его свойства доступны только для чтения.
MdlEarly необходимо соответствовать данным, прежде чем использовать их для выполнения любых других операций.
Загрузите набор данных о деятельности человека. Случайным образом перетасуйте данные.
load humanactivity n = numel(actid); rng(1); % For reproducibility idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения дополнительной информации о наборе данных введите Description в командной строке.
Подгонка инкрементальной модели к обучающим данным с помощью updateMetricsAndfit функция. Симулируйте поток данных путем обработки фрагментов по 50 наблюдений за раз. При каждой итерации:
Обработайте 50 наблюдений.
Перезаписать предыдущую инкрементальную модель на новую, подобранную входящему наблюдению.
Магазин (среднее значение первой переменной предиктора в первом классе), совокупные метрики и метрики окна, чтобы увидеть, как они развиваются во время инкрементного обучения.
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mu1 = zeros(nchunk,1); % Incremental learning for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; MdlEarly = updateMetricsAndFit(MdlEarly,X(idx,:),Y(idx)); mc{j,:} = MdlEarly.Metrics{"MinimalCost",:}; mu1(j + 1) = MdlEarly.DistributionParameters{1,1}(1); end
MdlEarly является incrementalClassificationNaiveBayes объект модели обучен на всех данных в потоке. Во время инкрементного обучения и после прогрева модели updateMetricsAndFit проверяет эффективность модели при входящем наблюдении, а затем подбирает модель к этому наблюдению.
Чтобы увидеть, как метрики эффективности и развивался во время обучения, строил их на отдельных подграфиках.
figure; subplot(2,1,1) plot(mu1) ylabel('\mu_{11}') xlim([0 nchunk]); subplot(2,1,2) h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') xline(MdlEarly.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,mc.Properties.VariableNames) xlabel('Iteration')
График предполагает, что updateMetricsAndFit делает следующее:
Подгонка во время всех итераций инкрементного обучения
Вычислите показатели эффективности только после периода прогрева метрики.
Вычислите совокупные метрики во время каждой итерации.
Вычислите метрики окна после обработки 500 наблюдений.
Опыт Ожидаемое Максимальное Количество Классов Поздно В Выборке
Создайте другую наивную модель Байеса для инкрементного обучения для цели.
MdlLate = incrementalClassificationNaiveBayes('MaxNumClasses',5)MdlLate =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [1×2 table]
ClassNames: [1×0 double]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {}
Properties, Methods
Переместите все наблюдения, помеченные классом 5, в конец выборки.
idx5 = Y == 5; Xnew = [X(~idx5,:); X(idx5,:)]; Ynew = [Y(~idx5) ;Y(idx5)];
Подгонка инкрементной модели и результатов графика, как выполнено ранее.
mcnew = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mu1new = zeros(nchunk,1); for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; MdlLate = updateMetricsAndFit(MdlLate,Xnew(idx,:),Ynew(idx)); mcnew{j,:} = MdlLate.Metrics{"MinimalCost",:}; mu1new(j + 1) = MdlLate.DistributionParameters{1,1}(1); end figure; subplot(2,1,1) plot(mu1new) ylabel('\mu_{11}') xlim([0 nchunk]); subplot(2,1,2) h = plot(mcnew.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') xline(MdlLate.MetricsWarmupPeriod/numObsPerChunk,'r-.'); xline(sum(~idx5)/numObsPerChunk,'g-.'); legend(h,mcnew.Properties.VariableNames,'Location','best') xlabel('Iteration')
The updateMetricsAndFit функция обучается в течение инкрементного обучения, но функция начинает отслеживать метрики эффективности после того, как модель подгоняется ко всему ожидаемому количеству классов (зеленая вертикальная линия в нижней подграфике).
В этом примере показано, как создать инкрементного наивного учащегося Байеса, когда вы знаете все имена классов в данных.
Рассмотрите обучение устройства, чтобы предсказать, сидит ли субъект, стоит ли он, ходит, бегает или танцует, на основе биометрических данных, измеренных по теме, и вы знаете, что имена классов 1 через 5 к деятельности.
Создайте инкрементный наивный ученик Бейеса для многоклассового обучения. Задайте имена классов.
classnames = 1:5;
Mdl = incrementalClassificationNaiveBayes('ClassNames',classnames)Mdl =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [1x2 table]
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {5x0 cell}
Properties, Methods
Mdl является incrementalClassificationNaiveBayes объект модели. Все его свойства доступны только для чтения.
Mdl необходимо соответствовать данным, прежде чем использовать их для выполнения любых других операций.
Загрузите набор данных о деятельности человека. Случайным образом перетасуйте данные.
load humanactivity n = numel(actid); rng(1); % For reproducibility idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения дополнительной информации о наборе данных введите Description в командной строке.
Подгонка инкрементальной модели к обучающим данным с помощью updateMetricsAndfit функция. Симулируйте поток данных путем обработки фрагментов по 50 наблюдений за раз. При каждой итерации:
Обработайте 50 наблюдений.
Перезаписать предыдущую инкрементальную модель на новую, подобранную входящему наблюдению.
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); % Incremental learning for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx)); end
В дополнение к указанию максимального количества имен классов, подготовьте инкрементального наивного учащегося Байеса путем определения периода разогрева метрики, в течение которого updateMetricsAndFit функция подходит только для модели. Задайте размер окна метрики 500 наблюдений.
Загрузите набор данных о деятельности человека. Случайным образом перетасуйте данные.
load humanactivity
n = numel(actid);
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);Для получения дополнительной информации о наборе данных введите Description в командной строке.
Создайте инкрементальную линейную модель для двоичной классификации. Сконфигурируйте модель следующим образом:
Задайте период прогрева метрики 5000 наблюдений.
Задайте размер окна метрики 500 наблюдений.
Отследите ошибку классификации и минимальные затраты, чтобы измерить эффективность модели.
Mdl = incrementalClassificationNaiveBayes('MaxNumClasses',5,'MetricsWarmupPeriod',5000,... 'MetricsWindowSize',500,'Metrics',["classiferror" "mincost"])
Mdl =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [2x2 table]
ClassNames: [1x0 double]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {}
Properties, Methods
Mdl является incrementalClassificationNaiveBayes объект модели, сконфигурированный для инкрементного обучения.
Подгонка инкрементной модели к остальной части данных с помощью updateMetricsAndfit функция. При каждой итерации:
Симулируйте поток данных путем обработки фрагмента 50 наблюдений.
Перезаписать предыдущую инкрементальную модель на новую, подобранную входящему наблюдению.
Магазин (стандартное отклонение первой переменной предиктора в первом классе), совокупные метрики и метрики окна, чтобы увидеть, как они развиваются во время инкрементного обучения.
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); sigma11 = zeros(nchunk,1); % Incremental fitting for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx)); ce{j,:} = Mdl.Metrics{"ClassificationError",:}; mc{j,:} = Mdl.Metrics{"MinimalCost",:}; sigma11(j + 1) = Mdl.DistributionParameters{1,1}(2); end
IncrementalMdl является incrementalClassificationNaiveBayes объект модели обучен на всех данных в потоке. Во время инкрементного обучения и после прогрева модели updateMetricsAndFit проверяет эффективность модели при входящем наблюдении, а затем подбирает модель к этому наблюдению.
Чтобы увидеть, как метрики эффективности и развивался во время обучения, строил их на отдельных подграфиках.
figure; subplot(2,2,1) plot(sigma11) ylabel('\sigma_{11}') xlim([0 nchunk]); xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); xlabel('Iteration') subplot(2,2,2) h = plot(ce.Variables); xlim([0 nchunk]); ylabel('Classification Error') xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,ce.Properties.VariableNames) xlabel('Iteration') subplot(2,2,3) h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,mc.Properties.VariableNames) xlabel('Iteration')
График предполагает, что updateMetricsAndFit делает следующее:
Подгонка во время всех итераций инкрементного обучения
Вычислите показатели эффективности только после периода прогрева метрики.
Вычислите совокупные метрики во время каждой итерации.
Вычислите метрики окна после обработки 500 наблюдений (10 итераций).
Обучите наивную модель Байеса для многоклассовой классификации при помощи fitcnbпреобразуйте его в пошагового ученика, отслеживайте его эффективность и подгоняйте к потоковым данным. Перенос опций обучения от традиционного к инкрементному обучению.
Загрузка и предварительная обработка данных
Загрузите набор данных о деятельности человека. Случайным образом перетасуйте данные.
load humanactivity rng(1); % For reproducibility n = numel(actid); idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения дополнительной информации о наборе данных введите Description в командной строке.
Предположим, что данные, собранные, когда субъект находился в простое (Y > 2) имеет удвоенное качество, чем когда субъект двигался. Создайте весовую переменную, которая атрибутирует 2 наблюдениям, собранным от бездействующего субъекта, и 1 - движущемуся субъекту.
W = ones(n,1) + (Y < 3);
Обучите наивную модель Байеса
Подгонка наивной модели Байеса для многоклассовой классификации к случайной выборке из половины данных.
idxtt = randsample([true false],n,true);
TTMdl = fitcnb(X(idxtt,:),Y(idxtt),'Weights',W(idxtt))TTMdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
NumObservations: 12053
DistributionNames: {1x60 cell}
DistributionParameters: {5x60 cell}
Properties, Methods
TTMdl является ClassificationNaiveBayes объект модели, представляющий традиционно обученную наивную модель Байеса.
Преобразуйте обученную модель
Преобразуйте традиционно обученную наивную модель Байеса в наивную модель классификации Байеса для инкрементного обучения.
IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl =
incrementalClassificationNaiveBayes
IsWarm: 1
Metrics: [1x2 table]
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
DistributionNames: {1x60 cell}
DistributionParameters: {5x60 cell}
Properties, Methods
Отдельно отслеживайте метрики эффективности и подгоняйте модель
Выполните инкрементальное обучение для остальных данных с помощью updateMetrics и fit функций. Симулируйте поток данных путем обработки 50 наблюдений за раз. При каждой итерации:
Функции updateMetrics обновить совокупную и оконную ошибку классификации модели с учетом входящего фрагмента наблюдений. Перезаписайте предыдущую инкрементальную модель, чтобы обновить потери в Metrics свойство. Обратите внимание, что функция не подгоняет модель к фрагменту данных - фрагмент является «новыми» данными для модели. Задайте веса наблюдений.
Функции fit для подгонки модели к входящему фрагменту наблюдений. Перезаписайте предыдущую инкрементную модель, чтобы обновить параметры модели. Задайте веса наблюдений.
Сохраните минимальные затраты и среднее значение первой переменной первого класса .
% Preallocation idxil = ~idxtt; nil = sum(idxil); numObsPerChunk = 50; nchunk = floor(nil/numObsPerChunk); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mu11 = [IncrementalMdl.DistributionParameters{1,1}(1); zeros(nchunk,1)]; Xil = X(idxil,:); Yil = Y(idxil); Wil = W(idxil); % Incremental fitting for j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1); iend = min(nil,numObsPerChunk*j); idx = ibegin:iend; IncrementalMdl = updateMetrics(IncrementalMdl,Xil(idx,:),Yil(idx),... 'Weights',Wil(idx)); mc{j,:} = IncrementalMdl.Metrics{"MinimalCost",:}; IncrementalMdl = fit(IncrementalMdl,Xil(idx,:),Yil(idx),'Weights',Wil(idx)); mu11(j + 1) = IncrementalMdl.DistributionParameters{1,1}(1); end
IncrementalMdl является incrementalClassificationNaiveBayes объект модели обучен на всех данных в потоке.
Также можно использовать updateMetricsAndFit чтобы обновить метрики эффективности модели, заданные новый фрагмент данных, и затем подгонять модель к данным.
Постройте график трассировки метрик эффективности и оценочного коэффициента .
figure; subplot(2,1,1) h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') legend(h,mc.Properties.VariableNames) subplot(2,1,2) plot(mu11) ylabel('\mu_11') xlim([0 nchunk]); xlabel('Iteration')
Совокупные потери стабильны и постепенно уменьшаются, в то время как потери окна скачут.
сначала резко изменяется, затем постепенно выравнивается как fit обрабатывает больше фрагменты.