Наивная модель классификации Байеса для инкрементного обучения
incrementalClassificationNaiveBayes создает incrementalClassificationNaiveBayes объект модели, который представляет наивную многоклассную классификационную модель Байеса для инкрементного обучения. incrementalClassificationNaiveBayes поддерживает нормально распределенные переменные предиктора.
В отличие от других объектов модели Toolbox™ статистики и машинного обучения, incrementalClassificationNaiveBayes может вызываться напрямую. Кроме того, перед подгонкой модели к данным можно задать такие параметры обучения, как конфигурации показателей производительности и вероятности предыдущих классов. После создания incrementalClassificationNaiveBayes объект подготовлен к инкрементному обучению.
incrementalClassificationNaiveBayes лучше всего подходит для инкрементного обучения. Традиционный подход к обучению наивной модели Байеса для мультиклассовой классификации (например, создание модели путем подгонки ее к данным, выполнение перекрестной проверки, настройка гиперпараметров и т.д.) см. в разделе fitcnb.
Можно создать incrementalClassificationNaiveBayes объект модели несколькими способами:
Вызывайте функцию напрямую - настройте параметры инкрементного обучения или укажите параметры, специфичные для учащегося, путем вызова incrementalClassificationNaiveBayes непосредственно. Этот подход лучше всего подходит, когда у вас еще нет данных или вы хотите немедленно начать инкрементное обучение. Необходимо указать максимальное количество классов или всех имен классов, ожидаемых в данных ответа во время инкрементного обучения.
Преобразовать традиционно обученную модель - чтобы инициализировать наивную модель классификации Байеса для инкрементного обучения с использованием параметров модели обучаемого наивного объекта модели Байеса, можно преобразовать традиционно обученную модель в incrementalClassificationNaiveBayes объект модели путем передачи его в incrementalLearner функция.
Вызов функции инкрементного обучения - fit, updateMetrics, и updateMetricsAndFit принять сконфигурированный incrementalClassificationNaiveBayes объект модели и данные в качестве входных данных и возвращают incrementalClassificationNaiveBayes объект модели обновлен информацией, полученной из входной модели и данных.
Mdl = incrementalClassificationNaiveBayes('MaxNumClasses',MaxNumClasses)Mdl, где MaxNumClasses - максимальное число классов, ожидаемых в данных ответа во время инкрементного обучения. Свойства модели по умолчанию содержат местозаполнители для неизвестных параметров модели. Необходимо обучить модель по умолчанию, прежде чем можно будет отслеживать ее производительность или генерировать прогнозы на ее основе.
Mdl = incrementalClassificationNaiveBayes('ClassNames',ClassNames)ClassNames ожидается в данных ответа во время инкрементного обучения и устанавливает ClassNames собственность.
Mdl = incrementalClassificationNaiveBayes(___,Name,Value)incrementalClassificationNaiveBayes('MaxNumClasses',5,'MetricsWarmupPeriod',100) устанавливает максимальное количество классов, ожидаемых в данных ответа 5и устанавливает период прогрева метрик равным 100.
fit | Обучить наивную модель классификации Байеса для инкрементного обучения |
updateMetricsAndFit | Обновление показателей производительности в наивной модели классификации Байеса для инкрементного обучения с учетом новых данных и модели обучения |
updateMetrics | Обновление показателей производительности в наивной модели классификации Байеса для инкрементного обучения с учетом новых данных |
logp | Логарифмическая безусловная плотность вероятности наивной модели классификации Байеса для инкрементного обучения |
loss | Потеря наивной модели классификации Байеса для инкрементного обучения на пакете данных |
predict | Прогнозировать ответы для новых наблюдений из наивной модели классификации Байеса для инкрементного обучения |
Чтобы создать наивную модель классификации Байеса для инкрементного обучения, необходимо указать наименьший объем информации - максимальное количество классов, которое, как ожидается, будет испытано моделью ('MaxNumClasses' аргумент «имя-значение»). При подгонке модели к входящим пакетам данных с помощью инкрементной функции фитинга модель собирает новые опытные классы в своих ClassNames собственность. Если указанное ожидаемое максимальное число классов неточно, возникает одна из следующих альтернатив:
Прежде чем функция инкрементной подгонки получит ожидаемое максимальное количество классов, модель будет холодной. Следовательно, updateMetrics и updateMetricsAndFit функции не измеряют показатели производительности.
Если число классов превышает максимально допустимое, функция инкрементной подгонки выдает ошибку.
В этом примере показано, как создать наивную модель классификации Байеса для инкрементного обучения, если известно только ожидаемое максимальное количество классов в данных. Кроме того, пример иллюстрирует последствия, когда инкрементные фитинговые функции испытывают все ожидаемые классы на ранних и поздних этапах выборки.
Для этого примера рассмотрим тренировку устройства, чтобы предсказать, сидит ли субъект, стоит, ходит, бегает или танцует на основе биометрических данных, измеренных на предмете. Поэтому устройство имеет максимум 5 классов, из которых можно выбрать.
Ожидаемое максимальное количество классов на ранних этапах выборки
Создание инкрементного наивного обучающегося Bayes для многоклассового обучения. Укажите максимум 5 классов в данных.
MdlEarly = incrementalClassificationNaiveBayes('MaxNumClasses',5)MdlEarly =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [1×2 table]
ClassNames: [1×0 double]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {}
Properties, Methods
MdlEarly является incrementalClassificationNaiveBayes объект модели. Все его свойства доступны только для чтения.
MdlEarly должны соответствовать данным, прежде чем их можно будет использовать для выполнения любых других операций.
Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные.
load humanactivity n = numel(actid); rng(1); % For reproducibility idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения подробной информации о наборе данных введите Description в командной строке.
Подгонка инкрементной модели к данным обучения с помощью updateMetricsAndfit функция. Моделирование потока данных путем обработки порций по 50 наблюдений за один раз. При каждой итерации:
Процесс 50 наблюдений.
Перезаписать предыдущую инкрементную модель новой, установленной для входящего наблюдения.
Храните (среднее значение первой предикторной переменной в первом классе), кумулятивные метрики и оконные метрики, чтобы увидеть, как они развиваются во время инкрементного обучения.
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mu1 = zeros(nchunk,1); % Incremental learning for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; MdlEarly = updateMetricsAndFit(MdlEarly,X(idx,:),Y(idx)); mc{j,:} = MdlEarly.Metrics{"MinimalCost",:}; mu1(j + 1) = MdlEarly.DistributionParameters{1,1}(1); end
MdlEarly является incrementalClassificationNaiveBayes объект модели обучен всем данным в потоке. Во время инкрементного обучения и после разогрева модели updateMetricsAndFit проверяет производительность модели на входящем наблюдении, а затем подгоняет модель под это наблюдение.
Чтобы увидеть, как во время обучения развивались показатели производительности и мк11, постройте их график на отдельных вложенных графиках.
figure; subplot(2,1,1) plot(mu1) ylabel('\mu_{11}') xlim([0 nchunk]); subplot(2,1,2) h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') xline(MdlEarly.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,mc.Properties.VariableNames) xlabel('Iteration')
Сюжет говорит о том, что updateMetricsAndFit выполняет следующее:
Подгоняйте во время всех инкрементных итераций обучения
Вычислять метрики производительности только после периода прогрева метрик.
Вычислите кумулятивные метрики во время каждой итерации.
Вычислите метрику окна после обработки 500 наблюдений.
Ожидаемое максимальное количество классов с опозданием в выборке
Создайте другую наивную модель Байеса для инкрементного обучения для цели.
MdlLate = incrementalClassificationNaiveBayes('MaxNumClasses',5)MdlLate =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [1×2 table]
ClassNames: [1×0 double]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {}
Properties, Methods
Переместите все наблюдения, помеченные классом 5, в конец образца.
idx5 = Y == 5; Xnew = [X(~idx5,:); X(idx5,:)]; Ynew = [Y(~idx5) ;Y(idx5)];
Подгонка результатов инкрементной модели и графика, как было выполнено ранее.
mcnew = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mu1new = zeros(nchunk,1); for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; MdlLate = updateMetricsAndFit(MdlLate,Xnew(idx,:),Ynew(idx)); mcnew{j,:} = MdlLate.Metrics{"MinimalCost",:}; mu1new(j + 1) = MdlLate.DistributionParameters{1,1}(1); end figure; subplot(2,1,1) plot(mu1new) ylabel('\mu_{11}') xlim([0 nchunk]); subplot(2,1,2) h = plot(mcnew.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') xline(MdlLate.MetricsWarmupPeriod/numObsPerChunk,'r-.'); xline(sum(~idx5)/numObsPerChunk,'g-.'); legend(h,mcnew.Properties.VariableNames,'Location','best') xlabel('Iteration')
updateMetricsAndFit функция проходит через инкрементное обучение, но функция начинает отслеживать метрики производительности после того, как модель будет адаптирована ко всему ожидаемому количеству классов (зеленая вертикальная линия в нижней части графика).
В этом примере показано, как создать инкрементного наивного ученика Байеса, когда вы знаете все имена классов в данных.
Рассмотрите возможность обучения устройству, чтобы предсказать, сидит ли субъект, стоит, ходит, бегает или танцует на основе биометрических данных, измеренных по предмету, и вы знаете, что названия классов отображают 1-5 на мероприятие.
Создание инкрементного наивного обучающегося Bayes для многоклассового обучения. Укажите имена классов.
classnames = 1:5;
Mdl = incrementalClassificationNaiveBayes('ClassNames',classnames)Mdl =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [1x2 table]
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {5x0 cell}
Properties, Methods
Mdl является incrementalClassificationNaiveBayes объект модели. Все его свойства доступны только для чтения.
Mdl должны соответствовать данным, прежде чем их можно будет использовать для выполнения любых других операций.
Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные.
load humanactivity n = numel(actid); rng(1); % For reproducibility idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения подробной информации о наборе данных введите Description в командной строке.
Подгонка инкрементной модели к данным обучения с помощью updateMetricsAndfit функция. Моделирование потока данных путем обработки порций по 50 наблюдений за один раз. При каждой итерации:
Процесс 50 наблюдений.
Перезаписать предыдущую инкрементную модель новой, установленной для входящего наблюдения.
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); % Incremental learning for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx)); end
Помимо указания максимального количества имен классов, подготовьте инкрементного наивного ученика Байеса, указав период разминки метрик, в течение которого updateMetricsAndFit функция подходит только для модели. Укажите размер окна метрик, равный 500 наблюдениям.
Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные.
load humanactivity
n = numel(actid);
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);Для получения подробной информации о наборе данных введите Description в командной строке.
Создайте инкрементную линейную модель для двоичной классификации. Сконфигурируйте модель следующим образом:
Укажите период прогрева показателей 5000 наблюдений.
Укажите размер окна метрик, равный 500 наблюдениям.
Отслеживание ошибки классификации и минимальных затрат для измерения производительности модели.
Mdl = incrementalClassificationNaiveBayes('MaxNumClasses',5,'MetricsWarmupPeriod',5000,... 'MetricsWindowSize',500,'Metrics',["classiferror" "mincost"])
Mdl =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [2x2 table]
ClassNames: [1x0 double]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {}
Properties, Methods
Mdl является incrementalClassificationNaiveBayes объект модели, настроенный для инкрементного обучения.
Подгоните инкрементную модель к остальным данным с помощью updateMetricsAndfit функция. При каждой итерации:
Моделирование потока данных путем обработки части из 50 наблюдений.
Перезаписать предыдущую инкрементную модель новой, установленной для входящего наблюдения.
Запишите ( отклонение первой предикторной переменной в первом классе), кумулятивные метрики и оконные метрики, чтобы увидеть, как они развиваются во время инкрементного обучения.
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); ce = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); sigma11 = zeros(nchunk,1); % Incremental fitting for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx)); ce{j,:} = Mdl.Metrics{"ClassificationError",:}; mc{j,:} = Mdl.Metrics{"MinimalCost",:}; sigma11(j + 1) = Mdl.DistributionParameters{1,1}(2); end
IncrementalMdl является incrementalClassificationNaiveBayes объект модели обучен всем данным в потоке. Во время инкрементного обучения и после разогрева модели updateMetricsAndFit проверяет производительность модели на входящем наблюдении, а затем подгоняет модель под это наблюдение.
Чтобы увидеть, как во время обучения развивались метрики производительности и start11, постройте их график на отдельных субплотах.
figure; subplot(2,2,1) plot(sigma11) ylabel('\sigma_{11}') xlim([0 nchunk]); xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); xlabel('Iteration') subplot(2,2,2) h = plot(ce.Variables); xlim([0 nchunk]); ylabel('Classification Error') xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,ce.Properties.VariableNames) xlabel('Iteration') subplot(2,2,3) h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,mc.Properties.VariableNames) xlabel('Iteration')
Сюжет говорит о том, что updateMetricsAndFit выполняет следующее:
Подгонка (« время всех инкрементных итераций обучения
Вычислять метрики производительности только после периода прогрева метрик.
Вычислите кумулятивные метрики во время каждой итерации.
Вычислите метрику окна после обработки 500 наблюдений (10 итераций).
Обучить наивную модель Байеса для мультиклассовой классификации с помощью fitcnbпреобразуйте его в добавочный ученик, отслеживайте его производительность и подгоняйте под потоковые данные. Переносите варианты обучения с традиционного на инкрементное обучение.
Загрузка и предварительная обработка данных
Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные.
load humanactivity rng(1); % For reproducibility n = numel(actid); idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения подробной информации о наборе данных введите Description в командной строке.
Предположим, что данные, собранные при бездействии субъекта (Y > 2) имеет вдвое большее качество, чем когда субъект двигался. Создайте переменную веса, которая приписывает 2 наблюдениям, собранным из свободной темы, а 1 - движущейся теме.
W = ones(n,1) + (Y < 3);
Модель Трейна Наива Байеса
Поместите наивную модель Байеса для многоклассовой классификации в случайную выборку из половины данных.
idxtt = randsample([true false],n,true);
TTMdl = fitcnb(X(idxtt,:),Y(idxtt),'Weights',W(idxtt))TTMdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
NumObservations: 12053
DistributionNames: {1x60 cell}
DistributionParameters: {5x60 cell}
Properties, Methods
TTMdl является ClassificationNaiveBayes объект модели, представляющий традиционно обученную наивную модель Байеса.
Преобразовать обученную модель
Преобразуйте традиционно обученную наивную модель Байеса в наивную модель классификации Байеса для инкрементного обучения.
IncrementalMdl = incrementalLearner(TTMdl)
IncrementalMdl =
incrementalClassificationNaiveBayes
IsWarm: 1
Metrics: [1x2 table]
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
DistributionNames: {1x60 cell}
DistributionParameters: {5x60 cell}
Properties, Methods
Отдельно отслеживать показатели производительности и модель соответствия
Инкрементное изучение остальных данных с помощью updateMetrics и fit функции. Моделирование потока данных путем одновременной обработки 50 наблюдений. При каждой итерации:
Звонить updateMetrics для обновления кумулятивной и оконной ошибки классификации модели с учетом входящего фрагмента наблюдений. Перезаписать предыдущую инкрементную модель для обновления потерь в Metrics собственность. Обратите внимание, что функция не подходит модели к порции данных - порция является «новыми» данными для модели. Укажите веса наблюдения.
Звонить fit для соответствия модели входящему фрагменту наблюдений. Перезаписать предыдущую инкрементную модель для обновления параметров модели. Укажите веса наблюдения.
Запишите минимальную стоимость и среднее значение первой предикторной переменной первого класса .
% Preallocation idxil = ~idxtt; nil = sum(idxil); numObsPerChunk = 50; nchunk = floor(nil/numObsPerChunk); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mu11 = [IncrementalMdl.DistributionParameters{1,1}(1); zeros(nchunk,1)]; Xil = X(idxil,:); Yil = Y(idxil); Wil = W(idxil); % Incremental fitting for j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1); iend = min(nil,numObsPerChunk*j); idx = ibegin:iend; IncrementalMdl = updateMetrics(IncrementalMdl,Xil(idx,:),Yil(idx),... 'Weights',Wil(idx)); mc{j,:} = IncrementalMdl.Metrics{"MinimalCost",:}; IncrementalMdl = fit(IncrementalMdl,Xil(idx,:),Yil(idx),'Weights',Wil(idx)); mu11(j + 1) = IncrementalMdl.DistributionParameters{1,1}(1); end
IncrementalMdl является incrementalClassificationNaiveBayes объект модели обучен всем данным в потоке.
Кроме того, можно использовать updateMetricsAndFit для обновления метрик производительности модели с учетом нового фрагмента данных, а затем подгонки модели к данным.
Постройте график трассировки метрик производительности и расчетного коэффициента .
figure; subplot(2,1,1) h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') legend(h,mc.Properties.VariableNames) subplot(2,1,2) plot(mu11) ylabel('\mu_11') xlim([0 nchunk]); xlabel('Iteration')
Кумулятивные потери стабильны и постепенно уменьшаются, тогда как оконные потери скачет.
сначала резко меняется, затем постепенно выравнивается как fit обрабатывает больше кусков.