Обновление показателей производительности в наивной модели классификации Байеса для инкрементного обучения с учетом новых данных и модели обучения
Данные потоковой передачи, updateMetricsAndFit сначала оценивает производительность настроенной наивной модели классификации Байеса для инкрементного обучения (incrementalClassificationNaiveBayes объект) путем вызова updateMetrics по входящим данным. Тогда updateMetricsAndFit подгоняет модель к этим данным путем вызова fit. Другими словами, updateMetricsAndFit выполняет предварительную оценку, поскольку обрабатывает каждый входящий блок данных как тестовый набор и отслеживает метрики производительности, измеренные в совокупности и через указанное окно [1].
updateMetricsAndFit предоставляет простой способ обновления показателей производительности модели и обучения модели по каждому фрагменту данных. Кроме того, можно выполнить операции отдельно, позвонив по телефону updateMetrics а затем fit, что обеспечивает большую гибкость (например, можно решить, нужно ли обучать модель, основываясь на ее производительности на фрагменте данных).
Mdl = updateMetricsAndFit(Mdl,X,Y)Mdl, которая является входной наивной моделью классификации Байеса для инкрементного обучения Mdl со следующими изменениями:
updateMetricsAndFit измеряет производительность модели на входящем предикторе и данных ответа, X и Y соответственно. При теплой входной модели (Mdl.IsWarm является true), updateMetricsAndFit перезаписывает ранее вычисленные метрики, хранящиеся в Metrics с новыми значениями. В противном случае updateMetricsAndFit магазины NaN значения в Metrics вместо этого.
updateMetricsAndFit подгоняет модифицированную модель к поступающим данным путем обновления условного заднего среднего и стандартного отклонения каждой переменной предиктора, учитывая класс, и сохраняет новые оценки, среди прочих конфигураций, в выходной модели Mdl.
Входные и выходные модели имеют одинаковый тип данных.
Создание наивной модели классификации Байеса для инкрементного обучения путем вызова incrementalClassificationNaiveBayes и задают максимум 5 ожидаемых классов в данных.
Mdl = incrementalClassificationNaiveBayes('MaxNumClasses',5)Mdl =
incrementalClassificationNaiveBayes
IsWarm: 0
Metrics: [1×2 table]
ClassNames: [1×0 double]
ScoreTransform: 'none'
DistributionNames: 'normal'
DistributionParameters: {}
Properties, Methods
Mdl является incrementalClassificationNaiveBayes объект модели. Все его свойства доступны только для чтения.
Mdl должны соответствовать данным, прежде чем их можно будет использовать для выполнения любых других операций.
Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные.
load humanactivity n = numel(actid); rng(1); % For reproducibility idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения подробной информации о наборе данных введите Description в командной строке.
Реализация инкрементного обучения путем выполнения следующих действий в каждой итерации:
Моделирование потока данных путем обработки части из 50 наблюдений.
Перезаписать предыдущую инкрементную модель новой, установленной для входящего наблюдения.
Сохраните условное среднее первого предиктора в первом классе, кумулятивные метрики и оконные метрики, чтобы увидеть, как они развиваются во время инкрементного обучения.
% Preallocation numObsPerChunk = 50; nchunk = floor(n/numObsPerChunk); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); mu11 = zeros(nchunk,1); % Incremental fitting for j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1); iend = min(n,numObsPerChunk*j); idx = ibegin:iend; Mdl = updateMetricsAndFit(Mdl,X(idx,:),Y(idx)); mc{j,:} = Mdl.Metrics{"MinimalCost",:}; mu11(j + 1) = Mdl.DistributionParameters{1,1}(1); end
Mdl является incrementalClassificationNaiveBayes объект модели обучен всем данным в потоке. Во время инкрементного обучения и после разогрева модели updateMetricsAndFit проверяет производительность модели на входящем наблюдении, а затем подгоняет модель под это наблюдение.
Чтобы увидеть, как во время обучения развивались показатели производительности и мк11, постройте их график на отдельных вложенных графиках.
figure; subplot(2,1,1) plot(mu11) ylabel('\beta_1') xlim([0 nchunk]); subplot(2,1,2) h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Minimal Cost') xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.'); legend(h,mc.Properties.VariableNames) xlabel('Iteration')
Сюжет говорит о том, что updateMetricsAndFit выполняет следующее:
Умещается во всех инкрементных итерациях обучения.
Вычислять метрики производительности только после периода прогрева метрик.
Вычислите кумулятивные метрики во время каждой итерации.
Вычислите метрику окна после обработки 500 наблюдений.
Обучение наивной модели классификации Байеса с помощью fitcnb, преобразовать его в добавочный ученик, отслеживать его производительность на потоковых данных и подгонять его к данным за один вызов. Укажите веса наблюдения.
Загрузка и предварительная обработка данных
Загрузите набор данных о деятельности персонала. Произвольно перетасовать данные.
load humanactivity rng(1); % For reproducibility n = numel(actid); idx = randsample(n,n); X = feat(idx,:); Y = actid(idx);
Для получения подробной информации о наборе данных введите Description в командной строке.
Предположим, что данные, собранные, когда тема не двигалась (Y < = 2) имеет вдвое более высокое качество, чем при перемещении предмета. Создайте переменную веса, которая приписывает 2 наблюдениям, собранным из неподвижной темы, а 1 - движущейся теме.
W = ones(n,1) + ~Y;
Модель классификации Train Naive Bayes
Поместите наивную модель классификации Байеса в случайную выборку из половины данных.
idxtt = randsample([true false],n,true);
TTMdl = fitcnb(X(idxtt,:),Y(idxtt),'Weights',W(idxtt))TTMdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
NumObservations: 12053
DistributionNames: {1×60 cell}
DistributionParameters: {5×60 cell}
Properties, Methods
TTMdl является ClassificationNaiveBayes объект модели, представляющий традиционно обученную наивную модель классификации Байеса.
Преобразовать обученную модель
Преобразуйте традиционно обученную модель в наивную классификацию Байеса для инкрементного обучения. Укажите отслеживание частоты ошибок классификации во время инкрементного обучения.
IncrementalMdl = incrementalLearner(TTMdl,'Metrics',"classiferror")
IncrementalMdl =
incrementalClassificationNaiveBayes
IsWarm: 1
Metrics: [2×2 table]
ClassNames: [1 2 3 4 5]
ScoreTransform: 'none'
DistributionNames: {1×60 cell}
DistributionParameters: {5×60 cell}
Properties, Methods
IncrementalMdl является incrementalClassificationNaiveBayes модель. Поскольку имена классов указаны в Mdl.ClassNames, метки, обнаруженные во время инкрементного обучения, должны быть в Mdl.ClassNames.
Отдельно отслеживать показатели производительности и модель соответствия
Инкрементное изучение остальных данных с помощью updateMetricsAndfit функция. При каждой итерации:
Моделирование потока данных путем одновременной обработки 50 наблюдений.
Звонить updateMetricsAndFit для обновления кумулятивных и оконных показателей производительности модели с учетом входящего фрагмента наблюдений, а затем подгонки модели к данным. Перезаписать предыдущую инкрементную модель для обновления потерь в Metrics собственность. Укажите веса наблюдения.
Сохраните частоту ошибок классификации.
% Preallocation idxil = ~idxtt; nil = sum(idxil); numObsPerChunk = 50; nchunk = floor(nil/numObsPerChunk); mc = array2table(zeros(nchunk,2),'VariableNames',["Cumulative" "Window"]); Xil = X(idxil,:); Yil = Y(idxil); Wil = W(idxil); % Incremental fitting for j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1); iend = min(nil,numObsPerChunk*j); idx = ibegin:iend; IncrementalMdl = updateMetricsAndFit(IncrementalMdl,Xil(idx,:),Yil(idx),... 'Weights',Wil(idx)); mc{j,:} = IncrementalMdl.Metrics{"ClassificationError",:}; end
IncrementalMdl является incrementalClassificationNaiveBayes объект модели обучен всем данным в потоке.
Постройте график трассировки частоты ошибок классификации.
h = plot(mc.Variables); xlim([0 nchunk]); ylabel('Classification Error') legend(h,mc.Properties.VariableNames) xlabel('Iteration')
Кумулятивные потери первоначально скачет, но стабилизируется около 0,05, в то время как потери окна скачет.