Загрузите и предварительно обработайте данные

Загрузите набор данных деятельности человека. Случайным образом переставьте данные.

load humanactivity
rng(1); % For reproducibility
n = numel(actid);
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

Для получения дополнительной информации на наборе данных, введите Description в командной строке.

Обучите наивную байесовую модель классификации

Подбирайте наивную модель классификации Бейеса к случайной выборке приблизительно 25% данных.

idxtt = randsample([true false false false],n,true);
TTMdl = fitcnb(X(idxtt,:),Y(idxtt))

TTMdl = 
  ClassificationNaiveBayes
              ResponseName: 'Y'
     CategoricalPredictors: []
                ClassNames: [1 2 3 4 5]
            ScoreTransform: 'none'
           NumObservations: 6167
         DistributionNames: {1×60 cell}
    DistributionParameters: {5×60 cell}


  Properties, Methods

TTMdl ClassificationNaiveBayes объект модели, представляющий традиционно обученную модель.

Преобразуйте обученную модель

Преобразуйте традиционно обученную модель в наивную модель классификации Бейеса для пошагового обучения.

IncrementalMdl = incrementalLearner(TTMdl)

IncrementalMdl = 
  incrementalClassificationNaiveBayes

                    IsWarm: 1
                   Metrics: [1×2 table]
                ClassNames: [1 2 3 4 5]
            ScoreTransform: 'none'
         DistributionNames: {1×60 cell}
    DistributionParameters: {5×60 cell}


  Properties, Methods

IncrementalMdl incrementalClassificationNaiveBayes объект. IncrementalMdl представляет наивную модель классификации Бейеса для пошагового обучения; значения параметров совпадают с параметрами в TTMdl.

Обнаружьте выбросы

Определите безусловные пороги плотности для выбросов при помощи традиционно обученных данных модели и обучающих данных. Наблюдения в плотности получения данных о потоковой передаче вне порогов рассматриваются выбросами.

ttlp = logp(TTMdl,X(idxtt,:));
[~,lower,upper] = isoutlier(ttlp)

lower = -336.0424

upper = 399.9853

Обнаружьте выбросы в остальной части данных, относительно того, что было изучено, чтобы создать TTMdl. Симулируйте поток данных путем обработки 1 наблюдения за один раз. В каждой итерации вызовите logp вычислить журнал безусловная плотность вероятности наблюдения и сохранить каждое значение.

% Preallocation
idxil = ~idxtt;
nil = sum(idxil);
numObsPerChunk = 1;
nchunk = floor(nil/numObsPerChunk);
lp = zeros(nchunk,1);
iso = false(nchunk,1);
Xil = X(idxil,:);
Yil = Y(idxil);

% Incremental fitting
for j = 1:nchunk
    ibegin = min(nil,numObsPerChunk*(j-1) + 1);
    iend   = min(nil,numObsPerChunk*j);
    idx = ibegin:iend;
    lp(j) = logp(IncrementalMdl,Xil(idx,:));
    iso(j) = ((lp(j) < lower) + (lp(j) > upper)) >= 1;
end

Постройте журнал безусловные плотности вероятности данных о потоковой передаче. Идентифицируйте выбросы.

figure;
h1 = plot(lp);
hold on
x = 1:nchunk;
h2 = plot(x(iso),lp(iso),'r*');
h3 = line(xlim,[lower lower],'Color','g','LineStyle','--');
line(xlim,[upper upper],'Color','g','LineStyle','--')
xlim([0 nchunk]);
ylabel('Unconditional Density')
xlabel('Iteration')
legend([h1 h2 h3],["Log unconditional probabilities" "Outliers" "Threshold"])
hold off