Обучите многоклассовую наивную модель Байеса
Mdl = fitcnb(Tbl,ResponseVarName)Mdl), обученный предикторами в таблице Tbl и метки классов в переменной Tbl.ResponseVarName.
Mdl = fitcnb(___,Name,Value)Name,Value аргументы в виде пар, с использованием любого из предыдущих синтаксисов. Например, вы можете задать распределение, чтобы смоделировать данные, предыдущие вероятности для классов или полосу окна сглаживания ядра.
Загрузите набор данных радужки Фишера.
load fisheriris
X = meas(:,3:4);
Y = species;
tabulate(Y) Value Count Percent
setosa 50 33.33%
versicolor 50 33.33%
virginica 50 33.33%
Программное обеспечение может классифицировать данные более чем с двумя классами с помощью наивных методов Байеса.
Обучите наивный классификатор Байеса. Рекомендуется указать порядок классов.
Mdl = fitcnb(X,Y,'ClassNames',{'setosa','versicolor','virginica'})
Mdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
DistributionNames: {'normal' 'normal'}
DistributionParameters: {3x2 cell}
Properties, Methods
Mdl является обученным ClassificationNaiveBayes классификатор.
По умолчанию программное обеспечение моделирует распределение предикторов в каждом классе, используя Гауссово распределение, имеющее некоторое среднее и стандартное отклонение. Используйте запись через точку для отображения параметров определенного Гауссова полинома, например, отобразите подгонку для первой функции в setosa.
setosaIndex = strcmp(Mdl.ClassNames,'setosa');
estimates = Mdl.DistributionParameters{setosaIndex,1}estimates = 2×1
1.4620
0.1737
Среднее значение 1.4620 и стандартное отклонение 0.1737.
Постройте график Гауссовых контуров.
figure gscatter(X(:,1),X(:,2),Y); h = gca; cxlim = h.XLim; cylim = h.YLim; hold on Params = cell2mat(Mdl.DistributionParameters); Mu = Params(2*(1:3)-1,1:2); % Extract the means Sigma = zeros(2,2,3); for j = 1:3 Sigma(:,:,j) = diag(Params(2*j,:)).^2; % Create diagonal covariance matrix xlim = Mu(j,1) + 4*[-1 1]*sqrt(Sigma(1,1,j)); ylim = Mu(j,2) + 4*[-1 1]*sqrt(Sigma(2,2,j)); f = @(x,y) arrayfun(@(x0,y0) mvnpdf([x0 y0],Mu(j,:),Sigma(:,:,j)),x,y); fcontour(f,[xlim ylim]) % Draw contours for the multivariate normal distributions end h.XLim = cxlim; h.YLim = cylim; title('Naive Bayes Classifier -- Fisher''s Iris Data') xlabel('Petal Length (cm)') ylabel('Petal Width (cm)') legend('setosa','versicolor','virginica') hold off
Вы можете изменить распределение по умолчанию с помощью аргумента пары "имя-значение" 'DistributionNames'. Например, если некоторые предикторы категоричны, то можно задать, что они многомерные, полиномиальные случайные переменные, использующие 'DistributionNames','mvmn'.
Создайте наивный классификатор Байеса для набора данных радужной оболочки глаза Фишера. Кроме того, задайте предыдущие вероятности во время обучения.
Загрузите набор данных радужки Фишера.
load fisheriris X = meas; Y = species; classNames = {'setosa','versicolor','virginica'}; % Class order
X является числовой матрицей, которая содержит четыре измерения лепестков для 150 ирисов. Y - массив ячеек из векторов символов, который содержит соответствующие виды радужной оболочки.
По умолчанию предыдущее распределение вероятностей класса является относительным частотным распределением классов в наборе данных. В этом случае априорная вероятность составляет 33% для каждого вида. Однако предположим, что вы знаете, что в населения 50% ирисов сетоса, 20% версиколор и 30% виргиника. Можно включить эту информацию, указав это распределение как предварительную вероятность во время обучения.
Обучите наивный классификатор Байеса. Задайте порядок классов и предшествующее распределение вероятностей классов.
prior = [0.5 0.2 0.3]; Mdl = fitcnb(X,Y,'ClassNames',classNames,'Prior',prior)
Mdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
DistributionNames: {'normal' 'normal' 'normal' 'normal'}
DistributionParameters: {3x4 cell}
Properties, Methods
Mdl является обученным ClassificationNaiveBayes классификатор, и некоторые его свойства появляются в Командном окне. Программа рассматривает предикторы как независимые, заданные классом, и, по умолчанию, подходит им с помощью нормальных распределений.
Наивный алгоритм Байеса не использует предыдущие вероятности классов во время обучения. Поэтому можно задать предыдущие вероятности классов после обучения с помощью записи через точку. Например, предположим, что вы хотите увидеть различие в эффективности между моделью, которая использует вероятности предыдущего класса по умолчанию, и моделью, которая использует различные prior.
Создайте новую наивную модель Байеса на основе Mdlи задайте, что предшествующее распределение вероятностей классов является эмпирическим распределением классов.
defaultPriorMdl = Mdl;
FreqDist = cell2table(tabulate(Y));
defaultPriorMdl.Prior = FreqDist{:,3};Программное обеспечение нормализует вероятности предыдущего класса, чтобы суммировать 1.
Оцените ошибку перекрестной валидации для обеих моделей с помощью 10-кратной перекрестной валидации.
rng(1); % For reproducibility
defaultCVMdl = crossval(defaultPriorMdl);
defaultLoss = kfoldLoss(defaultCVMdl)defaultLoss = 0.0533
CVMdl = crossval(Mdl); Loss = kfoldLoss(CVMdl)
Loss = 0.0340
Mdl работает лучше, чем defaultPriorMdl.
Загрузите набор данных радужки Фишера.
load fisheriris
X = meas;
Y = species;Обучите наивный классификатор Байеса, используя каждый предиктор. Рекомендуется указать порядок классов.
Mdl1 = fitcnb(X,Y,... 'ClassNames',{'setosa','versicolor','virginica'})
Mdl1 =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
DistributionNames: {'normal' 'normal' 'normal' 'normal'}
DistributionParameters: {3x4 cell}
Properties, Methods
Mdl1.DistributionParameters
ans=3×4 cell array
{2x1 double} {2x1 double} {2x1 double} {2x1 double}
{2x1 double} {2x1 double} {2x1 double} {2x1 double}
{2x1 double} {2x1 double} {2x1 double} {2x1 double}
Mdl1.DistributionParameters{1,2}ans = 2×1
3.4280
0.3791
По умолчанию программное обеспечение моделирует распределение предикторов в каждом классе как Гауссов с некоторым средним и стандартным отклонением. Существует четыре предиктора и три уровня классов. Каждая камера в Mdl1.DistributionParameters соответствует числовому вектору, содержащему среднее и стандартное отклонение каждого распределения, например, среднее и стандартное отклонение для setosa iris sepal ширины 3.4280 и 0.3791, соответственно.
Оцените матрицу неточностей для Mdl1.
isLabels1 = resubPredict(Mdl1); ConfusionMat1 = confusionchart(Y,isLabels1);
Элемент (j, k) матричного графика неточностей представляет количество наблюдений, которое программное обеспечение классифицирует как k, но действительно находится в классе j согласно данным.
Переобучите классификатор с помощью распределения Гауссова для предикторов 1 и 2 (длины и ширины сепаля) и плотности нормального ядра по умолчанию для предикторов 3 и 4 (длины и ширины лепестков).
Mdl2 = fitcnb(X,Y,... 'DistributionNames',{'normal','normal','kernel','kernel'},... 'ClassNames',{'setosa','versicolor','virginica'}); Mdl2.DistributionParameters{1,2}
ans = 2×1
3.4280
0.3791
Программное обеспечение не обучает параметры плотности ядра. Скорее программное обеспечение выбирает оптимальную ширину. Однако вы можете задать ширину, используя 'Width' аргумент пары "имя-значение".
Оцените матрицу неточностей для Mdl2.
isLabels2 = resubPredict(Mdl2); ConfusionMat2 = confusionchart(Y,isLabels2);
На основе матриц неточностей два классификатора выполняют одинаково в обучающей выборке.
Загрузите набор данных радужки Фишера.
load fisheriris X = meas; Y = species; rng(1); % For reproducibility
Обучите и перекрестная валидация наивного классификатора Байеса с помощью опций по умолчанию и перекрестной валидации k-fold. Рекомендуется указать порядок классов.
CVMdl1 = fitcnb(X,Y,... 'ClassNames',{'setosa','versicolor','virginica'},... 'CrossVal','on');
По умолчанию программное обеспечение моделирует распределение предикторов в каждом классе как Гауссов с некоторым средним и стандартным отклонением. CVMdl1 является ClassificationPartitionedModel модель.
Создайте наивный шаблон двоичного классификатора Байеса по умолчанию и обучите исправление ошибок, выходные коды мультикласса модель.
t = templateNaiveBayes(); CVMdl2 = fitcecoc(X,Y,'CrossVal','on','Learners',t);
CVMdl2 является ClassificationPartitionedECOC модель. Можно задать опции для наивных двоичных учащихся Байеса, используя те же аргументы пары "имя-значение", что и для fitcnb.
Сравните несовпадающую по выборке ошибку классификации k-fold (доля неправильно классифицированных наблюдений).
classErr1 = kfoldLoss(CVMdl1,'LossFun','ClassifErr')
classErr1 = 0.0533
classErr2 = kfoldLoss(CVMdl2,'LossFun','ClassifErr')
classErr2 = 0.0467
Mdl2 имеет более низкую ошибку обобщения.
Некоторые спам-фильтры классифицируют входящее письмо как спам на основе того, сколько раз за слово или пунктуация (называемые лексемы) происходит в электронном письме. Предикторами являются частоты конкретных слов или пунктуаций в электронном письме. Поэтому предикторы составляют полиномиальные случайные переменные.
Этот пример иллюстрирует классификацию с использованием наивных Байеса и полиномиальных предикторов.
Создайте обучающие данные
Предположим, вы наблюдали 1000 писем и классифицировали их как спам или не спам. Сделайте это, случайным образом присвоив -1 или 1 y для каждого электронного письма.
n = 1000; % Sample size rng(1); % For reproducibility Y = randsample([-1 1],n,true); % Random labels
Чтобы создать данные предиктора, предположим, что в словаре пять лексем и 20 наблюдаемые лексемы на каждый адрес электронной почты. Сгенерируйте данные предиктора из пяти лексем путем создания случайных, полиномиальных отклонений. Относительные частоты для лексем, соответствующих спам-письмам, должны отличаться от электронных писем, которые не являются спамом.
tokenProbs = [0.2 0.3 0.1 0.15 0.25;... 0.4 0.1 0.3 0.05 0.15]; % Token relative frequencies tokensPerEmail = 20; % Fixed for convenience X = zeros(n,5); X(Y == 1,:) = mnrnd(tokensPerEmail,tokenProbs(1,:),sum(Y == 1)); X(Y == -1,:) = mnrnd(tokensPerEmail,tokenProbs(2,:),sum(Y == -1));
Обучите классификатор
Обучите наивный классификатор Байеса. Укажите, что предикторы являются полиномиальными.
Mdl = fitcnb(X,Y,'DistributionNames','mn');
Mdl является обученным ClassificationNaiveBayes классификатор.
Оцените эффективность в выборке Mdl путем оценки ошибки неправильной классификации.
isGenRate = resubLoss(Mdl,'LossFun','ClassifErr')
isGenRate = 0.0200
Коэффициент неправильной классификации в выборке составляет 2%.
Создание новых данных
Случайным образом сгенерируйте отклонения, которые представляют новый пакет электронных писем.
newN = 500; newY = randsample([-1 1],newN,true); newX = zeros(newN,5); newX(newY == 1,:) = mnrnd(tokensPerEmail,tokenProbs(1,:),... sum(newY == 1)); newX(newY == -1,:) = mnrnd(tokensPerEmail,tokenProbs(2,:),... sum(newY == -1));
Оценка эффективности классификатора
Классификация новых писем с помощью обученного наивного классификатора Байеса Mdl, и определить, обобщается ли алгоритм.
oosGenRate = loss(Mdl,newX,newY)
oosGenRate = 0.0261
Частота неправильной классификации вне выборки составляет 2,6%, что указывает на то, что классификатор обобщается довольно хорошо.
В этом примере показано, как использовать OptimizeHyperparameters Пара "имя-значение" для минимизации потерь перекрестной валидации в наивном классификаторе Байеса с помощью fitcnb. В примере используются данные радужки глаза Фишера.
Загрузите данные радужки Фишера.
load fisheriris X = meas; Y = species; classNames = {'setosa','versicolor','virginica'};
Оптимизируйте классификацию с помощью параметров ' auto '.
Для воспроизводимости установите случайный seed и используйте 'expected-improvement-plus' функция сбора.
rng default Mdl = fitcnb(X,Y,'ClassNames',classNames,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName',... 'expected-improvement-plus'))
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
|=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Distribution-| Width | | | result | | runtime | (observed) | (estim.) | Names | | |=====================================================================================================| | 1 | Best | 0.053333 | 0.59202 | 0.053333 | 0.053333 | normal | - | | 2 | Best | 0.046667 | 0.78433 | 0.046667 | 0.049998 | kernel | 0.11903 | | 3 | Accept | 0.053333 | 0.12187 | 0.046667 | 0.046667 | normal | - | | 4 | Accept | 0.086667 | 0.3213 | 0.046667 | 0.046668 | kernel | 2.4506 | | 5 | Accept | 0.046667 | 0.28788 | 0.046667 | 0.046663 | kernel | 0.10449 | | 6 | Accept | 0.073333 | 0.28737 | 0.046667 | 0.046665 | kernel | 0.025044 | | 7 | Accept | 0.046667 | 0.32107 | 0.046667 | 0.046655 | kernel | 0.27647 | | 8 | Accept | 0.046667 | 0.29889 | 0.046667 | 0.046647 | kernel | 0.2031 | | 9 | Accept | 0.06 | 0.33168 | 0.046667 | 0.046658 | kernel | 0.44271 | | 10 | Accept | 0.046667 | 0.3879 | 0.046667 | 0.046618 | kernel | 0.2412 | | 11 | Accept | 0.046667 | 0.32713 | 0.046667 | 0.046619 | kernel | 0.071925 | | 12 | Accept | 0.046667 | 0.28496 | 0.046667 | 0.046612 | kernel | 0.083459 | | 13 | Accept | 0.046667 | 0.30127 | 0.046667 | 0.046603 | kernel | 0.15661 | | 14 | Accept | 0.046667 | 0.38462 | 0.046667 | 0.046607 | kernel | 0.25613 | | 15 | Accept | 0.046667 | 0.31145 | 0.046667 | 0.046606 | kernel | 0.17776 | | 16 | Accept | 0.046667 | 0.29788 | 0.046667 | 0.046606 | kernel | 0.13632 | | 17 | Accept | 0.046667 | 0.3987 | 0.046667 | 0.046606 | kernel | 0.077598 | | 18 | Accept | 0.046667 | 0.29776 | 0.046667 | 0.046626 | kernel | 0.25646 | | 19 | Accept | 0.046667 | 0.3424 | 0.046667 | 0.046626 | kernel | 0.093584 | | 20 | Accept | 0.046667 | 0.30273 | 0.046667 | 0.046627 | kernel | 0.061602 | |=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Distribution-| Width | | | result | | runtime | (observed) | (estim.) | Names | | |=====================================================================================================| | 21 | Accept | 0.046667 | 0.31211 | 0.046667 | 0.046627 | kernel | 0.066532 | | 22 | Accept | 0.093333 | 0.33373 | 0.046667 | 0.046618 | kernel | 5.8968 | | 23 | Accept | 0.046667 | 0.33187 | 0.046667 | 0.046619 | kernel | 0.067045 | | 24 | Accept | 0.046667 | 0.3261 | 0.046667 | 0.04663 | kernel | 0.25281 | | 25 | Accept | 0.046667 | 0.33679 | 0.046667 | 0.04663 | kernel | 0.1473 | | 26 | Accept | 0.046667 | 0.27818 | 0.046667 | 0.046631 | kernel | 0.17211 | | 27 | Accept | 0.046667 | 0.31236 | 0.046667 | 0.046631 | kernel | 0.12457 | | 28 | Accept | 0.046667 | 0.43723 | 0.046667 | 0.046631 | kernel | 0.066659 | | 29 | Accept | 0.046667 | 0.29014 | 0.046667 | 0.046631 | kernel | 0.1081 | | 30 | Accept | 0.08 | 0.32716 | 0.046667 | 0.046628 | kernel | 1.1048 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 56.4233 seconds
Total objective function evaluation time: 10.2689
Best observed feasible point:
DistributionNames Width
_________________ _______
kernel 0.11903
Observed objective function value = 0.046667
Estimated objective function value = 0.046667
Function evaluation time = 0.78433
Best estimated feasible point (according to models):
DistributionNames Width
_________________ _______
kernel 0.25613
Estimated objective function value = 0.046628
Estimated function evaluation time = 0.32851
Mdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
HyperparameterOptimizationResults: [1x1 BayesianOptimization]
DistributionNames: {1x4 cell}
DistributionParameters: {3x4 cell}
Kernel: {1x4 cell}
Support: {1x4 cell}
Width: [3x4 double]
Properties, Methods
Для классификации основанных на отсчете данных, таких как модель bag-of-tokens, используйте полиномиальное распределение (например, set 'DistributionNames','mn').
После обучения модели можно сгенерировать код C/C + +, который предсказывает метки для новых данных. Для генерации кода C/C + + требуется MATLAB Coder™. Для получения дополнительной информации смотрите Введение в генерацию кода .
Если вы задаете 'DistributionNames','mn' при обучении Mdl использование fitcnb, затем программное обеспечение подходит для полиномиального распределения с помощью модели bag-of-tokens. Программа сохраняет вероятность того, что лексема j появляется в классах k в свойстве DistributionParameters . Используя сглаживание добавки [2], предполагаемая вероятность является{k, j}
где:
которое является взвешенным количеством вхождений лексемы j в классе k.
nk - количество наблюдений в k классов.
- вес для i наблюдений. Программа нормирует веса внутри класса, так что они суммируются с предшествующей вероятностью для этого класса.
это общее взвешенное количество вхождений всех лексем в k классов.
Если вы задаете 'DistributionNames','mvmn' при обучении Mdl использование fitcnb, затем:
Для каждого предиктора программное обеспечение собирает список уникальных уровней, хранит отсортированный список в CategoricalLevels, и рассматривает каждый уровень как интервал. Каждая комбинация предиктор/класс является отдельной, независимой полиномиальной случайной переменной.
Для предиктора j в k классов программное обеспечение подсчитывает образцы каждого категориального уровня с помощью списка, хранящегося в CategoricalLevels .{j}
Программа сохраняет вероятность того, что предиктор j, в классах k, имеет L уровня в свойстве DistributionParameters , для всех уровней в {k, j}CategoricalLevels . Используя сглаживание добавки [2], предполагаемая вероятность является{j}
где:
которое является взвешенным количеством наблюдений, для которых j предиктора равен L в классе k.
nk - количество наблюдений в k классов.
если xij = L, в противном случае 0.
- вес для i наблюдений. Программа нормирует веса внутри класса, так что они суммируются с предшествующей вероятностью для этого класса.
mj - количество различных уровней в j предиктора.
mk - взвешенное количество наблюдений в классе k.
[1] Хасти, Т., Р. Тибширани и Дж. Фридман. Элементы статистического обучения, второе издание. Нью-Йорк: Спрингер, 2008.
[2] Мэннинг, К. Д., П. Рагхаван, и М. Шютце. Введение в информационный поиск, NY: Cambridge University Press, 2008.