Обучите мультикласс наивная модель Bayes
Mdl = fitcnb(Tbl,ResponseVarName)Mdl = fitcnb(Tbl,formula)Mdl = fitcnb(Tbl,Y)Mdl = fitcnb(X,Y)Mdl = fitcnb(___,Name,Value)Mdl = fitcnb(Tbl,ResponseVarName)Mdl), обученный предикторами в таблице Tbl и метками класса в переменной Tbl.ResponseVarName.
Mdl = fitcnb(___,Name,Value)Name,Value, с помощью любого из предыдущих синтаксисов. Например, можно задать распределение, чтобы смоделировать данные, априорные вероятности для классов или пропускную способность окна сглаживания ядра.
Загрузите ирисовый набор данных Фишера.
load fisheriris
X = meas(:,3:4);
Y = species;
tabulate(Y) Value Count Percent
setosa 50 33.33%
versicolor 50 33.33%
virginica 50 33.33%
Программное обеспечение может классифицировать данные больше чем с двумя классами с помощью наивных методов Бейеса.
Обучите наивный классификатор Байеса. Это - хорошая практика, чтобы задать порядок класса.
Mdl = fitcnb(X,Y,... 'ClassNames',{'setosa','versicolor','virginica'})
Mdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
DistributionNames: {'normal' 'normal'}
DistributionParameters: {3x2 cell}
Properties, Methods
Mdl является обученным классификатором ClassificationNaiveBayes.
По умолчанию, модели ПО распределение предиктора в каждом классе с помощью Распределения Гаусса, имеющего некоторое среднее и стандартное отклонение. Используйте запись через точку, чтобы отобразить параметры конкретной Гауссовой подгонки, например, отобразить пригодное для первой функции в setosa.
setosaIndex = strcmp(Mdl.ClassNames,'setosa');
estimates = Mdl.DistributionParameters{setosaIndex,1}estimates = 2×1
1.4620
0.1737
Средним значением является 1.4620, и стандартным отклонением является 0.1737.
Постройте Гауссовы контуры.
figure gscatter(X(:,1),X(:,2),Y); h = gca; cxlim = h.XLim; cylim = h.YLim; hold on Params = cell2mat(Mdl.DistributionParameters); Mu = Params(2*(1:3)-1,1:2); % Extract the means Sigma = zeros(2,2,3); for j = 1:3 Sigma(:,:,j) = diag(Params(2*j,:)).^2; % Create diagonal covariance matrix xlim = Mu(j,1) + 4*[-1 1]*sqrt(Sigma(1,1,j)); ylim = Mu(j,2) + 4*[-1 1]*sqrt(Sigma(2,2,j)); f = @(x1,x2)reshape(mvnpdf([x1(:),x2(:)],Mu(j,:),Sigma(:,:,j)),size(x1)); fcontour(f,[xlim ylim]) % Draw contours for the multivariate normal distributions end h.XLim = cxlim; h.YLim = cylim; title('Naive Bayes Classifier -- Fisher''s Iris Data') xlabel('Petal Length (cm)') ylabel('Petal Width (cm)') legend('setosa','versicolor','virginica') hold off
Можно изменить распределение по умолчанию с помощью аргумента пары "имя-значение" 'DistributionNames'. Например, если некоторые предикторы являются категориальными, то можно указать, что они многомерны, случайные переменные многочлена с помощью 'DistributionNames','mvmn'.
Создайте наивный классификатор Байеса для ирисового набора данных Фишера. Кроме того, задайте априорные вероятности во время обучения.
Загрузите ирисовый набор данных Фишера.
load fisheriris X = meas; Y = species; classNames = {'setosa','versicolor','virginica'}; % Class order
X является числовой матрицей, которая содержит четыре лепестковых измерения для 150 ирисовых диафрагм. Y является массивом ячеек из символьных векторов, который содержит соответствующие ирисовые разновидности.
По умолчанию предшествующее распределение вероятностей класса является относительной плотностью распределения классов в наборе данных, который в этом случае составляет 33% для каждой разновидности. Однако предположите, что вы знаете, что в генеральной совокупности 50% ирисовых диафрагм являются setosa, 20% являются versicolor, и 30% являются virginica. Можно включить эту информацию путем определения этого распределения как априорной вероятности во время обучения.
Обучите наивный классификатор Байеса. Задайте порядок класса и предшествующее распределение вероятностей класса.
prior = [0.5 0.2 0.3]; Mdl = fitcnb(X,Y,'ClassNames',classNames,'Prior',prior)
Mdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
DistributionNames: {'normal' 'normal' 'normal' 'normal'}
DistributionParameters: {3x4 cell}
Properties, Methods
Mdl является обученным классификатором ClassificationNaiveBayes, и некоторые его свойства появляются в Командном окне. Программное обеспечение обрабатывает предикторы как независимые, учитывая класс, и, по умолчанию, соответствует им использующий нормальные распределения.
Наивный алгоритм Бейеса не использует предшествующие вероятности класса во время обучения. Поэтому можно задать предшествующие вероятности класса после обучения с помощью записи через точку. Например, предположите, что вы хотите видеть разницу в производительности между моделью, которая использует предшествующие вероятности класса по умолчанию и модель, которая использует prior.
Создайте нового наивного Бейеса, основанного на модели на Mdl, и укажите, что предшествующее распределение вероятностей класса является эмпирическим распределением класса.
defaultPriorMdl = Mdl;
FreqDist = cell2table(tabulate(Y));
defaultPriorMdl.Prior = FreqDist{:,3};Программное обеспечение нормирует предшествующие вероятности класса, чтобы суммировать к 1.
Оцените ошибку перекрестной проверки для обеих моделей с помощью 10-кратной перекрестной проверки.
rng(1); % For reproducibility
defaultCVMdl = crossval(defaultPriorMdl);
defaultLoss = kfoldLoss(defaultCVMdl)defaultLoss = 0.0533
CVMdl = crossval(Mdl); Loss = kfoldLoss(CVMdl)
Loss = 0.0340
Mdl выполняет лучше, чем defaultPriorMdl.
Загрузите ирисовый набор данных Фишера.
load fisheriris
X = meas;
Y = species;Обучите наивный классификатор Байеса с помощью каждого предиктора. Это - хорошая практика, чтобы задать порядок класса.
Mdl1 = fitcnb(X,Y,... 'ClassNames',{'setosa','versicolor','virginica'})
Mdl1 =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
DistributionNames: {'normal' 'normal' 'normal' 'normal'}
DistributionParameters: {3x4 cell}
Properties, Methods
Mdl1.DistributionParameters
ans = 3x4 cell array
{2x1 double} {2x1 double} {2x1 double} {2x1 double}
{2x1 double} {2x1 double} {2x1 double} {2x1 double}
{2x1 double} {2x1 double} {2x1 double} {2x1 double}
Mdl1.DistributionParameters{1,2}ans = 2×1
3.4280
0.3791
По умолчанию, модели ПО распределение предиктора в каждом классе как Гауссово с некоторым средним и стандартным отклонением. Существует четыре предиктора и три уровня класса. Каждая ячейка в Mdl1.DistributionParameters соответствует числовому вектору, содержащему среднее и стандартное отклонение каждого распределения, например, средним и стандартным отклонением для ирисовых ширин чашелистика setosa является 3.4280 и 0.3791, соответственно.
Оцените матрицу беспорядка для Mdl1.
isLabels1 = resubPredict(Mdl1); ConfusionMat1 = confusionchart(Y,isLabels1);
Элемент (j, k) матричного графика беспорядка представляет количество наблюдений, что программное обеспечение классифицирует как k, но находится действительно в классе j согласно данным.
Переобучите классификатор с помощью Распределения Гаусса для предикторов 1 и 2 (длины чашелистика и ширины), и нормальная плотность ядра по умолчанию для предикторов 3 и 4 (лепестковые длины и ширины).
Mdl2 = fitcnb(X,Y,... 'DistributionNames',{'normal','normal','kernel','kernel'},... 'ClassNames',{'setosa','versicolor','virginica'}); Mdl2.DistributionParameters{1,2}
ans = 2×1
3.4280
0.3791
Программное обеспечение не обучает параметры к плотности ядра. Скорее программное обеспечение выбирает оптимальную ширину. Однако можно задать ширину с помощью аргумента пары "имя-значение" 'Width'.
Оцените матрицу беспорядка для Mdl2.
isLabels2 = resubPredict(Mdl2); ConfusionMat2 = confusionchart(Y,isLabels2);
На основе матриц беспорядка эти два классификатора выполняют так же в учебной выборке.
Загрузите ирисовый набор данных Фишера.
load fisheriris X = meas; Y = species; rng(1); % For reproducibility
Обучите и перекрестный подтвердите наивный классификатор Байеса с помощью перекрестной проверки k-сгиба и опций по умолчанию. Это - хорошая практика, чтобы задать порядок класса.
CVMdl1 = fitcnb(X,Y,... 'ClassNames',{'setosa','versicolor','virginica'},... 'CrossVal','on');
По умолчанию, модели ПО распределение предиктора в каждом классе как Гауссово с некоторым средним и стандартным отклонением. CVMdl1 является моделью ClassificationPartitionedModel.
Создайте наивный двоичный шаблон классификатора Бейеса по умолчанию, и обучите исправление ошибок, выведите модель мультикласса кода.
t = templateNaiveBayes(); CVMdl2 = fitcecoc(X,Y,'CrossVal','on','Learners',t);
CVMdl2 является моделью ClassificationPartitionedECOC. Можно задать опции для наивных двоичных учеников Бейеса, использующих те же аргументы пары "имя-значение" что касается fitcnb.
Сравните ошибку классификации k-сгибов из выборки (пропорция неправильно классифицированных наблюдений).
classErr1 = kfoldLoss(CVMdl1,'LossFun','ClassifErr')
classErr1 = 0.0533
classErr2 = kfoldLoss(CVMdl2,'LossFun','ClassifErr')
classErr2 = 0.0467
Mdl2 имеет более низкую ошибку обобщения.
Некоторые спам-фильтры классифицируют входящую электронную почту как спам на основе того, сколько раз слово или пунктуация (названный лексемами) происходят в электронном письме. Предикторы являются частотами конкретных слов или пунктуации в электронном письме. Поэтому предикторы составляют случайные переменные многочлена.
Этот пример иллюстрирует классификацию с помощью наивного Бейеса и предикторов многочлена.
Создайте данные тренировки
Предположим, что вы наблюдали 1 000 электронных писем и классифицировали их как спам или не спам. Сделайте это путем случайного присвоения-1 или 1 к y для каждой электронной почты.
n = 1000; % Sample size rng(1); % For reproducibility Y = randsample([-1 1],n,true); % Random labels
Чтобы создать данные о предикторе, предположите, что существует пять лексем в словаре и 20 наблюдаемых лексем на электронную почту. Сгенерируйте данные о предикторе из этих пяти лексем путем рисования случайный, многочлен отклоняется. Относительные частоты для лексем, соответствующих спаму, должны отличаться от электронных писем, которые не являются спамом.
tokenProbs = [0.2 0.3 0.1 0.15 0.25;... 0.4 0.1 0.3 0.05 0.15]; % Token relative frequencies tokensPerEmail = 20; % Fixed for convenience X = zeros(n,5); X(Y == 1,:) = mnrnd(tokensPerEmail,tokenProbs(1,:),sum(Y == 1)); X(Y == -1,:) = mnrnd(tokensPerEmail,tokenProbs(2,:),sum(Y == -1));
Обучите классификатор
Обучите наивный классификатор Байеса. Укажите, что предикторы являются многочленом.
Mdl = fitcnb(X,Y,'DistributionNames','mn');
Mdl является обученным классификатором ClassificationNaiveBayes.
Оцените производительность в выборке Mdl путем оценки misclassification ошибки.
isGenRate = resubLoss(Mdl,'LossFun','ClassifErr')
isGenRate = 0.0200
misclassification уровень в выборке составляет 2%.
Создайте новые данные
Случайным образом сгенерируйте, отклоняется, которые представляют новый пакет электронных писем.
newN = 500; newY = randsample([-1 1],newN,true); newX = zeros(newN,5); newX(newY == 1,:) = mnrnd(tokensPerEmail,tokenProbs(1,:),... sum(newY == 1)); newX(newY == -1,:) = mnrnd(tokensPerEmail,tokenProbs(2,:),... sum(newY == -1));
Оцените производительность классификатора
Классифицируйте новые электронные письма с помощью обученного наивного классификатора Байеса Mdl и определите, делает ли алгоритм вывод.
oosGenRate = loss(Mdl,newX,newY)
oosGenRate = 0.0261
misclassification уровень из выборки составляет 2,6%, указывающие, что классификатор делает вывод довольно хорошо.
Этот пример показывает, как использовать пару "имя-значение" OptimizeHyperparameters, чтобы минимизировать потерю перекрестной проверки в наивном классификаторе Байеса с помощью fitcnb. Пример использует ирисовые данные Фишера.
Загрузите ирисовые данные Фишера.
load fisheriris X = meas; Y = species; classNames = {'setosa','versicolor','virginica'};
Оптимизируйте классификацию с помощью параметров 'auto'.
Для воспроизводимости, набор случайный seed и использование функция приобретения 'expected-improvement-plus'.
rng default Mdl = fitcnb(X,Y,'ClassNames',classNames,'OptimizeHyperparameters','auto',... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName',... 'expected-improvement-plus'))
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
|=====================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Distribution-| Width |
| | result | | runtime | (observed) | (estim.) | Names | |
|=====================================================================================================|
| 1 | Best | 0.053333 | 0.79894 | 0.053333 | 0.053333 | normal | - |
| 2 | Best | 0.046667 | 0.70028 | 0.046667 | 0.049998 | kernel | 0.11903 |
| 3 | Accept | 0.053333 | 0.193 | 0.046667 | 0.046667 | normal | - |
| 4 | Accept | 0.086667 | 0.51084 | 0.046667 | 0.046668 | kernel | 2.4506 |
| 5 | Accept | 0.046667 | 0.40222 | 0.046667 | 0.046663 | kernel | 0.10449 |
| 6 | Accept | 0.073333 | 0.57578 | 0.046667 | 0.046665 | kernel | 0.025044 |
| 7 | Accept | 0.046667 | 0.40747 | 0.046667 | 0.046655 | kernel | 0.27647 |
| 8 | Accept | 0.046667 | 0.36691 | 0.046667 | 0.046647 | kernel | 0.2031 |
| 9 | Accept | 0.06 | 0.38677 | 0.046667 | 0.046658 | kernel | 0.44271 |
| 10 | Accept | 0.046667 | 0.3974 | 0.046667 | 0.046618 | kernel | 0.2412 |
| 11 | Accept | 0.046667 | 0.35605 | 0.046667 | 0.046619 | kernel | 0.071925 |
| 12 | Accept | 0.046667 | 0.37162 | 0.046667 | 0.046612 | kernel | 0.083459 |
| 13 | Accept | 0.046667 | 0.36724 | 0.046667 | 0.046603 | kernel | 0.15661 |
| 14 | Accept | 0.046667 | 0.34634 | 0.046667 | 0.046607 | kernel | 0.25613 |
| 15 | Accept | 0.046667 | 0.33102 | 0.046667 | 0.046606 | kernel | 0.17776 |
| 16 | Accept | 0.046667 | 0.38409 | 0.046667 | 0.046606 | kernel | 0.13632 |
| 17 | Accept | 0.046667 | 0.32028 | 0.046667 | 0.046606 | kernel | 0.077598 |
| 18 | Accept | 0.046667 | 0.34258 | 0.046667 | 0.046626 | kernel | 0.25646 |
| 19 | Accept | 0.046667 | 0.40328 | 0.046667 | 0.046626 | kernel | 0.093584 |
| 20 | Accept | 0.046667 | 0.35038 | 0.046667 | 0.046627 | kernel | 0.061602 |
|=====================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Distribution-| Width |
| | result | | runtime | (observed) | (estim.) | Names | |
|=====================================================================================================|
| 21 | Accept | 0.046667 | 0.37343 | 0.046667 | 0.046627 | kernel | 0.066532 |
| 22 | Accept | 0.093333 | 0.40511 | 0.046667 | 0.046618 | kernel | 5.8968 |
| 23 | Accept | 0.046667 | 0.33341 | 0.046667 | 0.046619 | kernel | 0.067045 |
| 24 | Accept | 0.046667 | 0.31971 | 0.046667 | 0.04663 | kernel | 0.25281 |
| 25 | Accept | 0.046667 | 0.342 | 0.046667 | 0.04663 | kernel | 0.1473 |
| 26 | Accept | 0.046667 | 0.3383 | 0.046667 | 0.046631 | kernel | 0.17211 |
| 27 | Accept | 0.046667 | 0.32951 | 0.046667 | 0.046631 | kernel | 0.12457 |
| 28 | Accept | 0.046667 | 0.31916 | 0.046667 | 0.046631 | kernel | 0.066659 |
| 29 | Accept | 0.046667 | 0.34628 | 0.046667 | 0.046631 | kernel | 0.1081 |
| 30 | Accept | 0.08 | 0.31711 | 0.046667 | 0.046628 | kernel | 1.1048 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 47.3491 seconds.
Total objective function evaluation time: 11.7365
Best observed feasible point:
DistributionNames Width
_________________ _______
kernel 0.11903
Observed objective function value = 0.046667
Estimated objective function value = 0.046628
Function evaluation time = 0.70028
Best estimated feasible point (according to models):
DistributionNames Width
_________________ _______
kernel 0.25613
Estimated objective function value = 0.046628
Estimated function evaluation time = 0.37792
Mdl =
ClassificationNaiveBayes
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
HyperparameterOptimizationResults: [1x1 BayesianOptimization]
DistributionNames: {1x4 cell}
DistributionParameters: {3x4 cell}
Kernel: {1x4 cell}
Support: {1x4 cell}
Width: [3x4 double]
Properties, Methods
Для классификации основанных на количестве данных, таких как модель сумки лексем, используют распределение многочлена (например, устанавливают 'DistributionNames','mn').
После обучения модель можно сгенерировать код C/C++, который предсказывает метки для новых данных. Генерация кода C/C++ требует MATLAB Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.
Если вы задаете 'DistributionNames','mn', когда учебный Mdl с помощью fitcnb, то программное обеспечение соответствует распределению многочлена с помощью модели сумки лексем. Программное обеспечение хранит вероятность, что маркерный j появляется в классе k в свойстве DistributionParameters{k,j}
где:
который является взвешенным количеством случаев маркерного j в классе k.
nk является количеством наблюдений в классе k.
вес для наблюдения i. Программное обеспечение нормирует веса в классе, таким образом, что они суммируют к априорной вероятности для того класса.
который является общим взвешенным количеством случаев всех лексем в классе k.
Если вы задаете 'DistributionNames','mvmn' когда учебный Mdl с помощью fitcnb, то:
Для каждого предиктора программное обеспечение собирает список уникальных уровней, хранит отсортированный список в CategoricalLevels и считает каждый уровень интервалом. Каждая комбинация предиктора/класса является отдельной, независимой случайной переменной многочлена.
Для предиктора j в классе k экземпляры программно-реализованных счетчиков каждого категориального уровня с помощью списка сохранены в CategoricalLevels{j}
Программное обеспечение хранит вероятность, что предиктор j, в классе k, имеет уровень L в свойстве DistributionParameters{k,j} CategoricalLevels{j}
где:
который является взвешенным количеством наблюдений, для которого предиктора j равняется L в классе k.
nk является количеством наблюдений в классе k.
если xij = L, 0 в противном случае.
вес для наблюдения i. Программное обеспечение нормирует веса в классе, таким образом, что они суммируют к априорной вероятности для того класса.
mj является количеством отличных уровней в предикторе j.
mk является взвешенным количеством наблюдений в классе k.
[1] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы статистического изучения, второго выпуска. Нью-Йорк: Спрингер, 2008.
[2] Укомплектование людьми, C. D. П. Рэгэвэн и М. Шюц. Введение в Информэйшн-Ретривэл, Нью-Йорк: Издательство Кембриджского университета, 2008.
ClassificationNaiveBayes | ClassificationPartitionedModel | predict | templateNaiveBayes