Подходящие апостериорные вероятности для классификатора машины опорных векторов (SVM)
ScoreSVMModel = fitPosterior(SVMModel)ScoreSVMModel содержание оптимальной оценки к преобразованию апостериорной вероятности функционирует для изучения 2D класса. Для получения дополнительной информации см. Алгоритмы.
[ дополнительно возвращает оптимальный счет в параметры функции преобразования апостериорной вероятности.ScoreSVMModel,ScoreTransform]
= fitPosterior(SVMModel)
[ дополнительные опции использования заданы одним или несколькими аргументами пары "имя-значение". Например, можно задать количество сгибов или демонстрационной пропорции затяжки.ScoreSVMModel,ScoreTransform]
= fitPosterior(SVMModel,Name,Value)
Загрузите ionosphere набор данных.
load ionosphereОбучите классификатор SVM. Стандартизируйте данные и задайте тот 'g' положительный класс.
SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);
SVMModel ClassificationSVM классификатор.
Соответствуйте оптимальному счету к функции преобразования апостериорной вероятности.
rng(1); % For reproducibility
ScoreSVMModel = fitPosterior(SVMModel)ScoreSVMModel =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'b' 'g'}
ScoreTransform: '@(S)sigmoid(S,-9.481802e-01,-1.218745e-01)'
NumObservations: 351
Alpha: [90x1 double]
Bias: -0.1343
KernelParameters: [1x1 struct]
Mu: [1x34 double]
Sigma: [1x34 double]
BoxConstraints: [351x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [351x1 logical]
Solver: 'SMO'
Properties, Methods
Поскольку классы неотделимы, функция преобразования счета (ScoreSVMModel.ScoreTransform) сигмоидальная функция.
Оцените баллы и положительные апостериорные вероятности класса для обучающих данных. Отобразите результаты для первых 10 наблюдений.
[label,scores] = resubPredict(SVMModel); [~,postProbs] = resubPredict(ScoreSVMModel); table(Y(1:10),label(1:10),scores(1:10,2),postProbs(1:10,2),'VariableNames',... {'TrueLabel','PredictedLabel','Score','PosteriorProbability'})
ans=10×4 table
TrueLabel PredictedLabel Score PosteriorProbability
_________ ______________ _______ ____________________
{'g'} {'g'} 1.4861 0.82215
{'b'} {'b'} -1.0004 0.30436
{'g'} {'g'} 1.8685 0.86916
{'b'} {'b'} -2.6458 0.084183
{'g'} {'g'} 1.2805 0.79184
{'b'} {'b'} -1.4617 0.22028
{'g'} {'g'} 2.1672 0.89814
{'b'} {'b'} -5.7085 0.0050122
{'g'} {'g'} 2.4797 0.92223
{'b'} {'b'} -2.7811 0.074805
Обучите мультикласс классификатор SVM посредством процесса one-all (OVA) классификация, и затем постройте контуры вероятности для каждого класса. Чтобы реализовать OVA непосредственно, смотрите fitcecoc.
Загрузите ирисовый набор данных Фишера. Используйте лепестковые длины и ширины как данные о предикторе.
load fisheriris
X = meas(:,3:4);
Y = species;Исследуйте график рассеивания данных.
figure gscatter(X(:,1),X(:,2),Y); title('{\bf Scatter Diagram of Iris Measurements}'); xlabel('Petal length'); ylabel('Petal width'); legend('Location','Northwest'); axis tight
Обучите три бинарных классификатора SVM, которые разделяют каждый тип ирисовой диафрагмы от других. Примите, что радиальная основная функция является соответствующим ядром для каждого, и позвольте алгоритму выбирать шкалу ядра. Задайте порядок класса.
classNames = {'setosa'; 'virginica'; 'versicolor'};
numClasses = size(classNames,1);
inds = cell(3,1); % Preallocation
SVMModel = cell(3,1);
rng(1); % For reproducibility
for j = 1:numClasses
inds{j} = strcmp(Y,classNames{j}); % OVA classification
SVMModel{j} = fitcsvm(X,inds{j},'ClassNames',[false true],...
'Standardize',true,'KernelFunction','rbf','KernelScale','auto');
endfitcsvm использует эвристическую процедуру, которая включает подвыборку, чтобы вычислить значение шкалы ядра.
Соответствуйте оптимальному счету к функции преобразования апостериорной вероятности для каждого классификатора.
for j = 1:numClasses SVMModel{j} = fitPosterior(SVMModel{j}); end
Warning: Classes are perfectly separated. The optimal score-to-posterior transformation is a step function.
Задайте сетку, чтобы построить контуры апостериорной вероятности. Оцените апостериорные вероятности по сетке для каждого классификатора.
d = 0.02; [x1Grid,x2Grid] = meshgrid(min(X(:,1)):d:max(X(:,1)),... min(X(:,2)):d:max(X(:,2))); xGrid = [x1Grid(:),x2Grid(:)]; posterior = cell(3,1); for j = 1:numClasses [~,posterior{j}] = predict(SVMModel{j},xGrid); end
Для каждого классификатора SVM постройте контур апостериорной вероятности в соответствии с графиком рассеивания данных.
figure h = zeros(numClasses + 1,1); % Preallocation for graphics handles for j = 1:numClasses subplot(2,2,j) contourf(x1Grid,x2Grid,reshape(posterior{j}(:,2),size(x1Grid,1),size(x1Grid,2))); hold on h(1:numClasses) = gscatter(X(:,1),X(:,2),Y); title(sprintf('Posteriors for %s Class',classNames{j})); xlabel('Petal length'); ylabel('Petal width'); legend off axis tight hold off end h(numClasses + 1) = colorbar('Location','EastOutside',... 'Position',[[0.8,0.1,0.05,0.4]]); set(get(h(numClasses + 1),'YLabel'),'String','Posterior','FontSize',16); legend(h(1:numClasses),'Location',[0.6,0.2,0.1,0.1]);
Оцените счет к функции преобразования апостериорной вероятности после обучения классификатор SVM. Используйте перекрестную проверку во время оценки, чтобы уменьшать смещение и сравнить время выполнения для 10-кратной перекрестной проверки и перекрестной проверки затяжки.
Загрузите ionosphere набор данных.
load ionosphereОбучите классификатор SVM. Стандартизируйте данные и задайте тот 'g' положительный класс.
SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);
SVMModel ClassificationSVM классификатор.
Соответствуйте оптимальному счету к функции преобразования апостериорной вероятности. Сравните время выполнения от использования 10-кратной перекрестной проверки (значение по умолчанию) и 10%-я тестовая выборка затяжки.
rng(1); % For reproducibility tic; % Start the stopwatch SVMModel_10FCV = fitPosterior(SVMModel); toc % Stop the stopwatch and display the run time
Elapsed time is 1.373937 seconds.
tic;
SVMModel_HO = fitPosterior(SVMModel,'Holdout',0.10);
tocElapsed time is 0.312920 seconds.
Несмотря на то, что оба времени выполнения коротко, потому что набор данных относительно мал, SVMModel_HO соответствует функции преобразования счета намного быстрее, чем SVMModel_10FCV. Можно задать перекрестную проверку затяжки (вместо 10-кратной перекрестной проверки по умолчанию), чтобы уменьшать время выполнения для больших наборов данных.
Этот процесс описывает один способ предсказать положительные апостериорные вероятности класса.
Обучите классификатор SVM путем передачи данных fitcsvm. Результатом является обученный классификатор SVM, такой как SVMModel, это хранит данные. Программное обеспечение устанавливает свойство функции преобразования счета (SVMModel.ScoreTransformation) к none.
Передайте обученный классификатор SVM SVMModel к fitSVMPosterior или fitPosterior. Результат, такой как, ScoreSVMModel, обученный классификатор того же самого SVM как SVMModel, кроме программного обеспечения устанавливает ScoreSVMModel.ScoreTransformation к оптимальной функции преобразования счета.
Передайте матрицу данных предиктора и обученный классификатор SVM, содержащий оптимальную функцию преобразования счета (ScoreSVMModel) к predict. Второй столбец во втором выходном аргументе predict хранит положительные апостериорные вероятности класса, соответствующие каждой строке матрицы данных предиктора.
Если вы пропускаете шаг 2, то predict возвращает положительный счет класса, а не положительную апостериорную вероятность класса.
После подбора кривой апостериорным вероятностям можно сгенерировать код C/C++, который предсказывает метки для новых данных. Генерация кода C/C++ требует MATLAB® Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.
Программное обеспечение соответствует соответствующему счету к функции преобразования апостериорной вероятности при помощи классификатора SVM SVMModel и путем проведения 10-кратной перекрестной проверки с помощью хранимых данных о предикторе (SVMModel.X) и метки класса (SVMModel.Y), как обрисовано в общих чертах в [1]. Функция преобразования вычисляет апостериорную вероятность, что наблюдение классифицируется в положительный класс (SVMModel.Classnames(2)).
Если классы неотделимы, то функция преобразования является сигмоидальной функцией.
Если классы совершенно отделимы, то функция преобразования является ступенчатой функцией.
В изучении 2D класса, если один из этих двух классов имеет относительную частоту 0, то функция преобразования является постоянной функцией. fitPosterior функция не подходит для изучения одного класса.
Программное обеспечение хранит оптимальный счет к функции преобразования апостериорной вероятности в ScoreSVMModel.ScoreTransform.
Если вы повторно оцениваете счет к функции преобразования апостериорной вероятности, то есть, если вы передаете классификатор SVM fitPosterior или fitSVMPosterior и его ScoreTransform свойством не является none, затем программное обеспечение:
Выводит предупреждение
Сбрасывает исходную функцию преобразования к 'none' прежде, чем оценить новый
Можно также соответствовать функции апостериорной вероятности при помощи fitSVMPosterior. Эта функция похожа на fitPosterior, кроме него более широко, потому что это принимает более широкую область значений типов классификатора SVM.
[1] Платт, J. “Вероятностные выходные параметры для машин опорных векторов и сравнений с упорядоченными методами вероятности”. Усовершенствования в Больших Граничных Классификаторах. Кембридж, MA: Нажатие MIT, 2000, стр 61–74.