Подгонка апостериорных вероятностей для классификатора машины опорных векторов (SVM)
ScoreSVMModel = fitPosterior(SVMModel)ScoreSVMModel содержащая оптимальную функцию счет-в-апостериорно-вероятностного преобразования для двухклассного обучения. Для получения дополнительной информации см. «Алгоритмы».
[ дополнительно возвращает оптимальные параметры функции счета -в-апостериорно-вероятностного преобразования.ScoreSVMModel,ScoreTransform]
= fitPosterior(SVMModel)
[ использует дополнительные опции, заданные одним или несколькими аргументами пары "имя-значение". Для примера можно задать количество складок или пропорцию отсчета.ScoreSVMModel,ScoreTransform]
= fitPosterior(SVMModel,Name,Value)
Загрузите ionosphere набор данных. Этот набор данных имеет 34 предиктора и 351 двоичный ответ для радиолокационных возвратов, либо плохо ('b') или хорошо ('g').
load ionosphereОбучите классификатор машины опорных векторов (SVM). Стандартизируйте данные и задайте, что 'g' - положительный класс.
SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);
SVMModel является ClassificationSVM классификатор.
Подгонка оптимальной функции преобразования счет - апостериорная вероятность.
rng(1); % For reproducibility
ScoreSVMModel = fitPosterior(SVMModel)ScoreSVMModel =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'b' 'g'}
ScoreTransform: '@(S)sigmoid(S,-9.481586e-01,-1.218402e-01)'
NumObservations: 351
Alpha: [90x1 double]
Bias: -0.1343
KernelParameters: [1x1 struct]
Mu: [1x34 double]
Sigma: [1x34 double]
BoxConstraints: [351x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [351x1 logical]
Solver: 'SMO'
Properties, Methods
Поскольку классы неразрывны, функция преобразования счета (ScoreSVMModel.ScoreTransform) - сигмоидная функция.
Оцените счета и положительные апостериорные вероятности класса для обучающих данных. Отображение результатов для первых 10 наблюдений.
[label,scores] = resubPredict(SVMModel); [~,postProbs] = resubPredict(ScoreSVMModel); table(Y(1:10),label(1:10),scores(1:10,2),postProbs(1:10,2),'VariableNames',... {'TrueLabel','PredictedLabel','Score','PosteriorProbability'})
ans=10×4 table
TrueLabel PredictedLabel Score PosteriorProbability
_________ ______________ _______ ____________________
{'g'} {'g'} 1.4861 0.82214
{'b'} {'b'} -1.0004 0.30434
{'g'} {'g'} 1.8686 0.86916
{'b'} {'b'} -2.6458 0.084182
{'g'} {'g'} 1.2805 0.79183
{'b'} {'b'} -1.4618 0.22025
{'g'} {'g'} 2.1671 0.89813
{'b'} {'b'} -5.7089 0.0050112
{'g'} {'g'} 2.4797 0.92223
{'b'} {'b'} -2.7813 0.074797
Обучите многоклассовый классификатор SVM через процесс классификации один от всех (OVA), а затем постройте графики контуров вероятностей для каждого класса. Для непосредственной реализации OVA смотрите fitcecoc.
Загрузите набор данных радужки Фишера. Используйте длины и ширины лепестков в качестве данных предиктора.
load fisheriris
X = meas(:,3:4);
Y = species;Исследуйте график поля точек данных.
figure gscatter(X(:,1),X(:,2),Y); title('{\bf Scatter Diagram of Iris Measurements}'); xlabel('Petal length'); ylabel('Petal width'); legend('Location','Northwest'); axis tight
Обучите три двоичных классификатора SVM, которые отделяют каждый тип радужки от других. Предположим, что функция радиального базиса является подходящим ядром для каждого, и позволите алгоритму выбрать шкалу ядра. Определите порядок классов.
classNames = {'setosa'; 'virginica'; 'versicolor'};
numClasses = size(classNames,1);
inds = cell(3,1); % Preallocation
SVMModel = cell(3,1);
rng(1); % For reproducibility
for j = 1:numClasses
inds{j} = strcmp(Y,classNames{j}); % OVA classification
SVMModel{j} = fitcsvm(X,inds{j},'ClassNames',[false true],...
'Standardize',true,'KernelFunction','rbf','KernelScale','auto');
endfitcsvm использует эвристическую процедуру, которая включает субдискретизацию, чтобы вычислить значение шкалы ядра.
Подгонка оптимальной функции преобразования счет - апостериорная вероятность для каждого классификатора.
for j = 1:numClasses SVMModel{j} = fitPosterior(SVMModel{j}); end
Warning: Classes are perfectly separated. The optimal score-to-posterior transformation is a step function.
Задайте сетку, чтобы построить график контуров апостериорной вероятности. Оцените апостериорные вероятности по сетке для каждого классификатора.
d = 0.02; [x1Grid,x2Grid] = meshgrid(min(X(:,1)):d:max(X(:,1)),... min(X(:,2)):d:max(X(:,2))); xGrid = [x1Grid(:),x2Grid(:)]; posterior = cell(3,1); for j = 1:numClasses [~,posterior{j}] = predict(SVMModel{j},xGrid); end
Для каждого классификатора SVM постройте график контура апостериорной вероятности под график поля точек данных.
figure h = zeros(numClasses + 1,1); % Preallocation for graphics handles for j = 1:numClasses subplot(2,2,j) contourf(x1Grid,x2Grid,reshape(posterior{j}(:,2),size(x1Grid,1),size(x1Grid,2))); hold on h(1:numClasses) = gscatter(X(:,1),X(:,2),Y); title(sprintf('Posteriors for %s Class',classNames{j})); xlabel('Petal length'); ylabel('Petal width'); legend off axis tight hold off end h(numClasses + 1) = colorbar('Location','EastOutside',... 'Position',[[0.8,0.1,0.05,0.4]]); set(get(h(numClasses + 1),'YLabel'),'String','Posterior','FontSize',16); legend(h(1:numClasses),'Location',[0.6,0.2,0.1,0.1]);
Оцените функцию счета-в-апостериорно-вероятностного преобразования после обучения классификатора SVM. Используйте перекрестную валидацию во время оценки, чтобы уменьшить смещение и сравнить время запуска для 10-кратной перекрестной валидации и перекрестной валидации удержания.
Загрузите ionosphere набор данных.
load ionosphereОбучите классификатор SVM. Стандартизируйте данные и задайте, что 'g' - положительный класс.
SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);
SVMModel является ClassificationSVM классификатор.
Подгонка оптимальной функции преобразования счет - апостериорная вероятность. Сравните время запуска от использования 10-кратной перекрестной валидации (по умолчанию) и 10% -ного теста на выборку.
rng(1); % For reproducibility tic; % Start the stopwatch SVMModel_10FCV = fitPosterior(SVMModel); toc % Stop the stopwatch and display the run time
Elapsed time is 1.269959 seconds.
tic;
SVMModel_HO = fitPosterior(SVMModel,'Holdout',0.10);
tocElapsed time is 0.229205 seconds.
Хотя оба времени выполнения являются короткими, потому что набор данных относительно небольшой, SVMModel_HO подходит для функции преобразования счета намного быстрее, чем SVMModel_10FCV. Можно задать перекрестную валидацию удержания (вместо 10-кратной кросс-валидации по умолчанию), чтобы уменьшить время запуска для больших наборов данных.
Этот процесс описывает один из способов предсказания апостериорных вероятностей положительного класса.
Обучите классификатор SVM, передав данные в fitcsvm. Результатом является обученный классификатор SVM, такой как SVMModel, который хранит данные. Программное обеспечение устанавливает свойство функции преобразования счета (SVMModel.ScoreTransformation) к none.
Передайте обученный классификатор SVM SVMModel на fitSVMPosterior или fitPosterior. Результат, такой как ScoreSVMModel, является ли тот же обученный классификатор SVM SVMModel, кроме программных наборов ScoreSVMModel.ScoreTransformation к оптимальной функции преобразования счета.
Передайте матрицу данных предиктора и обученный классификатор SVM, содержащий оптимальную функцию преобразования счета (ScoreSVMModelКому predict. Второй столбец во втором выходном аргументе predict сохраняет апостериорные вероятности положительного класса, соответствующие каждой строке матрицы данных предиктора.
Если вы пропускаете шаг 2, то predict возвращает положительный счет класса, а не апостериорную вероятность положительного класса.
После подбора кривой апостериорных вероятностей можно сгенерировать код C/C + +, который предсказывает метки для новых данных. Для генерации кода C/C + + требуется MATLAB® Coder™. Для получения дополнительной информации смотрите Введение в генерацию кода.
Программа подходит для соответствующего счета преобразования -к-апостериорной вероятности с помощью классификатора SVM SVMModel и проведением 10-кратной перекрестной валидации с использованием сохраненных данных предиктора (SVMModel.X) и метки классов (SVMModel.Y), как описано в [1]. Функция преобразования вычисляет апостериорную вероятность того, что наблюдение классифицировано в положительный класс (SVMModel.Classnames(2)).
Если классы неразрывны, то функция преобразования является сигмоидной функцией.
Если классы совершенно разделимы, то функция преобразования является функцией шага.
В двухклассном обучении, если один из двух классов имеет относительную частоту 0, то функция преобразования является постоянной функцией. The fitPosterior функция не подходит для одноклассного обучения.
Программное обеспечение сохраняет оптимальную функцию счета-в-апостериорно-вероятностного преобразования в ScoreSVMModel.ScoreTransform.
Если вы переоцениваете счет функцию преобразования -в-апостериорную-вероятность, то есть, если вы передаете классификатор SVM, чтобы fitPosterior или fitSVMPosterior и его ScoreTransform свойство не none, затем программное обеспечение:
Отображение предупреждения
Устанавливает исходную функцию преобразования в 'none' перед оценкой нового
Вы также можете подгонять апостериорную функцию вероятности при помощи fitSVMPosterior. Эта функция похожа на fitPosterior, за исключением того, что он является более широким, поскольку он принимает более широкую область значений типов классификаторов SVM.
[1] Platt, J «. Вероятностные выходы для машин опорных векторов и сравнения с регуляризованными методами правдоподобия». Усовершенствования в классификаторах больших марж. Cambridge, MA: The MIT Press, 2000, pp. 61-74.