Подгонка задних вероятностей для классификатора опорной векторной машины (SVM)
ScoreSVMModel = fitPosterior(SVMModel)ScoreSVMModel содержащий оптимальную функцию преобразования оценки в апостериорную вероятность для двухклассного обучения. Дополнительные сведения см. в разделе Алгоритмы.
[ дополнительно возвращает параметры оптимальной функции преобразования «оценка-задняя вероятность».ScoreSVMModel,ScoreTransform] = fitPosterior(SVMModel)
[ использует дополнительные параметры, заданные одним или несколькими аргументами пары имя-значение. Например, можно указать количество сгибов или долю выборки при удержании.ScoreSVMModel,ScoreTransform] = fitPosterior(SVMModel,Name,Value)
Загрузить ionosphere набор данных. Этот набор данных имеет 34 предиктора и 351 двоичный отклик для радарных возвращений, либо плохой ('b') или хорошо ('g').
load ionosphereОбучение классификатора опорной векторной машины (SVM). Стандартизировать данные и указать, что 'g' является положительным классом.
SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);
SVMModel является ClassificationSVM классификатор.
Подберите оптимальную функцию преобразования «оценка-задняя вероятность».
rng(1); % For reproducibility
ScoreSVMModel = fitPosterior(SVMModel)ScoreSVMModel =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'b' 'g'}
ScoreTransform: '@(S)sigmoid(S,-9.481586e-01,-1.218402e-01)'
NumObservations: 351
Alpha: [90x1 double]
Bias: -0.1343
KernelParameters: [1x1 struct]
Mu: [1x34 double]
Sigma: [1x34 double]
BoxConstraints: [351x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [351x1 logical]
Solver: 'SMO'
Properties, Methods
Поскольку классы неразделимы, функция преобразования баллов (ScoreSVMModel.ScoreTransform) - сигмоидная функция.
Оцените баллы и положительные апостериорные вероятности классов для тренировочных данных. Просмотрите результаты первых 10 наблюдений.
[label,scores] = resubPredict(SVMModel); [~,postProbs] = resubPredict(ScoreSVMModel); table(Y(1:10),label(1:10),scores(1:10,2),postProbs(1:10,2),'VariableNames',... {'TrueLabel','PredictedLabel','Score','PosteriorProbability'})
ans=10×4 table
TrueLabel PredictedLabel Score PosteriorProbability
_________ ______________ _______ ____________________
{'g'} {'g'} 1.4861 0.82214
{'b'} {'b'} -1.0004 0.30434
{'g'} {'g'} 1.8686 0.86916
{'b'} {'b'} -2.6458 0.084182
{'g'} {'g'} 1.2805 0.79183
{'b'} {'b'} -1.4618 0.22025
{'g'} {'g'} 2.1671 0.89813
{'b'} {'b'} -5.7089 0.0050112
{'g'} {'g'} 2.4797 0.92223
{'b'} {'b'} -2.7813 0.074797
Обучите мультиклассный классификатор SVM с помощью процесса классификации «один против всех» (OVA), а затем постройте контуры вероятности для каждого класса. Для непосредственного внедрения OVA см.. fitcecoc.
Загрузите набор данных радужки Фишера. Используйте длины и ширину лепестков в качестве данных предиктора.
load fisheriris
X = meas(:,3:4);
Y = species;Изучите график рассеяния данных.
figure gscatter(X(:,1),X(:,2),Y); title('{\bf Scatter Diagram of Iris Measurements}'); xlabel('Petal length'); ylabel('Petal width'); legend('Location','Northwest'); axis tight
Обучение трех двоичных SVM классификаторов, которые отделяют каждый тип радужки от других. Предположим, что радиальная базисная функция является подходящим ядром для каждого и позволяет алгоритму выбрать масштаб ядра. Определите порядок классов.
classNames = {'setosa'; 'virginica'; 'versicolor'};
numClasses = size(classNames,1);
inds = cell(3,1); % Preallocation
SVMModel = cell(3,1);
rng(1); % For reproducibility
for j = 1:numClasses
inds{j} = strcmp(Y,classNames{j}); % OVA classification
SVMModel{j} = fitcsvm(X,inds{j},'ClassNames',[false true],...
'Standardize',true,'KernelFunction','rbf','KernelScale','auto');
endfitcsvm использует эвристическую процедуру, которая включает субдискретизацию для вычисления значения шкалы ядра.
Подберите оптимальную функцию преобразования «оценка-задняя вероятность» для каждого классификатора.
for j = 1:numClasses SVMModel{j} = fitPosterior(SVMModel{j}); end
Warning: Classes are perfectly separated. The optimal score-to-posterior transformation is a step function.
Определите сетку для построения задних контуров вероятности. Оцените апостериорные вероятности по сетке для каждого классификатора.
d = 0.02; [x1Grid,x2Grid] = meshgrid(min(X(:,1)):d:max(X(:,1)),... min(X(:,2)):d:max(X(:,2))); xGrid = [x1Grid(:),x2Grid(:)]; posterior = cell(3,1); for j = 1:numClasses [~,posterior{j}] = predict(SVMModel{j},xGrid); end
Для каждого классификатора SVM постройте график заднего контура вероятности под графиком рассеяния данных.
figure h = zeros(numClasses + 1,1); % Preallocation for graphics handles for j = 1:numClasses subplot(2,2,j) contourf(x1Grid,x2Grid,reshape(posterior{j}(:,2),size(x1Grid,1),size(x1Grid,2))); hold on h(1:numClasses) = gscatter(X(:,1),X(:,2),Y); title(sprintf('Posteriors for %s Class',classNames{j})); xlabel('Petal length'); ylabel('Petal width'); legend off axis tight hold off end h(numClasses + 1) = colorbar('Location','EastOutside',... 'Position',[[0.8,0.1,0.05,0.4]]); set(get(h(numClasses + 1),'YLabel'),'String','Posterior','FontSize',16); legend(h(1:numClasses),'Location',[0.6,0.2,0.1,0.1]);
Оцените функцию преобразования оценки в апостериорную вероятность после обучения классификатору SVM. Используйте перекрестную проверку во время оценки, чтобы уменьшить смещение, и сравните время выполнения для 10-кратной перекрестной проверки и перекрестной проверки удержания.
Загрузить ionosphere набор данных.
load ionosphereОбучение классификатора SVM. Стандартизировать данные и указать, что 'g' является положительным классом.
SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);
SVMModel является ClassificationSVM классификатор.
Подберите оптимальную функцию преобразования «оценка-задняя вероятность». Сравните время выполнения с использованием 10-кратной перекрестной проверки (по умолчанию) и 10% -ной пробы.
rng(1); % For reproducibility tic; % Start the stopwatch SVMModel_10FCV = fitPosterior(SVMModel); toc % Stop the stopwatch and display the run time
Elapsed time is 1.269959 seconds.
tic;
SVMModel_HO = fitPosterior(SVMModel,'Holdout',0.10);
tocElapsed time is 0.229205 seconds.
Хотя оба времени выполнения являются короткими, поскольку набор данных относительно мал, SVMModel_HO соответствует функции преобразования баллов гораздо быстрее, чем SVMModel_10FCV. Можно указать перекрестную проверку удержания (вместо 10-кратной перекрестной проверки по умолчанию), чтобы сократить время выполнения для больших наборов данных.
Этот процесс описывает один способ предсказать положительные апостериорные вероятности класса.
Обучение классификатора SVM путем передачи данных в fitcsvm. Результатом является обученный классификатор SVM, такой как SVMModel, которая хранит данные. Программа устанавливает свойство функции преобразования баллов (SVMModel.ScoreTransformationКому none.
Сдать обученный классификатор SVM SVMModel кому fitSVMPosterior или fitPosterior. Результат, например, ScoreSVMModel, является тем же обученным классификатором SVM, что и SVMModel, за исключением наборов программного обеспечения ScoreSVMModel.ScoreTransformation к оптимальной функции преобразования баллов.
Передайте матрицу данных предиктора и обученный классификатор SVM, содержащий функцию оптимального преобразования баллов (ScoreSVMModelКому predict. Второй столбец во втором выходном аргументе predict сохраняет положительные апостериорные вероятности класса, соответствующие каждой строке матрицы данных предиктора.
Если пропустить шаг 2, то predict возвращает положительный балл класса, а не положительную апостериорную вероятность класса.
После подгонки задних вероятностей можно создать код C/C + +, который предсказывает метки для новых данных. Для создания кода C/C + + требуется Coder™ MATLAB ®. Дополнительные сведения см. в разделе Введение в создание кода.
Программное обеспечение подходит для соответствующей функции преобразования «оценка-задняя вероятность» с использованием классификатора SVM SVMModel и путем проведения 10-кратной перекрестной проверки с использованием сохраненных данных предиктора (SVMModel.Xи метки класса (SVMModel.Y), как указано в [1]. Функция преобразования вычисляет апостериорную вероятность того, что наблюдение классифицируется в положительный класс (SVMModel.Classnames(2)).
Если классы неразделимы, то функция преобразования является сигмоидной функцией.
Если классы являются полностью разделяемыми, то функция преобразования является функцией шага.
В двухклассном обучении, если один из двух классов имеет относительную частоту 0, то функция преобразования является постоянной функцией. fitPosterior функция не подходит для одноклассного обучения.
Программное обеспечение хранит оптимальную функцию преобразования «оценка-задняя вероятность» в ScoreSVMModel.ScoreTransform.
Если повторно оценить функцию преобразования оценки в апостериорную вероятность, то есть если передать классификатор SVM fitPosterior или fitSVMPosterior и его ScoreTransform свойство не является none, затем программное обеспечение:
Отображает предупреждение
Сбрасывает исходную функцию преобразования в 'none' перед оценкой нового
Вы также можете подогнать апостериорную функцию вероятности, используя fitSVMPosterior. Эта функция аналогична fitPosterior, за исключением того, что он является более широким, поскольку допускает более широкий диапазон типов классификаторов SVM.
[1] Плэтт, J. «Вероятностные результаты для вспомогательных векторных машин и сравнения с регуляризованными методами правдоподобия». Достижения в классификаторах больших марж. Кембридж, Массачусетс: MIT Press, 2000, стр. 61-74.