fitPosterior

Подходящие апостериорные вероятности для классификатора машины опорных векторов (SVM)

Описание

пример

ScoreSVMModel = fitPosterior(SVMModel) возвращает обученный классификатор машины опорных векторов (SVM) ScoreSVMModel содержание оптимального счета к преобразованию апостериорной вероятности функционирует для изучения 2D класса. Для получения дополнительной информации см. Алгоритмы.

пример

[ScoreSVMModel,ScoreTransform] = fitPosterior(SVMModel) дополнительно возвращает оптимальный счет в параметры функции преобразования апостериорной вероятности.

пример

[ScoreSVMModel,ScoreTransform] = fitPosterior(SVMModel,Name,Value) дополнительные опции использования заданы одним или несколькими аргументами пары "имя-значение". Например, можно задать количество сгибов или демонстрационной пропорции затяжки.

Примеры

свернуть все

Загрузите ionosphere набор данных.

load ionosphere

Обучите классификатор SVM. Стандартизируйте данные и задайте тот 'g' положительный класс.

SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);

SVMModel ClassificationSVM классификатор.

Соответствуйте оптимальному счету к функции преобразования апостериорной вероятности.

rng(1); % For reproducibility
ScoreSVMModel = fitPosterior(SVMModel)
ScoreSVMModel = 
  ClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'b'  'g'}
           ScoreTransform: '@(S)sigmoid(S,-9.481802e-01,-1.218745e-01)'
          NumObservations: 351
                    Alpha: [90x1 double]
                     Bias: -0.1343
         KernelParameters: [1x1 struct]
                       Mu: [1x34 double]
                    Sigma: [1x34 double]
           BoxConstraints: [351x1 double]
          ConvergenceInfo: [1x1 struct]
          IsSupportVector: [351x1 logical]
                   Solver: 'SMO'


  Properties, Methods

Поскольку классы неотделимы, функция преобразования счета (ScoreSVMModel.ScoreTransform) сигмоидальная функция.

Оцените баллы и положительные апостериорные вероятности класса для обучающих данных. Отобразите результаты для первых 10 наблюдений.

[label,scores] = resubPredict(SVMModel);
[~,postProbs] = resubPredict(ScoreSVMModel);
table(Y(1:10),label(1:10),scores(1:10,2),postProbs(1:10,2),'VariableNames',...
    {'TrueLabel','PredictedLabel','Score','PosteriorProbability'})
ans=10×4 table
    TrueLabel    PredictedLabel     Score     PosteriorProbability
    _________    ______________    _______    ____________________

      {'g'}          {'g'}          1.4861           0.82215      
      {'b'}          {'b'}         -1.0004           0.30436      
      {'g'}          {'g'}          1.8685           0.86916      
      {'b'}          {'b'}         -2.6458          0.084183      
      {'g'}          {'g'}          1.2805           0.79184      
      {'b'}          {'b'}         -1.4617           0.22028      
      {'g'}          {'g'}          2.1672           0.89814      
      {'b'}          {'b'}         -5.7085         0.0050122      
      {'g'}          {'g'}          2.4797           0.92223      
      {'b'}          {'b'}         -2.7811          0.074805      

Обучите мультикласс классификатор SVM посредством процесса one-all (OVA) классификация, и затем постройте контуры вероятности для каждого класса. Чтобы реализовать OVA непосредственно, смотрите fitcecoc.

Загрузите ирисовый набор данных Фишера. Используйте лепестковые длины и ширины как данные о предикторе.

load fisheriris
X = meas(:,3:4);
Y = species;

Исследуйте график рассеивания данных.

figure
gscatter(X(:,1),X(:,2),Y);
title('{\bf Scatter Diagram of Iris Measurements}');
xlabel('Petal length');
ylabel('Petal width');
legend('Location','Northwest'); 
axis tight

Обучите три бинарных классификатора SVM, которые разделяют каждый тип ирисовой диафрагмы от других. Примите, что радиальная основная функция является соответствующим ядром для каждого, и позвольте алгоритму выбирать шкалу ядра. Задайте порядок класса.

classNames = {'setosa'; 'virginica'; 'versicolor'};
numClasses = size(classNames,1);
inds = cell(3,1); % Preallocation
SVMModel = cell(3,1);

rng(1); % For reproducibility
for j = 1:numClasses
    inds{j} = strcmp(Y,classNames{j});  % OVA classification
    SVMModel{j} = fitcsvm(X,inds{j},'ClassNames',[false true],...
        'Standardize',true,'KernelFunction','rbf','KernelScale','auto');
end

fitcsvm использует эвристическую процедуру, которая включает подвыборку, чтобы вычислить значение шкалы ядра.

Соответствуйте оптимальному счету к функции преобразования апостериорной вероятности для каждого классификатора.

for j = 1:numClasses
    SVMModel{j} = fitPosterior(SVMModel{j});
end
Warning: Classes are perfectly separated. The optimal score-to-posterior transformation is a step function.

Задайте сетку, чтобы построить контуры апостериорной вероятности. Оцените апостериорные вероятности по сетке для каждого классификатора.

d = 0.02;
[x1Grid,x2Grid] = meshgrid(min(X(:,1)):d:max(X(:,1)),...
    min(X(:,2)):d:max(X(:,2)));
xGrid = [x1Grid(:),x2Grid(:)];

posterior = cell(3,1); 
for j = 1:numClasses
    [~,posterior{j}] = predict(SVMModel{j},xGrid);
end

Для каждого классификатора SVM постройте контур апостериорной вероятности в соответствии с графиком рассеивания данных.

figure
h = zeros(numClasses + 1,1); % Preallocation for graphics handles
for j = 1:numClasses
subplot(2,2,j)
contourf(x1Grid,x2Grid,reshape(posterior{j}(:,2),size(x1Grid,1),size(x1Grid,2)));
hold on
h(1:numClasses) = gscatter(X(:,1),X(:,2),Y);
title(sprintf('Posteriors for %s Class',classNames{j}));
xlabel('Petal length');
ylabel('Petal width');
legend off
axis tight
hold off
end
h(numClasses + 1) = colorbar('Location','EastOutside',...
    'Position',[[0.8,0.1,0.05,0.4]]);
set(get(h(numClasses + 1),'YLabel'),'String','Posterior','FontSize',16);
legend(h(1:numClasses),'Location',[0.6,0.2,0.1,0.1]);

Оцените счет к функции преобразования апостериорной вероятности после обучения классификатор SVM. Используйте перекрестную проверку во время оценки, чтобы уменьшать смещение и сравнить время выполнения для 10-кратной перекрестной проверки и перекрестной проверки затяжки.

Загрузите ionosphere набор данных.

load ionosphere

Обучите классификатор SVM. Стандартизируйте данные и задайте тот 'g' положительный класс.

SVMModel = fitcsvm(X,Y,'ClassNames',{'b','g'},'Standardize',true);

SVMModel ClassificationSVM классификатор.

Соответствуйте оптимальному счету к функции преобразования апостериорной вероятности. Сравните время выполнения от использования 10-кратной перекрестной проверки (значение по умолчанию) и 10%-я тестовая выборка затяжки.

rng(1); % For reproducibility
tic;    % Start the stopwatch
SVMModel_10FCV = fitPosterior(SVMModel);
toc     % Stop the stopwatch and display the run time
Elapsed time is 0.925300 seconds.
tic;
SVMModel_HO = fitPosterior(SVMModel,'Holdout',0.10);
toc
Elapsed time is 0.201331 seconds.

Несмотря на то, что оба времени выполнения коротко, потому что набор данных относительно мал, SVMModel_HO соответствует функции преобразования счета намного быстрее, чем SVMModel_10FCV. Можно задать перекрестную проверку затяжки (вместо 10-кратной перекрестной проверки по умолчанию), чтобы уменьшать время выполнения для больших наборов данных.

Входные параметры

свернуть все

Полный, обученный классификатор SVM, заданный как ClassificationSVM модель обучена с fitcsvm.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: fitPosterior(SVMModel,'KFold',5) использование пять сгибов в перекрестной подтвержденной модели.

Раздел перекрестной проверки использовался для расчета функции преобразования, заданной как разделенная запятой пара, состоящая из 'CVPartition' и cvpartition объект раздела, как создано cvpartition. Можно использовать только одну из этих четырех опций за один раз для создания перекрестной подтвержденной модели: 'KFold', 'Holdout', 'Leaveout', или 'CVPartition'.

crossval аргумент пары "имя-значение" fitcsvm разделяет данные в подмножества с помощью cvpartition.

Пример: Предположим, что вы создаете случайный раздел для 5-кратной перекрестной проверки на 500 наблюдениях при помощи cvp = cvpartition(500,'KFold',5). Затем можно задать перекрестную подтвержденную модель при помощи 'CVPartition',cvp.

Часть данных для валидации затяжки использовалась для расчета функции преобразования, заданной как разделенная запятой пара, состоящая из 'Holdout' и скалярное значение в области значений (0,1). Валидация затяжки тестирует заданную часть данных и использует остающиеся данные в обучении.

Можно использовать только одну из этих четырех опций за один раз для создания перекрестной подтвержденной модели: 'KFold', 'Holdout', 'Leaveout', или 'CVPartition'.

Пример: 'Holdout',0.1

Типы данных: double | single

Количество сгибов, чтобы использовать при вычислении функции преобразования, заданной как разделенная запятой пара, состоящая из 'KFold' и положительное целочисленное значение, больше, чем 1.

Можно использовать только одну из этих четырех опций за один раз для создания перекрестной подтвержденной модели: 'KFold', 'Holdout', 'Leaveout', или 'CVPartition'.

Пример: 'KFold',8

Типы данных: single | double

Флаг перекрестной проверки "Оставляет тот" указанием, использовать ли перекрестную проверку, "пропускают один", чтобы вычислить функцию преобразования, заданную как разделенная запятой пара, состоящая из 'Leaveout' и 'on' или 'off'. Используйте перекрестную проверку, "пропускают один" путем определения 'Leaveout','on'.

Можно использовать только одну из этих четырех опций за один раз для создания перекрестной подтвержденной модели: 'KFold', 'Holdout', 'Leaveout', или 'CVPartition'.

Пример: 'Leaveout','on'

Выходные аргументы

свернуть все

Обученный классификатор SVM, возвращенный как ClassificationSVM классификатор. Обученный классификатор содержит предполагаемый счет к функции преобразования апостериорной вероятности.

Чтобы оценить апостериорные вероятности для наблюдений набора обучающих данных, передайте ScoreSVMModel к resubPredict.

Чтобы оценить апостериорные вероятности для новых наблюдений, передайте новые наблюдения и ScoreSVMModel к predict.

Оптимальный счет к параметрам функции преобразования апостериорной вероятности, возвращенным как массив структур.

  • Если значение Type поле ScoreTransform sigmoid, затем ScoreTransform также имеет эти поля:

  • Если значение Type поле ScoreTransform step, затем ScoreTransform также имеет эти поля:

    • PositiveClassProbability: Значение π в ступенчатой функции. Это значение представляет вероятность, что наблюдение находится в положительном классе или апостериорной вероятности, что наблюдение находится в положительном классе, данном, что его счет находится в интервале (LowerBound, UpperBound).

    • LowerBound: Значение max yn=1sn в ступенчатой функции. Это значение представляет нижнюю границу интервала счета, который присваивает наблюдения с баллами в интервале апостериорная вероятность того, чтобы быть в положительном классе PositiveClassProbability. Любое наблюдение со счетом меньше, чем LowerBound имеет апостериорную вероятность того, чтобы быть в положительном классе, равном 0.

    • UpperBound: Значение minyn=+1sn в ступенчатой функции. Это значение представляет верхнюю границу интервала счета, который присваивает наблюдения с баллами в интервале апостериорная вероятность того, чтобы быть в положительном классе PositiveClassProbability. Любое наблюдение со счетом, больше, чем UpperBound имеет апостериорную вероятность того, чтобы быть в положительном классе, равном 1.

  • Если значение Type поле ScoreTransform constant, затем ScoreTransform.PredictedClass содержит имя прогноза класса.

    Этот результат совпадает с SVMModel.ClassNames. Апостериорная вероятность наблюдения, находящегося в ScoreTransform.PredictedClass всегда 1.

Больше о

свернуть все

Сигмоидальная функция

Сигмоидальная функция, которая сопоставляет, выигрывает sj, соответствующий наблюдению, которое j к положительной апостериорной вероятности класса

P(sj)=11+exp(Asj+B).

Если значение Type поле ScoreTransform sigmoid, затем параметры A и B соответствуют полям Scale и Intercept из ScoreTransform, соответственно.

Ступенчатая функция

Ступенчатая функция, которая сопоставляет, выигрывает sj, соответствующий наблюдению, которое j к положительной апостериорной вероятности класса

P(sj)={0;s<max yk=1skπ;max yk=1sksjminyk=+1sk1;sj>minyk=+1sk,

где:

  • sj является счетом наблюдения j.

  • +1 и –1 обозначают положительные и отрицательные классы, соответственно.

  • π является априорной вероятностью, что наблюдение находится в положительном классе.

Если значение Type поле ScoreTransform step, затем количества max yk=1sk и minyk=+1sk соответствуйте полям LowerBound и UpperBound из ScoreTransform, соответственно.

Постоянная функция

Постоянная функция сопоставляет все баллы в выборке к апостериорным вероятностям 1 или 0.

Если все наблюдения будут иметь апостериорную вероятность 1, то они, как ожидают, произойдут из положительного класса.

Если все наблюдения будут иметь апостериорную вероятность 0, то они, как ожидают, не произойдут из положительного класса.

Советы

  • Этот процесс описывает один способ предсказать положительные апостериорные вероятности класса.

    1. Обучите классификатор SVM путем передачи данных fitcsvm. Результатом является обученный классификатор SVM, такой как SVMModel, это хранит данные. Программное обеспечение устанавливает свойство функции преобразования счета (SVMModel.ScoreTransformation) к none.

    2. Передайте обученный классификатор SVM SVMModel к fitSVMPosterior или fitPosterior. Результат, такой как, ScoreSVMModel, обученный классификатор того же самого SVM как SVMModel, кроме программного обеспечения устанавливает ScoreSVMModel.ScoreTransformation к оптимальной функции преобразования счета.

    3. Передайте матрицу данных предиктора и обученный классификатор SVM, содержащий оптимальную функцию преобразования счета (ScoreSVMModel) к predict. Второй столбец во втором выходном аргументе predict хранит положительные апостериорные вероятности класса, соответствующие каждой строке матрицы данных предиктора.

      Если вы пропускаете шаг 2, то predict возвращает положительный счет класса, а не положительную апостериорную вероятность класса.

  • После подбора кривой апостериорным вероятностям можно сгенерировать код C/C++, который предсказывает метки для новых данных. Генерация кода C/C++ требует MATLAB® Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.

Алгоритмы

Программное обеспечение соответствует соответствующему счету к функции преобразования апостериорной вероятности при помощи классификатора SVM SVMModel и путем проведения 10-кратной перекрестной проверки с помощью хранимых данных о предикторе (SVMModel.X) и метки класса (SVMModel.Y), как обрисовано в общих чертах в [1]. Функция преобразования вычисляет апостериорную вероятность, что наблюдение классифицируется в положительный класс (SVMModel.Classnames(2)).

  • Если классы неотделимы, то функция преобразования является сигмоидальной функцией.

  • Если классы совершенно отделимы, то функция преобразования является ступенчатой функцией.

  • В изучении 2D класса, если один из этих двух классов имеет относительную частоту 0, то функция преобразования является постоянной функцией. fitPosterior функция не подходит для изучения одного класса.

  • Программное обеспечение хранит оптимальный счет к функции преобразования апостериорной вероятности в ScoreSVMModel.ScoreTransform.

Если вы повторно оцениваете счет к функции преобразования апостериорной вероятности, то есть, если вы передаете классификатор SVM fitPosterior или fitSVMPosterior и его ScoreTransform свойством не является none, затем программное обеспечение:

  • Выводит предупреждение

  • Сбрасывает исходную функцию преобразования к 'none' прежде, чем оценить новый

Альтернативная функциональность

Можно также соответствовать функции апостериорной вероятности при помощи fitSVMPosterior. Эта функция похожа на fitPosterior, кроме него более широко, потому что это принимает более широкую область значений типов классификатора SVM.

Ссылки

[1] Платт, J. “Вероятностные выходные параметры для машин опорных векторов и сравнений с упорядоченными методами вероятности”. Усовершенствования в Больших Граничных Классификаторах. Кембридж, MA: Нажатие MIT, 2000, стр 61–74.

Смотрите также

| | |

Введенный в R2014a

Для просмотра документации необходимо авторизоваться на сайте