Загрузите выборочные данные.

load fisheriris

Используйте только первые две функции как переменные предикторы. Опишите бинарную задачу классификации только при помощи измерений, которые соответствуют разновидностям versicolor и virginica.

pred = meas(51:end,1:2);

Задайте бинарную переменную отклика.

resp = (1:100)'>50;  % Versicolor = 0, virginica = 1

Подбирайте модель логистической регрессии.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');

Вычислите кривую ROC. Используйте оценки вероятности из модели логистической регрессии как баллы.

scores = mdl.Fitted.Probability;
[X,Y,T,AUC] = perfcurve(species(51:end,:),scores,'virginica');

perfcurve хранит пороговые значения в массиве T.

Отобразите область под кривой.

AUC

AUC = 0.7918

Область под кривой 0.7918. Максимальный AUC равняется 1, который соответствует совершенному классификатору. Большие значения AUC указывают на лучшую производительность классификатора.

Постройте кривую ROC.

plot(X,Y)
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC for Classification by Logistic Regression')

Загрузите выборочные данные.

load ionosphere

X 351x34 матрица с действительным знаком предикторов. Y символьный массив меток класса: 'b' поскольку плохой радар возвращается и 'g' поскольку хороший радар возвращается.

Переформатируйте ответ, чтобы соответствовать логистической регрессии. Используйте переменные предикторы 3 - 34.

resp = strcmp(Y,'b'); % resp = 1, if Y = 'b', or 0 if Y = 'g' 
pred = X(:,3:34);

Подбирайте модель логистической регрессии, чтобы оценить, что апостериорные вероятности для радара возвращаются, чтобы быть плохой.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');
score_log = mdl.Fitted.Probability; % Probability estimates

Вычислите стандартную кривую ROC с помощью вероятностей в баллах.

[Xlog,Ylog,Tlog,AUClog] = perfcurve(resp,score_log,'true');

Обучите классификатор SVM на тех же выборочных данных. Стандартизируйте данные.

mdlSVM = fitcsvm(pred,resp,'Standardize',true);

Вычислите апостериорные вероятности (баллы).

mdlSVM = fitPosterior(mdlSVM);
[~,score_svm] = resubPredict(mdlSVM);

Второй столбец score_svm содержит апостериорные вероятности плохого радара, возвращается.

Вычислите стандартную кривую ROC с помощью баллов из модели SVM.

[Xsvm,Ysvm,Tsvm,AUCsvm] = perfcurve(resp,score_svm(:,mdlSVM.ClassNames),'true');

Соответствуйте наивному классификатору Байеса на тех же выборочных данных.

mdlNB = fitcnb(pred,resp);

Вычислите апостериорные вероятности (баллы).

[~,score_nb] = resubPredict(mdlNB);

Вычислите стандартную кривую ROC с помощью баллов от наивной классификации Бейеса.

[Xnb,Ynb,Tnb,AUCnb] = perfcurve(resp,score_nb(:,mdlNB.ClassNames),'true');

Постройте кривые ROC на том же графике.

plot(Xlog,Ylog)
hold on
plot(Xsvm,Ysvm)
plot(Xnb,Ynb)
legend('Logistic Regression','Support Vector Machines','Naive Bayes','Location','Best')
xlabel('False positive rate'); ylabel('True positive rate');
title('ROC Curves for Logistic Regression, SVM, and Naive Bayes Classification')
hold off

Несмотря на то, что SVM производит лучшие значения ROC для более высоких порогов, логистическая регрессия обычно лучше в различении плохого радара, возвращается из хороших единиц. Кривая ROC для наивного Бейеса обычно ниже, чем другие две кривые ROC, который указывает на худшую производительность в выборке, чем другие два метода классификатора.

Сравните область под кривой для всех трех классификаторов.

AUClog

AUClog = 0.9659

AUCsvm

AUCsvm = 0.9488

AUCnb

AUCnb = 0.9393

Логистическая регрессия имеет самую высокую меру по AUC для классификации, и у наивного Бейеса есть самое низкое. Этот результат предполагает, что логистическая регрессия имеет лучшую среднюю производительность в выборке для этих выборочных данных.

В этом примере показано, как решить, что лучшее значение параметров для пользовательского ядра функционирует в классификаторе с помощью кривых ROC.

rng(1);  % For reproducibility
n = 100; % Number of points per quadrant

r1 = sqrt(rand(2*n,1));                     % Random radii
t1 = [pi/2*rand(n,1); (pi/2*rand(n,1)+pi)]; % Random angles for Q1 and Q3
X1 = [r1.*cos(t1) r1.*sin(t1)];             % Polar-to-Cartesian conversion

r2 = sqrt(rand(2*n,1));
t2 = [pi/2*rand(n,1)+pi/2; (pi/2*rand(n,1)-pi/2)]; % Random angles for Q2 and Q4
X2 = [r2.*cos(t2) r2.*sin(t2)];

pred = [X1; X2];
resp = ones(4*n,1);
resp(2*n + 1:end) = -1; % Labels

function G = mysigmoid(U,V)
% Sigmoid kernel function with slope gamma and intercept c
gamma = 1;
c = -1;
G = tanh(gamma*U*V' + c);
end

SVMModel1 = fitcsvm(pred,resp,'KernelFunction','mysigmoid',...
				'Standardize',true);
SVMModel1 = fitPosterior(SVMModel1);
[~,scores1] = resubPredict(SVMModel1);

function G = mysigmoid2(U,V)
% Sigmoid kernel function with slope gamma and intercept c
gamma = 0.5;
c = -1;
G = tanh(gamma*U*V' + c);
end

SVMModel2 = fitcsvm(pred,resp,'KernelFunction','mysigmoid2',...
				'Standardize',true);
SVMModel2 = fitPosterior(SVMModel2);
[~,scores2] = resubPredict(SVMModel2);

[x1,y1,~,auc1] = perfcurve(resp,scores1(:,2),1);
[x2,y2,~,auc2] = perfcurve(resp,scores2(:,2),1);

plot(x1,y1)
hold on
plot(x2,y2)
hold off
legend('gamma = 1','gamma = 0.5','Location','SE');
xlabel('False positive rate'); ylabel('True positive rate');
title('ROC for classification by SVM');

auc1
auc2

auc1 =

    0.9518


auc2 =

    0.9985

Загрузите выборочные данные.

load fisheriris

Вектор-столбец, species, состоит из ирисовых цветов трех различных разновидностей: setosa, versicolor, virginica. Двойной матричный meas состоит из четырех типов измерений на цветах: длина чашелистика, ширина чашелистика, лепестковая длина и лепестковая ширина. Все меры находятся в сантиметрах.

Обучите дерево классификации использование длины чашелистика и ширины как переменные предикторы. Это - хорошая практика, чтобы задать имена классов.

Model = fitctree(meas(:,1:2),species, ...
    'ClassNames',{'setosa','versicolor','virginica'});

Предскажите метки класса и музыку к разновидностям на основе древовидного Model.

[~,score] = resubPredict(Model);

Баллы являются апостериорными вероятностями, что наблюдение (строка в матрице данных) принадлежит классу. Столбцы score соответствуйте классам, заданным 'ClassNames'. Так, первый столбец соответствует setosa, второе соответствует versicolor, и третий столбец соответствует virginica.

Вычислите кривую ROC для предсказаний, что наблюдение принадлежит versicolor, учитывая истинный класс маркирует species. Также вычислите оптимальную рабочую точку и y значения для отрицательных подклассов. Возвратите имена отрицательных классов.

Поскольку это - проблема мультикласса, вы не можете просто предоставить score(:,2) как введено к perfcurve. Выполнение так не дало бы perfcurve достаточно информации о музыке к двум отрицательным классам (setosa и virginica). Эта проблема непохожа на бинарную проблему классификации, где знания множества одного класса достаточно, чтобы определить множество другого класса. Поэтому необходимо предоставить perfcurve с функцией, которая включает множество двух отрицательных классов. Одна такая функция $$score(:,2)-\max (score(:,1),score(:,3))$$.

diffscore = score(:,2) - max(score(:,1),score(:,3));
[X,Y,T,~,OPTROCPT,suby,subnames] = perfcurve(species,diffscore,'versicolor');

X, по умолчанию, ложный положительный уровень (осадки или 1 специфика) и Y, по умолчанию, истинный положительный уровень (отзыв или чувствительность). Положительной меткой класса является versicolor. Поскольку отрицательный класс не задан, perfcurve принимает, что наблюдения, которые не принадлежат положительному классу, находятся в одном классе. Функция принимает его как отрицательный класс.

OPTROCPT

OPTROCPT = 1×2

    0.1000    0.8000

suby

suby = 12×2

         0         0
    0.1800    0.1800
    0.4800    0.4800
    0.5800    0.5800
    0.6200    0.6200
    0.8000    0.8000
    0.8800    0.8800
    0.9200    0.9200
    0.9600    0.9600
    0.9800    0.9800
      ⋮

subnames

subnames = 1x2 cell
    {'setosa'}    {'virginica'}

Постройте кривую ROC и оптимальную рабочую точку на кривой ROC.

plot(X,Y)
hold on
plot(OPTROCPT(1),OPTROCPT(2),'ro')
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve for Classification by Classification Trees')
hold off

Найдите порог, который соответствует оптимальной рабочей точке.

T((X==OPTROCPT(1))&(Y==OPTROCPT(2)))

ans = 0.2857

Задайте virginica как отрицательный класс и вычисляют и строят кривую ROC для versicolor.

Снова, необходимо предоставить perfcurve с функцией, которая включает множество отрицательного класса. Пример функции, чтобы использовать $$score(:,2)-score(:,3)$$.

diffscore = score(:,2) - score(:,3);
[X,Y,~,~,OPTROCPT] = perfcurve(species,diffscore,'versicolor', ...
    'negClass','virginica');
OPTROCPT

OPTROCPT = 1×2

    0.1800    0.8200

figure, plot(X,Y)
hold on
plot(OPTROCPT(1),OPTROCPT(2),'ro')
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve for Classification by Classification Trees')
hold off

Загрузите выборочные данные.

load fisheriris

Вектор-столбец species состоит из ирисовых цветов трех различных разновидностей: setosa, versicolor, virginica. Двойной матричный meas состоит из четырех типов измерений на цветах: длина чашелистика, ширина чашелистика, лепестковая длина и лепестковая ширина. Все меры находятся в сантиметрах.

Используйте только первые две функции как переменные предикторы. Опишите бинарную задачу только при помощи измерений, которые соответствуют versicolor и virginica разновидностям.

pred = meas(51:end,1:2);

Задайте бинарную переменную отклика.

resp = (1:100)'>50;  % Versicolor = 0, virginica = 1

Подбирайте модель логистической регрессии.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');

Вычислите pointwise доверительные интервалы на истинном положительном уровне (TPR) вертикальным усреднением (VA) и производящий использующий начальную загрузку.

[X,Y,T] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
       'virginica','NBoot',1000,'XVals',[0:0.05:1]);

'NBoot',1000 определяет номер копий начальной загрузки к 1 000. 'XVals','All' подсказки perfcurve возвратить XY, и T значения для всех баллов и среднее значение Y значения (истинный положительный уровень) во всем X значения (ложный положительный уровень) использование вертикального усреднения. Если вы не задаете XVals, затем perfcurve вычисляет доверительные границы с помощью порога, составляющего в среднем по умолчанию.

Постройте pointwise доверительные интервалы.

errorbar(X,Y(:,1),Y(:,1)-Y(:,2),Y(:,3)-Y(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwVA','Location','Best')

Не может всегда быть возможно управлять ложным положительным уровнем (FPR, X значение в этом примере). Таким образом, вы можете хотеть вычислить pointwise доверительные интервалы на истинных положительных уровнях (TPR) пороговым усреднением.

[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
    'virginica','NBoot',1000);

Если вы устанавливаете 'TVals' к 'All', или если вы не задаете 'TVals' или 'Xvals', затем perfcurve возвращает XY, и T значения для всех баллов и вычисляют pointwise доверительные границы для X и Y использование порогового усреднения.

Постройте доверительные границы.

figure()
errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate')
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwTA','Location','Best')

Задайте пороговые значения, чтобы зафиксировать и вычислить кривую ROC. Затем постройте кривую.

[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
    'virginica','NBoot',1000,'TVals',0:0.05:1);
figure()
errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate')
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwTA','Location','Best')