Загрузите выборочные данные.

load fisheriris

Используйте только первые две функции в качестве переменных. Задайте двоичную задачу классификации, используя только измерения, которые соответствуют видам versicolor и virginica.

pred = meas(51:end,1:2);

Задайте переменную двоичной характеристики.

resp = (1:100)'>50;  % Versicolor = 0, virginica = 1

Подбор логистической регрессионной модели.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');

Вычислите кривую ROC. Используйте оценки вероятностей из логистической регрессионой модели в качестве счетов.

scores = mdl.Fitted.Probability;
[X,Y,T,AUC] = perfcurve(species(51:end,:),scores,'virginica');

perfcurve сохраняет пороговые значения в массиве T.

Отображение области под кривой.

AUC

AUC = 0.7918

Площадь под кривой составляет 0,7918. Максимальный AUC равен 1, что соответствует идеальному классификатору. Большие значения AUC указывают на лучшую эффективность классификатора.

Постройте график кривой ROC.

plot(X,Y)
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC for Classification by Logistic Regression')

Загрузите выборочные данные.

load ionosphere

X является 351x34 вещественной матрицей предикторов. Y - символьный массив меток классов: 'b' для плохих возвратов и 'g' радара для хороших радарных возвратов.

Переформатируйте ответ, чтобы соответствовать логистической регрессии. Используйте переменные предиктора с 3 по 34.

resp = strcmp(Y,'b'); % resp = 1, if Y = 'b', or 0 if Y = 'g' 
pred = X(:,3:34);

Подбирайте логистическую регрессионую модель, чтобы оценить апостериорные вероятности для возвращения радара, чтобы быть плохой.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');
score_log = mdl.Fitted.Probability; % Probability estimates

Вычислите стандартную кривую ROC, используя вероятности для счетов.

[Xlog,Ylog,Tlog,AUClog] = perfcurve(resp,score_log,'true');

Обучите классификатор SVM на тех же выборочных данных. Стандартизируйте данные.

mdlSVM = fitcsvm(pred,resp,'Standardize',true);

Вычислите апостериорные вероятности ( счета).

mdlSVM = fitPosterior(mdlSVM);
[~,score_svm] = resubPredict(mdlSVM);

Второй столбец score_svm содержит апостериорные вероятности плохих радарных возвратов.

Вычислите стандартную кривую ROC, используя счета из модели SVM.

[Xsvm,Ysvm,Tsvm,AUCsvm] = perfcurve(resp,score_svm(:,mdlSVM.ClassNames),'true');

Подбор наивного классификатора Байеса к тем же выборочным данным.

mdlNB = fitcnb(pred,resp);

Вычислите апостериорные вероятности ( счета).

[~,score_nb] = resubPredict(mdlNB);

Вычислите стандартную кривую ROC, используя счета из наивной классификации Байеса.

[Xnb,Ynb,Tnb,AUCnb] = perfcurve(resp,score_nb(:,mdlNB.ClassNames),'true');

Постройте график кривых ROC на том же графике.

plot(Xlog,Ylog)
hold on
plot(Xsvm,Ysvm)
plot(Xnb,Ynb)
legend('Logistic Regression','Support Vector Machines','Naive Bayes','Location','Best')
xlabel('False positive rate'); ylabel('True positive rate');
title('ROC Curves for Logistic Regression, SVM, and Naive Bayes Classification')
hold off

Несмотря на то, что SVM производит лучшие значения ROC для более высоких порогов, логистическая регрессия обычно лучше отличает плохие возвраты радара от хороших таковых. Кривая ROC для наивного Байеса обычно ниже, чем две другие кривые ROC, что указывает на худшую эффективность в выборке, чем два других метода классификатора.

Сравните площадь под кривой для всех трех классификаторов.

AUClog

AUClog = 0.9659

AUCsvm

AUCsvm = 0.9489

AUCnb

AUCnb = 0.9393

Логистическая регрессия имеет самую высокую меру AUC для классификации, а наивный Байес имеет самую низкую. Этот результат предполагает, что логистическая регрессия имеет лучшую среднюю эффективность в выборке для этих выборочных данных.

В этом примере показано, как определить лучшее значение параметров для пользовательской функции ядра в классификаторе с помощью кривых ROC.

rng(1);  % For reproducibility
n = 100; % Number of points per quadrant

r1 = sqrt(rand(2*n,1));                     % Random radii
t1 = [pi/2*rand(n,1); (pi/2*rand(n,1)+pi)]; % Random angles for Q1 and Q3
X1 = [r1.*cos(t1) r1.*sin(t1)];             % Polar-to-Cartesian conversion

r2 = sqrt(rand(2*n,1));
t2 = [pi/2*rand(n,1)+pi/2; (pi/2*rand(n,1)-pi/2)]; % Random angles for Q2 and Q4
X2 = [r2.*cos(t2) r2.*sin(t2)];

pred = [X1; X2];
resp = ones(4*n,1);
resp(2*n + 1:end) = -1; % Labels

function G = mysigmoid(U,V)
% Sigmoid kernel function with slope gamma and intercept c
gamma = 1;
c = -1;
G = tanh(gamma*U*V' + c);
end

SVMModel1 = fitcsvm(pred,resp,'KernelFunction','mysigmoid',...
				'Standardize',true);
SVMModel1 = fitPosterior(SVMModel1);
[~,scores1] = resubPredict(SVMModel1);

function G = mysigmoid2(U,V)
% Sigmoid kernel function with slope gamma and intercept c
gamma = 0.5;
c = -1;
G = tanh(gamma*U*V' + c);
end

SVMModel2 = fitcsvm(pred,resp,'KernelFunction','mysigmoid2',...
				'Standardize',true);
SVMModel2 = fitPosterior(SVMModel2);
[~,scores2] = resubPredict(SVMModel2);

[x1,y1,~,auc1] = perfcurve(resp,scores1(:,2),1);
[x2,y2,~,auc2] = perfcurve(resp,scores2(:,2),1);

plot(x1,y1)
hold on
plot(x2,y2)
hold off
legend('gamma = 1','gamma = 0.5','Location','SE');
xlabel('False positive rate'); ylabel('True positive rate');
title('ROC for classification by SVM');

auc1
auc2

auc1 =

    0.9518


auc2 =

    0.9985

Загрузите выборочные данные.

load fisheriris

The вектора-столбца, species, состоит из цветков радужки трех различных видов: сетоза, версиколор, виргиника. Матрица с двойной meas состоит из четырех видов измерений на цветках: длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка. Все меры указаны в сантиметрах.

Обучите дерево классификации, используя длину и ширину сепаля в качестве переменных. Рекомендуется задавать имена классов.

Model = fitctree(meas(:,1:2),species, ...
    'ClassNames',{'setosa','versicolor','virginica'});

Спрогнозируйте метки и счета классов для вида на основе дерева Model.

[~,score] = resubPredict(Model);

Счета являются апостериорными вероятностями того, что наблюдение (строка в матрице данных) принадлежит классу. Столбцы score соответствуют классам, заданным в 'ClassNames'. Так, первый столбец соответствует setosa, второй - versicolor, а третий - virginica.

Вычислите кривую ROC для предсказаний, что наблюдение принадлежит версиколору, учитывая истинные метки классов species. Также вычислите оптимальную рабочую точку и значения y для отрицательных подклассов. Возвращает имена отрицательных классов.

Поскольку это многоклассовая проблема, вы не можете просто поставить score(:,2) как вход в perfcurve. Это не дало бы perfcurve достаточно информации о счетах для двух отрицательных классов (setosa и virginica). Эта задача отличается от задачи двоичной классификации, где знания счетов одного класса достаточно, чтобы определить счета другого класса. Поэтому необходимо поставить perfcurve с функцией, которая влияет на счета двух отрицательных классов. Одной из таких функций является $$score(:,2)-\max (score(:,1),score(:,3))$$.

diffscore = score(:,2) - max(score(:,1),score(:,3));
[X,Y,T,~,OPTROCPT,suby,subnames] = perfcurve(species,diffscore,'versicolor');

X, по умолчанию является ложноположительной частотой (выпадение или 1-специфичность) и Y, по умолчанию является истинной положительной частотой (отзыв или чувствительность). Положительная метка класса versicolor. Поскольку отрицательный класс не определен, perfcurve принимает, что наблюдения, которые не относятся к положительному классу, находятся в одном классе. Функция принимает его как отрицательный класс.

OPTROCPT

OPTROCPT = 1×2

    0.1000    0.8000

suby

suby = 12×2

         0         0
    0.1800    0.1800
    0.4800    0.4800
    0.5800    0.5800
    0.6200    0.6200
    0.8000    0.8000
    0.8800    0.8800
    0.9200    0.9200
    0.9600    0.9600
    0.9800    0.9800
      ⋮

subnames

subnames = 1x2 cell
    {'setosa'}    {'virginica'}

Постройте график кривой ROC и оптимальной рабочей точки на кривой ROC.

plot(X,Y)
hold on
plot(OPTROCPT(1),OPTROCPT(2),'ro')
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve for Classification by Classification Trees')
hold off

Найдите порог, который соответствует оптимальной рабочей точке.

T((X==OPTROCPT(1))&(Y==OPTROCPT(2)))

ans = 0.2857

Задайте virginica в качестве отрицательного класса вычислите и постройте график кривой ROC для versicolor.

Снова, вы должны поставить perfcurve с функцией, которая влияет на счета отрицательного класса. Пример функции, которую нужно использовать, $$score(:,2)-score(:,3)$$.

diffscore = score(:,2) - score(:,3);
[X,Y,~,~,OPTROCPT] = perfcurve(species,diffscore,'versicolor', ...
    'negClass','virginica');
OPTROCPT

OPTROCPT = 1×2

    0.1800    0.8200

figure, plot(X,Y)
hold on
plot(OPTROCPT(1),OPTROCPT(2),'ro')
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve for Classification by Classification Trees')
hold off

Загрузите выборочные данные.

load fisheriris

Область вектора-столбца species состоит из цветков радужки трех различных видов: сетоза, версиколор, виргиника. Матрица с двойной meas состоит из четырех видов измерений на цветках: длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка. Все меры указаны в сантиметрах.

Используйте только первые две функции в качестве переменных. Задайте двоичную задачу при помощи только тех измерений, которые соответствуют видам versicolor и virginica.

pred = meas(51:end,1:2);

Задайте переменную двоичной характеристики.

resp = (1:100)'>50;  % Versicolor = 0, virginica = 1

Подбирайте логистическую регрессионую модель.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');

Вычислите точные доверительные интервалы на истинной положительной скорости (TPR) путем вертикального усреднения (VA) и дискретизации с помощью bootstrap.

[X,Y,T] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
       'virginica','NBoot',1000,'XVals',[0:0.05:1]);

'NBoot',1000 устанавливает количество реплик начальной загрузки равным 1000. 'XVals','All' подсказки perfcurve для возврата X, Y, и T значения для всех счетов и среднее значение Y значения (истинная положительная скорость) в любое X значения (ложная положительная скорость) с использованием вертикального усреднения. Если вы не задаете XVals, затем perfcurve вычисляет доверительные границы, используя среднее пороговое значение по умолчанию.

Постройте график точечных доверительных интервалов.

errorbar(X,Y(:,1),Y(:,1)-Y(:,2),Y(:,3)-Y(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwVA','Location','Best')

Не всегда можно управлять ложноположительной частотой (FPR, X значение в этом примере). Таким образом, вы можете захотеть вычислить точечные доверительные интервалы на истинных положительных скоростях (TPR) по среднему порогу.

[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
    'virginica','NBoot',1000);

Если вы задаете 'TVals' на 'All', или если вы не задаете 'TVals' или 'Xvals', затем perfcurve возвращает X, Y, и T значения для всех счетов и вычисляет точечные доверительные границы для X и Y использование среднего порога.

Постройте график доверительных границ.

figure()
errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate')
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwTA','Location','Best')

Задайте пороговые значения, которые нужно исправить и вычислить кривую ROC. Затем постройте график кривой.

[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
    'virginica','NBoot',1000,'TVals',0:0.05:1);
figure()
errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate')
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwTA','Location','Best')