Загрузите выборочные данные.

load fisheriris

Используйте только первые две функции как переменные прогноза. Задайте бинарную проблему классификации только при помощи измерений, которые соответствуют разновидностям versicolor и virginica.

pred = meas(51:end,1:2);

Задайте бинарную переменную отклика.

resp = (1:100)'>50;  % Versicolor = 0, virginica = 1

Соответствуйте модели логистической регрессии.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');

Вычислите кривую ROC. Используйте оценки вероятности из модели логистической регрессии как очки.

scores = mdl.Fitted.Probability;
[X,Y,T,AUC] = perfcurve(species(51:end,:),scores,'virginica');

perfcurve хранит пороговые значения в массиве T.

Отобразите область под кривой.

AUC

AUC = 0.7918

Область под кривой 0.7918. Максимальный AUC равняется 1, который соответствует совершенному классификатору. Большие значения AUC указывают на лучшую производительность классификатора.

Постройте кривую ROC.

plot(X,Y)
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC for Classification by Logistic Regression')

Загрузите выборочные данные.

load ionosphere

X 351x34 матрица с действительным знаком предикторов. Y является символьным массивом меток класса: 'b' для плохого радара возвращается, и 'g' для хорошего радара возвращается.

Переформатируйте ответ, чтобы соответствовать логистической регрессии. Используйте переменные прогноза 3 - 34.

resp = strcmp(Y,'b'); % resp = 1, if Y = 'b', or 0 if Y = 'g' 
pred = X(:,3:34);

Соответствуйте модели логистической регрессии, чтобы оценить, что апостериорные вероятности для радара возвращаются, чтобы быть плохой.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');
score_log = mdl.Fitted.Probability; % Probability estimates

Вычислите стандартную кривую ROC с помощью вероятностей для очков.

[Xlog,Ylog,Tlog,AUClog] = perfcurve(resp,score_log,'true');

Обучите классификатор SVM на тех же выборочных данных. Стандартизируйте данные.

mdlSVM = fitcsvm(pred,resp,'Standardize',true);

Вычислите апостериорные вероятности (очки).

mdlSVM = fitPosterior(mdlSVM);
[~,score_svm] = resubPredict(mdlSVM);

Второй столбец score_svm содержит апостериорные вероятности плохого радара, возвращается.

Вычислите стандартную кривую ROC с помощью очков из модели SVM.

[Xsvm,Ysvm,Tsvm,AUCsvm] = perfcurve(resp,score_svm(:,mdlSVM.ClassNames),'true');

Соответствуйте наивному классификатору Байеса на тех же выборочных данных.

mdlNB = fitcnb(pred,resp);

Вычислите апостериорные вероятности (очки).

[~,score_nb] = resubPredict(mdlNB);

Вычислите стандартную кривую ROC с помощью очков от наивной классификации Бейеса.

[Xnb,Ynb,Tnb,AUCnb] = perfcurve(resp,score_nb(:,mdlNB.ClassNames),'true');

Постройте кривые ROC на том же графике.

plot(Xlog,Ylog)
hold on
plot(Xsvm,Ysvm)
plot(Xnb,Ynb)
legend('Logistic Regression','Support Vector Machines','Naive Bayes','Location','Best')
xlabel('False positive rate'); ylabel('True positive rate');
title('ROC Curves for Logistic Regression, SVM, and Naive Bayes Classification')
hold off

Несмотря на то, что SVM производит лучшие значения ROC для более высоких порогов, логистическая регрессия обычно лучше в различении плохого радара, возвращается из хороших единиц. Кривая ROC для наивного Бейеса обычно ниже, чем другие две кривые ROC, который указывает на худшую производительность в выборке, чем другие два метода классификатора.

Сравните область под кривой для всех трех классификаторов.

AUClog

AUClog = 0.9659

AUCsvm

AUCsvm = 0.9488

AUCnb

AUCnb = 0.9393

Логистическая регрессия имеет самую высокую меру по AUC для классификации, и у наивного Бейеса есть самое низкое. Этот результат предполагает, что логистическая регрессия имеет лучшую среднюю производительность в выборке для этих выборочных данных.

Этот пример показывает, как определить лучшее значение параметров для пользовательской функции ядра в классификаторе с помощью кривых ROC.

rng(1);  % For reproducibility
n = 100; % Number of points per quadrant

r1 = sqrt(rand(2*n,1));                     % Random radii
t1 = [pi/2*rand(n,1); (pi/2*rand(n,1)+pi)]; % Random angles for Q1 and Q3
X1 = [r1.*cos(t1) r1.*sin(t1)];             % Polar-to-Cartesian conversion

r2 = sqrt(rand(2*n,1));
t2 = [pi/2*rand(n,1)+pi/2; (pi/2*rand(n,1)-pi/2)]; % Random angles for Q2 and Q4
X2 = [r2.*cos(t2) r2.*sin(t2)];

pred = [X1; X2];
resp = ones(4*n,1);
resp(2*n + 1:end) = -1; % Labels

function G = mysigmoid(U,V)
% Sigmoid kernel function with slope gamma and intercept c
gamma = 1;
c = -1;
G = tanh(gamma*U*V' + c);
end

SVMModel1 = fitcsvm(pred,resp,'KernelFunction','mysigmoid',...
				'Standardize',true);
SVMModel1 = fitPosterior(SVMModel1);
[~,scores1] = resubPredict(SVMModel1);

function G = mysigmoid2(U,V)
% Sigmoid kernel function with slope gamma and intercept c
gamma = 0.5;
c = -1;
G = tanh(gamma*U*V' + c);
end

SVMModel2 = fitcsvm(pred,resp,'KernelFunction','mysigmoid2',...
				'Standardize',true);
SVMModel2 = fitPosterior(SVMModel2);
[~,scores2] = resubPredict(SVMModel2);

[x1,y1,~,auc1] = perfcurve(resp,scores1(:,2),1);
[x2,y2,~,auc2] = perfcurve(resp,scores2(:,2),1);

plot(x1,y1)
hold on
plot(x2,y2)
hold off
legend('gamma = 1','gamma = 0.5','Location','SE');
xlabel('False positive rate'); ylabel('True positive rate');
title('ROC for classification by SVM');

auc1
auc2

auc1 =

    0.9518


auc2 =

    0.9985

Загрузите выборочные данные.

load fisheriris

Вектор-столбец, species, состоит из ирисовых цветов трех различных разновидностей: setosa, versicolor, virginica. Двойной матричный meas состоит из четырех типов измерений на цветах: длина чашелистика, ширина чашелистика, лепестковая длина и лепестковая ширина. Все меры находятся в сантиметрах.

Обучите дерево классификации использование длины чашелистика и ширины как переменные прогноза. Это - хорошая практика, чтобы задать имена классов.

Model = fitctree(meas(:,1:2),species, ...
    'ClassNames',{'setosa','versicolor','virginica'});

Предскажите метки класса и музыку к разновидностям на основе древовидного Model.

[~,score] = resubPredict(Model);

Очки являются апостериорными вероятностями, что наблюдение (строка в матрице данных) принадлежит классу. Столбцы score соответствуют классам, заданным 'ClassNames'. Так, первый столбец соответствует setosa, второе соответствует versicolor, и третий столбец соответствует virginica.

Вычислите кривую ROC для прогнозов, что наблюдение принадлежит versicolor, учитывая истинный класс маркирует species. Также вычислите оптимальную рабочую точку и y значения для отрицательных подклассов. Возвратите имена отрицательных классов.

Поскольку это - проблема мультикласса, вы не можете просто предоставить score(:,2), как введено к perfcurve. Выполнение так не дало бы perfcurve достаточно информации о музыке к двум отрицательным классам (setosa и virginica). Эта проблема непохожа на бинарную проблему классификации, где знания множества одного класса достаточно, чтобы определить множество другого класса. Поэтому необходимо предоставить perfcurve функцию, которая включает множество двух отрицательных классов. Одна такая функция $$score(:,2)-\max (score(:,1),score(:,3))$$.

diffscore = score(:,2) - max(score(:,1),score(:,3));
[X,Y,T,~,OPTROCPT,suby,subnames] = perfcurve(species,diffscore,'versicolor');

X, по умолчанию, является ложным положительным уровнем (осадки или 1 специфика), и Y, по умолчанию, является истинным положительным уровнем (отзыв или чувствительность). Положительной меткой класса является versicolor. Поскольку отрицательный класс не задан, perfcurve принимает, что наблюдения, которые не принадлежат положительному классу, находятся в одном классе. Функция принимает его как отрицательный класс.

OPTROCPT

OPTROCPT = 1×2

    0.1000    0.8000

suby

suby = 12×2

         0         0
    0.1800    0.1800
    0.4800    0.4800
    0.5800    0.5800
    0.6200    0.6200
    0.8000    0.8000
    0.8800    0.8800
    0.9200    0.9200
    0.9600    0.9600
    0.9800    0.9800
      ⋮

subnames

subnames = 1x2 cell array
    {'setosa'}    {'virginica'}

Постройте кривую ROC и оптимальную рабочую точку на кривой ROC.

plot(X,Y)
hold on
plot(OPTROCPT(1),OPTROCPT(2),'ro')
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve for Classification by Classification Trees')
hold off

Найдите порог, который соответствует оптимальной рабочей точке.

T((X==OPTROCPT(1))&(Y==OPTROCPT(2)))

ans = 0.2857

Задайте virginica как отрицательный класс и вычислите и постройте кривую ROC для versicolor.

Снова, необходимо предоставить perfcurve функцию, которая включает множество отрицательного класса. Пример функции, чтобы использовать $$score(:,2)-score(:,3)$$.

diffscore = score(:,2) - score(:,3);
[X,Y,~,~,OPTROCPT] = perfcurve(species,diffscore,'versicolor', ...
    'negClass','virginica');
OPTROCPT

OPTROCPT = 1×2

    0.1800    0.8200

figure, plot(X,Y)
hold on
plot(OPTROCPT(1),OPTROCPT(2),'ro')
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve for Classification by Classification Trees')
hold off

Загрузите выборочные данные.

load fisheriris

Вектор-столбец species состоит из ирисовых цветов трех различных разновидностей: setosa, versicolor, virginica. Двойной матричный meas состоит из четырех типов измерений на цветах: длина чашелистика, ширина чашелистика, лепестковая длина и лепестковая ширина. Все меры находятся в сантиметрах.

Используйте только первые две функции как переменные прогноза. Задайте бинарную проблему только при помощи измерений, которые соответствуют versicolor и virginica разновидностям.

pred = meas(51:end,1:2);

Задайте бинарную переменную отклика.

resp = (1:100)'>50;  % Versicolor = 0, virginica = 1

Соответствуйте модели логистической регрессии.

mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');

Вычислите pointwise доверительные интервалы на истинном положительном уровне (TPR) вертикальным усреднением (VA) и выбирающий использующий начальную загрузку.

[X,Y,T] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
       'virginica','NBoot',1000,'XVals',[0:0.05:1]);

'NBoot',1000 определяет номер копий начальной загрузки к 1 000. 'XVals','All' запрашивает perfcurve возвращать X, Y и значения T для всех очков, и составлять в среднем значения Y (истинный положительный уровень) во всех значениях X (ложный положительный уровень) использование вертикального усреднения. Если вы не задаете XVals, то perfcurve вычисляет доверительные границы с помощью порога, составляющего в среднем по умолчанию.

Постройте pointwise доверительные интервалы.

errorbar(X,Y(:,1),Y(:,1)-Y(:,2),Y(:,3)-Y(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate') 
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwVA','Location','Best')

Не может всегда быть возможно управлять ложным положительным уровнем (FPR, значение X в этом примере). Таким образом, вы можете хотеть вычислить pointwise доверительные интервалы на истинных положительных уровнях (TPR) пороговым усреднением.

[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
    'virginica','NBoot',1000);

Если вы устанавливаете 'TVals' на 'All', или если вы не задаете 'TVals' или 'Xvals', то perfcurve возвращает X, Y и значения T для всех очков и вычисляет pointwise доверительные границы для X и Y с помощью порогового усреднения.

Постройте доверительные границы.

figure()
errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate')
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwTA','Location','Best')

Задайте пороговые значения, чтобы зафиксировать и вычислить кривую ROC. Затем постройте кривую.

[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,...
    'virginica','NBoot',1000,'TVals',0:0.05:1);
figure()
errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1));
xlim([-0.02,1.02]); ylim([-0.02,1.02]);
xlabel('False positive rate')
ylabel('True positive rate')
title('ROC Curve with Pointwise Confidence Bounds')
legend('PCBwTA','Location','Best')