Кривая рабочих характеристик приемника (ROC) или другая кривая рабочих характеристик для выхода классификатора
[___] = perfcurve( возвращает координаты ROC-кривой и любого другого выходного аргумента из предыдущих синтаксисов с дополнительными опциями, заданными одним или несколькими labels,scores,posclass,Name,Value)Name,Value аргументы пары.
Например, можно предоставить список отрицательных классов, изменить X или Y критерий, вычислить точечные доверительные границы с помощью перекрестной проверки или начальной загрузки, указать стоимость неправильной классификации или вычислить доверительные границы параллельно.
Загрузите образцы данных.
load fisheririsИспользуйте только первые две функции в качестве переменных предиктора. Определите проблему бинарной классификации, используя только измерения, которые соответствуют видам versicolor и virginica.
pred = meas(51:end,1:2);
Определите двоичную переменную ответа.
resp = (1:100)'>50; % Versicolor = 0, virginica = 1Подберите модель логистической регрессии.
mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');
Вычислите кривую ROC. Используйте оценки вероятности из модели логистической регрессии в качестве баллов.
scores = mdl.Fitted.Probability;
[X,Y,T,AUC] = perfcurve(species(51:end,:),scores,'virginica');perfcurve сохраняет пороговые значения в массиве T.
Отображение области под кривой.
AUC
AUC = 0.7918
Площадь под кривой составляет 0,7918. Максимальная AUC равна 1, что соответствует совершенному классификатору. Большие значения AUC указывают на лучшую производительность классификатора.
Постройте график кривой ROC.
plot(X,Y) xlabel('False positive rate') ylabel('True positive rate') title('ROC for Classification by Logistic Regression')
Загрузите образцы данных.
load ionosphereX представляет собой действительную матрицу предсказателей 351x34. Y является символьным массивом меток классов: 'b' для плохих возвращений радаров и 'g' для хорошей радарной отдачи.
Переформатируйте ответ, чтобы соответствовать логистической регрессии. Используйте переменные предиктора с 3 по 34.
resp = strcmp(Y,'b'); % resp = 1, if Y = 'b', or 0 if Y = 'g' pred = X(:,3:34);
Подберите модель логистической регрессии, чтобы оценить апостериорные вероятности возврата радара как плохого.
mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit'); score_log = mdl.Fitted.Probability; % Probability estimates
Вычислите стандартную ROC-кривую, используя вероятности для оценок.
[Xlog,Ylog,Tlog,AUClog] = perfcurve(resp,score_log,'true');Обучение классификатора SVM тем же образцам данных. Стандартизация данных.
mdlSVM = fitcsvm(pred,resp,'Standardize',true);Вычислите апостериорные вероятности (оценки).
mdlSVM = fitPosterior(mdlSVM); [~,score_svm] = resubPredict(mdlSVM);
Второй столбец score_svm содержит апостериорные вероятности плохих радиолокационных возвращений.
Вычислите стандартную ROC-кривую, используя оценки из модели SVM.
[Xsvm,Ysvm,Tsvm,AUCsvm] = perfcurve(resp,score_svm(:,mdlSVM.ClassNames),'true');Установите наивный классификатор Байеса на те же данные образца.
mdlNB = fitcnb(pred,resp);
Вычислите апостериорные вероятности (оценки).
[~,score_nb] = resubPredict(mdlNB);
Вычислите стандартную ROC-кривую, используя оценки из наивной классификации Байеса.
[Xnb,Ynb,Tnb,AUCnb] = perfcurve(resp,score_nb(:,mdlNB.ClassNames),'true');Постройте график кривых ROC на том же графике.
plot(Xlog,Ylog) hold on plot(Xsvm,Ysvm) plot(Xnb,Ynb) legend('Logistic Regression','Support Vector Machines','Naive Bayes','Location','Best') xlabel('False positive rate'); ylabel('True positive rate'); title('ROC Curves for Logistic Regression, SVM, and Naive Bayes Classification') hold off
Хотя SVM дает лучшие значения ROC для более высоких пороговых значений, логистическая регрессия обычно лучше отличает плохие результаты радара от хороших. Кривая ROC для наивного Байеса, как правило, ниже, чем две другие кривые ROC, что указывает на худшую производительность в выборке, чем два других метода классификатора.
Сравните площадь под кривой для всех трех классификаторов.
AUClog
AUClog = 0.9659
AUCsvm
AUCsvm = 0.9489
AUCnb
AUCnb = 0.9393
Логистическая регрессия имеет самый высокий показатель AUC для классификации, а наивный Байес - самый низкий. Этот результат говорит о том, что логистическая регрессия имеет лучшую среднюю производительность в выборке для этих данных выборки.
В этом примере показано, как определить лучшее значение параметра для пользовательской функции ядра в классификаторе с помощью кривых ROC.
Создайте случайный набор точек в пределах единичной окружности.
rng(1); % For reproducibility n = 100; % Number of points per quadrant r1 = sqrt(rand(2*n,1)); % Random radii t1 = [pi/2*rand(n,1); (pi/2*rand(n,1)+pi)]; % Random angles for Q1 and Q3 X1 = [r1.*cos(t1) r1.*sin(t1)]; % Polar-to-Cartesian conversion r2 = sqrt(rand(2*n,1)); t2 = [pi/2*rand(n,1)+pi/2; (pi/2*rand(n,1)-pi/2)]; % Random angles for Q2 and Q4 X2 = [r2.*cos(t2) r2.*sin(t2)];
Определите переменные предиктора. Метка указывает в первом и третьем квадрантах как принадлежащие положительному классу, а во втором и четвертом квадрантах - отрицательному классу.
pred = [X1; X2];
resp = ones(4*n,1);
resp(2*n + 1:end) = -1; % Labels
Создание функции mysigmoid.m , которая принимает две матрицы в пространстве признаков в качестве входных данных и преобразует их в матрицу Gram с использованием сигмоидного ядра.
function G = mysigmoid(U,V) % Sigmoid kernel function with slope gamma and intercept c gamma = 1; c = -1; G = tanh(gamma*U*V' + c); end
Обучение классификатора SVM с помощью функции sigmoid kernel. Рекомендуется стандартизировать данные.
SVMModel1 = fitcsvm(pred,resp,'KernelFunction','mysigmoid',... 'Standardize',true); SVMModel1 = fitPosterior(SVMModel1); [~,scores1] = resubPredict(SVMModel1);
Набор gamma = 0.5 ; в mysigmoid.m и сохранить как mysigmoid2.m. И тренируйте классификатор SVM с помощью скорректированного сигмоидного ядра.
function G = mysigmoid2(U,V) % Sigmoid kernel function with slope gamma and intercept c gamma = 0.5; c = -1; G = tanh(gamma*U*V' + c); end
SVMModel2 = fitcsvm(pred,resp,'KernelFunction','mysigmoid2',... 'Standardize',true); SVMModel2 = fitPosterior(SVMModel2); [~,scores2] = resubPredict(SVMModel2);
Вычислите кривые ROC и площадь под кривой (AUC) для обеих моделей.
[x1,y1,~,auc1] = perfcurve(resp,scores1(:,2),1); [x2,y2,~,auc2] = perfcurve(resp,scores2(:,2),1);
Постройте график кривых ROC.
plot(x1,y1) hold on plot(x2,y2) hold off legend('gamma = 1','gamma = 0.5','Location','SE'); xlabel('False positive rate'); ylabel('True positive rate'); title('ROC for classification by SVM');
Функция ядра с гамма-параметром, равным 0,5, дает лучшие результаты in-sample.
Сравните показатели AUC.
auc1 auc2
auc1 =
0.9518
auc2 =
0.9985
Площадь под кривой для гамма-набора 0,5 больше, чем для гамма-набора 1. Это также подтверждает, что значение гамма-параметра 0,5 дает лучшие результаты. Визуальное сравнение характеристик классификации с этими двумя значениями гамма-параметров см. в разделе Классификатор Train SVM с использованием пользовательского ядра.
Загрузите образцы данных.
load fisheririsВектор столбца, species, состоит из цветков радужки трёх различных видов: сетоза, версиколор, виргиника. Двойная матрица meas состоит из четырёх видов измерений на цветках: длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка. Все меры - в сантиметрах.
Обучение дерева классификации с использованием длины и ширины чашелистика в качестве переменных предиктора. Рекомендуется указывать имена классов.
Model = fitctree(meas(:,1:2),species, ... 'ClassNames',{'setosa','versicolor','virginica'});
Прогнозирование меток классов и оценок для видов на основе дерева Model.
[~,score] = resubPredict(Model);
Баллы - это апостериорные вероятности того, что наблюдение (строка в матрице данных) принадлежит классу. Столбцы score соответствуют классам, указанным в 'ClassNames'. Так, первый столбец соответствует сетозе, второй - версиколору, а третий - virginica.
Вычислите кривую ROC для предсказаний, что наблюдение принадлежит versicolor, учитывая метки истинного класса species. Вычислите оптимальную рабочую точку и значения y для отрицательных подклассов. Возвращает имена отрицательных классов.
Поскольку это проблема мультикласса, вы не можете просто поставить score(:,2) в качестве входных данных для perfcurve. Это не даст perfcurve достаточно информации о баллах для двух отрицательных классов (setosa и virginica). Эта проблема не похожа на проблему двоичной классификации, когда знание баллов одного класса достаточно для определения баллов другого класса. Поэтому необходимо поставить perfcurve с функцией, которая влияет на баллы двух отрицательных классов. Одной из таких функций является score (:, 3)).
diffscore = score(:,2) - max(score(:,1),score(:,3));
[X,Y,T,~,OPTROCPT,suby,subnames] = perfcurve(species,diffscore,'versicolor');X, по умолчанию, является ложноположительной скоростью (выпадение или 1-специфичность) и Y, по умолчанию - истинная положительная скорость (отзыв или чувствительность). Положительная метка класса: versicolor. Поскольку отрицательный класс не определен, perfcurve предполагает, что наблюдения, не принадлежащие положительному классу, находятся в одном классе. Функция принимает его как отрицательный класс.
OPTROCPT
OPTROCPT = 1×2
0.1000 0.8000
suby
suby = 12×2
0 0
0.1800 0.1800
0.4800 0.4800
0.5800 0.5800
0.6200 0.6200
0.8000 0.8000
0.8800 0.8800
0.9200 0.9200
0.9600 0.9600
0.9800 0.9800
⋮
subnames
subnames = 1x2 cell
{'setosa'} {'virginica'}
Постройте график кривой ROC и оптимальной рабочей точки на кривой ROC.
plot(X,Y) hold on plot(OPTROCPT(1),OPTROCPT(2),'ro') xlabel('False positive rate') ylabel('True positive rate') title('ROC Curve for Classification by Classification Trees') hold off
Найдите порог, соответствующий оптимальной рабочей точке.
T((X==OPTROCPT(1))&(Y==OPTROCPT(2)))
ans = 0.2857
Определить virginica в качестве отрицательного класса и вычислить и построить ROC-кривую для versicolor.
Опять же, вы должны поставить perfcurve с функцией, которая влияет на баллы отрицательного класса. Примером используемой функции является (:, 3).
diffscore = score(:,2) - score(:,3); [X,Y,~,~,OPTROCPT] = perfcurve(species,diffscore,'versicolor', ... 'negClass','virginica'); OPTROCPT
OPTROCPT = 1×2
0.1800 0.8200
figure, plot(X,Y) hold on plot(OPTROCPT(1),OPTROCPT(2),'ro') xlabel('False positive rate') ylabel('True positive rate') title('ROC Curve for Classification by Classification Trees') hold off
Загрузите образцы данных.
load fisheririsВектор столбца species состоит из цветков радужки трёх различных видов: сетозы, версиколора, виргиники. Двойная матрица meas состоит из четырёх видов измерений на цветках: длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка. Все меры - в сантиметрах.
Используйте только первые две функции в качестве переменных предиктора. Определите двоичную проблему, используя только те измерения, которые соответствуют видам versicolor и virginica.
pred = meas(51:end,1:2);
Определите двоичную переменную ответа.
resp = (1:100)'>50; % Versicolor = 0, virginica = 1Подберите модель логистической регрессии.
mdl = fitglm(pred,resp,'Distribution','binomial','Link','logit');
Вычислите точечные доверительные интервалы для истинной положительной скорости (TPR) путем вертикального усреднения (VA) и выборки с использованием начальной загрузки.
[X,Y,T] = perfcurve(species(51:end,:),mdl.Fitted.Probability,... 'virginica','NBoot',1000,'XVals',[0:0.05:1]);
'NBoot',1000 устанавливает количество загрузочных реплик равным 1000. 'XVals','All' вызывает perfcurve возвратиться X, Y, и T значения для всех баллов и среднее значение Y значения (истинная положительная ставка) вообще X значения (ложноположительная скорость) с использованием вертикального усреднения. Если не указать XVals, то perfcurve вычисляет доверительные границы с использованием усреднения пороговых значений по умолчанию.
Постройте график точечных доверительных интервалов.
errorbar(X,Y(:,1),Y(:,1)-Y(:,2),Y(:,3)-Y(:,1)); xlim([-0.02,1.02]); ylim([-0.02,1.02]); xlabel('False positive rate') ylabel('True positive rate') title('ROC Curve with Pointwise Confidence Bounds') legend('PCBwVA','Location','Best')
Не всегда можно контролировать ложноположительную скорость (FPR, X значение в этом примере). Таким образом, вы можете вычислить точечные доверительные интервалы на истинных положительных скоростях (TPR) путем усреднения пороговых значений.
[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,... 'virginica','NBoot',1000);
Если установить 'TVals' кому 'All', или если вы не указываете 'TVals' или 'Xvals', то perfcurve прибыль X, Y, и T значения для всех баллов и вычисляет точечные доверительные границы для X и Y использование усреднения порога.
Постройте график доверительных границ.
figure() errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1)); xlim([-0.02,1.02]); ylim([-0.02,1.02]); xlabel('False positive rate') ylabel('True positive rate') title('ROC Curve with Pointwise Confidence Bounds') legend('PCBwTA','Location','Best')
Укажите пороговые значения для фиксации и вычисления кривой ROC. Затем постройте график кривой.
[X1,Y1,T1] = perfcurve(species(51:end,:),mdl.Fitted.Probability,... 'virginica','NBoot',1000,'TVals',0:0.05:1); figure() errorbar(X1(:,1),Y1(:,1),Y1(:,1)-Y1(:,2),Y1(:,3)-Y1(:,1)); xlim([-0.02,1.02]); ylim([-0.02,1.02]); xlabel('False positive rate') ylabel('True positive rate') title('ROC Curve with Pointwise Confidence Bounds') legend('PCBwTA','Location','Best')
[1] Т. Фосетт. «Графики ROC: примечания и практические соображения для исследователей», 2004.
[2] Цвейг, M. и Г. Кэмпбелл. «Графики операционных характеристик приемника (ROC): фундаментальный инструмент оценки в клинической медицине». Чим. 1993, 39/4, стр. 561-577.
[3] Дэвис, Дж. и М. Гоадрич. «Взаимосвязь между кривыми прецизионного отзыва и ROC». Труды ИКМЛ "06, 2006, стр. 233-240.
[4] Московиц, К. и М. Пепе. «Количественная оценка и сравнение точности прогнозирования непрерывных прогностических факторов для бинарных результатов». Биостатистика, 2004, 5, стр. 113-127.
[5] Хуан, Я., М. Пепе и З. Фэн. «Оценка прогнозируемости непрерывного маркера». U. Washington Biostatistics Paper Series, 2006, 250-261.
[6] Бриггс, У. и Р. Зарецки. «График навыков: графический метод оценки непрерывных диагностических тестов». Биометрия, 2008, 63, стр. 250 - 261.
[7] Р. Беттингер. «Выбор классификатора с учетом затрат с использованием метода ROC Convex Hull». Институт САС.