Документация

label = resubPredict(Mdl) возвращает вектор из предсказанных меток класса (label) для обученной модели Mdl выходных кодов с коррекцией ошибок (ECOC) мультикласса использование данных о предикторе сохранено в Mdl.X.

Программное обеспечение предсказывает классификацию наблюдения путем присвоения наблюдения классу, дающему к самой большой отрицаемой средней бинарной потере (или, эквивалентно, самой маленькой средней бинарной потере).

label = resubPredict(Mdl,Name,Value) возвращает предсказанные метки класса с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение". Например, задайте метод оценки апостериорной вероятности, декодируя схему или уровень многословия.

[label,NegLoss,PBScore] = resubPredict(___) использование любая из комбинаций входных аргументов в предыдущих синтаксисах и дополнительно возвращает отрицаемую среднюю бинарную потерю в классе (NegLoss) для наблюдений и баллов положительного класса (PBScore) для наблюдений, классифицированных каждым бинарным учеником.

[label,NegLoss,PBScore,Posterior] = resubPredict(___) дополнительно возвращает следующие оценки вероятности класса для наблюдений (Posterior).

Чтобы получить следующие вероятности класса, необходимо установить 'FitPosterior',true когда обучение использование модели ECOC fitcecoc. В противном случае, resubPredict выдает ошибку.

Примеры

Предскажите метки обучающих данных Используя модель ECOC

Загрузите ирисовый набор данных Фишера. Задайте данные о предикторе X, данные об ответе Y, и порядок классов в Y.

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y);

Обучите модель ECOC с помощью двоичных классификаторов SVM. Стандартизируйте предикторы с помощью шаблона SVM и задайте порядок класса.

t = templateSVM('Standardize',true);
Mdl = fitcecoc(X,Y,'Learners',t,'ClassNames',classOrder);

t объект шаблона SVM. Во время обучения программное обеспечение использует значения по умолчанию для пустых свойств в t. Mdl ClassificationECOC модель.

Предскажите метки обучающих данных. Распечатайте случайное подмножество истины и предсказанных меток.

labels = resubPredict(Mdl);

rng(1); % For reproducibility
n = numel(Y); % Sample size
idx = randsample(n,10);
table(Y(idx),labels(idx),'VariableNames',{'TrueLabels','PredictedLabels'})

ans=10×2 table
    TrueLabels    PredictedLabels
    __________    _______________

    setosa          setosa       
    versicolor      versicolor   
    virginica       virginica    
    setosa          setosa       
    versicolor      versicolor   
    setosa          setosa       
    versicolor      versicolor   
    versicolor      versicolor   
    setosa          setosa       
    setosa          setosa

Mdl правильно помечает наблюдения индексами idx.

Предскажите метки перезамены модели ECOC Используя пользовательскую бинарную функцию потерь

load fisheriris
X = meas;
Y = categorical(species);
classOrder = unique(Y); % Class order

t = templateSVM('Standardize',true);
Mdl = fitcecoc(X,Y,'Learners',t,'ClassNames',classOrder);

Баллы SVM являются подписанными расстояниями от наблюдения до контура решения. Поэтому область $(- \infty, \infty)$ . Создайте пользовательскую бинарную функцию потерь, которая делает следующее:

Сопоставьте матрицу (M) проекта кодирования и классификационные оценки (оценки) положительного класса для каждого ученика к бинарной потере для каждого наблюдения.
Используйте линейную потерю.
Агрегируйте бинарную утрату ученика с помощью медианы.

Можно создать отдельную функцию для бинарной функции потерь, и затем сохранить ее на пути MATLAB®. Или, можно задать анонимную бинарную функцию потерь. В этом случае создайте указатель на функцию (customBL) к анонимной бинарной функции потерь.

customBL = @(M,s)nanmedian(1 - bsxfun(@times,M,s),2)/2;

Предскажите метки для обучающих данных и оцените среднюю бинарную потерю в классе. Распечатайте средние отрицательные бинарные потери в классе для случайного набора 10 наблюдений.

[label,NegLoss] = resubPredict(Mdl,'BinaryLoss',customBL);

rng(1); % For reproducibility
n = numel(Y); % Sample size
idx = randsample(n,10);
classOrder

classOrder = 3x1 categorical
     setosa 
     versicolor 
     virginica

table(Y(idx),label(idx),NegLoss(idx,:),'VariableNames',...
    {'TrueLabel','PredictedLabel','NegLoss'})

ans=10×3 table
    TrueLabel     PredictedLabel                NegLoss            
    __________    ______________    _______________________________

    setosa          versicolor       0.1237       1.957     -3.5807
    versicolor      versicolor       -1.017     0.62917     -1.1122
    virginica       virginica       -1.9082    -0.21802     0.62618
    setosa          versicolor      0.43842      2.2443     -4.1827
    versicolor      versicolor      -1.0733     0.39627    -0.82294
    setosa          versicolor      0.26668      2.2004      -3.967
    versicolor      versicolor      -1.1234     0.69883     -1.0754
    versicolor      versicolor      -1.2709     0.51788    -0.74697
    setosa          versicolor      0.35181       2.068     -3.9198
    setosa          versicolor      0.23355      2.1886     -3.9221

Порядок столбцов соответствует элементам classOrder. Программное обеспечение предсказывает метку на основе максимальной отрицаемой потери. Результаты показывают, что медиана линейных потерь не может выполнить, а также другие потери.

Оцените апостериорные вероятности Используя классификатор ECOC

Обучите классификатор ECOC с помощью двоичных учеников SVM. Сначала предскажите метки обучающей выборки и апостериорные вероятности класса. Затем предскажите максимальную апостериорную вероятность класса в каждой точке в сетке. Визуализируйте результаты.

Загрузите ирисовый набор данных Фишера. Задайте лепестковые размерности как предикторы и имена разновидностей как ответ.

load fisheriris
X = meas(:,3:4);
Y = species;
rng(1); % For reproducibility

Создайте шаблон SVM. Стандартизируйте предикторы и задайте Гауссово ядро.

t = templateSVM('Standardize',true,'KernelFunction','gaussian');

t шаблон SVM. Большинство его свойств пусто. Когда программное обеспечение обучает классификатор ECOC, оно устанавливает применимые свойства на их значения по умолчанию.

Обучите классификатор ECOC с помощью шаблона SVM. Преобразуйте классификационные оценки, чтобы классифицировать апостериорные вероятности (которые возвращены predict или resubPredict) использование 'FitPosterior' аргумент пары "имя-значение". Задайте порядок класса с помощью 'ClassNames' аргумент пары "имя-значение". Отобразите диагностические сообщения во время обучения при помощи 'Verbose' аргумент пары "имя-значение".

Mdl = fitcecoc(X,Y,'Learners',t,'FitPosterior',true,...
    'ClassNames',{'setosa','versicolor','virginica'},...
    'Verbose',2);

Training binary learner 1 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 2
Positive class indices: 1

Fitting posterior probabilities for learner 1 (SVM).
Training binary learner 2 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 3
Positive class indices: 1

Fitting posterior probabilities for learner 2 (SVM).
Training binary learner 3 (SVM) out of 3 with 50 negative and 50 positive observations.
Negative class indices: 3
Positive class indices: 2

Fitting posterior probabilities for learner 3 (SVM).

Mdl ClassificationECOC модель. Тот же шаблон SVM применяется к каждому бинарному ученику, но можно настроить опции для каждого бинарного ученика путем передачи в векторе ячейки из шаблонов.

Предскажите метки обучающей выборки и апостериорные вероятности класса. Отобразите диагностические сообщения во время расчета меток и апостериорных вероятностей класса при помощи 'Verbose' аргумент пары "имя-значение".

[label,~,~,Posterior] = resubPredict(Mdl,'Verbose',1);

Predictions from all learners have been computed.
Loss for all observations has been computed.
Computing posterior probabilities...

Mdl.BinaryLoss

ans = 
'quadratic'

Программное обеспечение присваивает наблюдение классу, который дает к самой маленькой средней бинарной потере. Поскольку все бинарные ученики вычисляют апостериорные вероятности, бинарной функцией потерь является quadratic.

Отобразите случайный набор результатов.

idx = randsample(size(X,1),10,1);
Mdl.ClassNames

ans = 3x1 cell
    {'setosa'    }
    {'versicolor'}
    {'virginica' }

table(Y(idx),label(idx),Posterior(idx,:),...
    'VariableNames',{'TrueLabel','PredLabel','Posterior'})

ans=10×3 table
      TrueLabel         PredLabel                     Posterior               
    ______________    ______________    ______________________________________

    {'virginica' }    {'virginica' }     0.0039319     0.0039866       0.99208
    {'virginica' }    {'virginica' }      0.017066      0.018262       0.96467
    {'virginica' }    {'virginica' }      0.014947      0.015855        0.9692
    {'versicolor'}    {'versicolor'}    2.2197e-14       0.87318       0.12682
    {'setosa'    }    {'setosa'    }         0.999    0.00025091    0.00074639
    {'versicolor'}    {'virginica' }    2.2195e-14      0.059427       0.94057
    {'versicolor'}    {'versicolor'}    2.2194e-14       0.97002      0.029984
    {'setosa'    }    {'setosa'    }         0.999     0.0002499    0.00074741
    {'versicolor'}    {'versicolor'}     0.0085638       0.98259     0.0088482
    {'setosa'    }    {'setosa'    }         0.999    0.00025013    0.00074718

Столбцы Posterior соответствуйте порядку класса Mdl.ClassNames.

Задайте сетку значений на наблюдаемом пробеле предиктора. Предскажите апостериорные вероятности для каждого экземпляра в сетке.

xMax = max(X);
xMin = min(X);

x1Pts = linspace(xMin(1),xMax(1));
x2Pts = linspace(xMin(2),xMax(2));
[x1Grid,x2Grid] = meshgrid(x1Pts,x2Pts);

[~,~,~,PosteriorRegion] = predict(Mdl,[x1Grid(:),x2Grid(:)]);

Для каждой координаты на сетке постройте максимальную апостериорную вероятность класса среди всех классов.

contourf(x1Grid,x2Grid,...
        reshape(max(PosteriorRegion,[],2),size(x1Grid,1),size(x1Grid,2)));
h = colorbar;
h.YLabel.String = 'Maximum posterior';
h.YLabel.FontSize = 15;

hold on
gh = gscatter(X(:,1),X(:,2),Y,'krk','*xd',8);
gh(2).LineWidth = 2;
gh(3).LineWidth = 2;

title('Iris Petal Measurements and Maximum Posterior')
xlabel('Petal length (cm)')
ylabel('Petal width (cm)')
axis tight
legend(gh,'Location','NorthWest')
hold off

Оцените апостериорные вероятности Используя параллельные вычисления

Этот пример использует:

Обучите мультикласс модель ECOC и оцените апостериорные вероятности с помощью параллельных вычислений.

Загрузите arrhythmia набор данных. Исследуйте данные об ответе Y, и определите количество классов.

load arrhythmia
Y = categorical(Y);
tabulate(Y)

  Value    Count   Percent
      1      245     54.20%
      2       44      9.73%
      3       15      3.32%
      4       15      3.32%
      5       13      2.88%
      6       25      5.53%
      7        3      0.66%
      8        2      0.44%
      9        9      1.99%
     10       50     11.06%
     14        4      0.88%
     15        5      1.11%
     16       22      4.87%

K = numel(unique(Y));

Несколько классов не представлены в данных, и много других классов имеют низкие относительные частоты.

Задайте шаблон приобретения знаний ансамблем, который использует метод GentleBoost и 50 слабых учеников дерева классификации.

t = templateEnsemble('GentleBoost',50,'Tree');

t объект шаблона. Большинство его свойств пусто ([]). Программное обеспечение использует значения по умолчанию для всех пустых свойств во время обучения.

Поскольку переменная отклика содержит много классов, задайте разреженный случайный проект кодирования.

rng(1); % For reproducibility
Coding = designecoc(K,'sparserandom');

Обучите модель ECOC с помощью параллельных вычислений. Задайте, чтобы соответствовать апостериорным вероятностям.

pool = parpool;                      % Invokes workers

Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).

options = statset('UseParallel',true);
Mdl = fitcecoc(X,Y,'Learner',t,'Options',options,'Coding',Coding,...
    'FitPosterior',true);

Mdl ClassificationECOC модель. Можно получить доступ к его свойствам с помощью записи через точку.

Пул вызывает шесть рабочих, несмотря на то, что количество рабочих может варьироваться среди систем.

Оцените апостериорные вероятности и отобразите апостериорную вероятность того, чтобы быть классифицированным как то, чтобы не давать аритмии (класса 1) случайное подмножество обучающих данных.

[~,~,~,posterior] = resubPredict(Mdl);

n = numel(Y);
idx = randsample(n,10,1);
table(idx,Y(idx),posterior(idx,1),...
    'VariableNames',{'ObservationIndex','TrueLabel','PosteriorNoArrythmia'})

ans=10×3 table
    ObservationIndex    TrueLabel    PosteriorNoArrythmia
    ________________    _________    ____________________

           79              1                0.93436      
          248              1                0.95574      
          398              10              0.032378      
          207              1                0.97965      
          340              1                0.93656      
          206              1                0.97795      
          345              10              0.015642      
          296              2                0.13433      
          391              1                 0.9648      
          406              1                0.94861

Входные параметры

`Mdl` — Полный, обученный мультикласс модель ECOC
`ClassificationECOC` модель

Полный, обученный мультикласс модель ECOC в виде ClassificationECOC модель, обученная с fitcecoc.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: resubPredict(Mdl,'BinaryLoss','linear','Decoding','lossbased') задает линейную бинарную функцию потерь ученика и основанную на потере схему декодирования агрегации бинарных потерь.

`'BinaryLoss'` — Бинарная функция потерь ученика
`'hamming'` | `'linear'` | `'logit'` | `'exponential'` | `'binodeviance'` | `'hinge'` | `'quadratic'` | указатель на функцию

Бинарная функция потерь ученика в виде разделенной запятой пары, состоящей из 'BinaryLoss' и встроенное имя функции потерь или указатель на функцию.

Эта таблица описывает встроенные функции, где _yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), _sj является счетом к наблюдению j, и g (_yj, _sj) является бинарной формулой потерь.

Значение	Описание	Область счета	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp _(–2yjsj)] / [2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp _(–yjsj)/2
`'hamming'`	Хэмминг	[0,1] или (– ∞, ∞)	[1 – знак (_yjsj)]/2
`'hinge'`	Стержень	(–∞,∞)	макс. (0,1 – _yjsj)/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(–yjsj)] / [2log (2)]
`'quadratic'`	Квадратичный	[0,1]	[1 – _yj (2_sj – 1)] ^2/2

Программное обеспечение нормирует бинарные потери так, чтобы потеря была 0.5 когда _yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

Для пользовательской бинарной функции потерь, например, customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.
customFunction имеет эту форму:
```
bLoss = customFunction(M,s)
```
где:
- M K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.
- s 1 L вектором-строкой из классификационных оценок.
- bLoss потеря классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.
- K является количеством классов.
- L является количеством бинарных учеников.
Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

BinaryLoss по умолчанию значение зависит от областей значений счета, возвращенных бинарными учениками. Эта таблица описывает некоторый BinaryLoss по умолчанию значения на основе данных предположений.

Предположение	Значение по умолчанию
Все бинарные ученики являются SVMs или или линейный или модели классификации ядер учеников SVM.	`'hinge'`
Все бинарные ученики являются ансамблями, обученными `AdaboostM1` или `GentleBoost`.	`'exponential'`
Все бинарные ученики являются ансамблями, обученными `LogitBoost`.	`'binodeviance'`
Все бинарные ученики линейны или модели классификации ядер учеников логистической регрессии. Или, вы задаете, чтобы предсказать апостериорные вероятности класса установкой `'FitPosterior',true` \in `fitcecoc`.	`'quadratic'`

Чтобы проверять значение по умолчанию, используйте запись через точку, чтобы отобразить BinaryLoss свойство обученной модели в командной строке.

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

`'Decoding'` — Схема Decoding
`'lossweighted'` (значение по умолчанию) | `'lossbased'`

Схема Decoding, которая агрегировала бинарные потери в виде разделенной запятой пары, состоящей из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

`'NumKLInitializations'` — Количество случайных начальных значений
0 (значение по умолчанию) | неотрицательный целочисленный скаляр

Количество случайных начальных значений для подбора кривой апостериорным вероятностям минимизацией расхождения Kullback-Leibler в виде разделенной запятой пары, состоящей из 'NumKLInitializations' и неотрицательный целочисленный скаляр.

Если вы не запрашиваете четвертый выходной аргумент (Posterior) и набор 'PosteriorMethod','kl' (значение по умолчанию), затем программное обеспечение игнорирует значение NumKLInitializations.

Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.

Пример: 'NumKLInitializations',5

Типы данных: single | double

`'Options'` — Опции оценки
`[]` (значение по умолчанию) | массив структур, возвращенный `statset`

Опции оценки в виде разделенной запятой пары, состоящей из 'Options' и массив структур, возвращенный statset.

Вызвать параллельные вычисления:

Вам нужна лицензия Parallel Computing Toolbox™.
Задайте 'Options',statset('UseParallel',true).

`'PosteriorMethod'` — Метод оценки апостериорной вероятности
`'kl'` (значение по умолчанию) | `'qp'`

Метод оценки апостериорной вероятности в виде разделенной запятой пары, состоящей из 'PosteriorMethod' и 'kl' или 'qp'.

Если PosteriorMethod 'kl', затем программное обеспечение оценивает апостериорные вероятности мультикласса путем минимизации расхождения Kullback-Leibler между предсказанными и ожидаемыми апостериорными вероятностями, возвращенными бинарными учениками. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Расхождение Kullback-Leibler.
Если PosteriorMethod 'qp', затем программное обеспечение оценивает апостериорные вероятности мультикласса путем решения задачи наименьших квадратов с помощью квадратичного программирования. Вам нужна лицензия Optimization Toolbox™, чтобы использовать эту опцию. Для получения дополнительной информации смотрите, что Следующая Оценка Использует Квадратичное программирование.
Если вы не запрашиваете четвертый выходной аргумент (Posterior), затем программное обеспечение игнорирует значение PosteriorMethod.

Пример: 'PosteriorMethod','qp'

`'Verbose'` — Уровень многословия
0 (значение по умолчанию) | `1`

Уровень многословия в виде разделенной запятой пары, состоящей из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose 0, затем программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

`label` — Предсказанные метки класса
категориальный массив | символьный массив | логический вектор | числовой вектор | массив ячеек из символьных векторов

Предсказанные метки класса, возвращенные как категориальное или символьный массив, логический или числовой вектор или массив ячеек из символьных векторов.

label имеет совпадающий тип данных как Mdl.ClassNames и имеет одинаковое число строк как Mdl.X.

`NegLoss` — Отрицаемые средние бинарные потери
числовая матрица

Отрицаемые средние бинарные потери, возвращенные как числовая матрица. NegLoss n-by-K матрица, где n является количеством наблюдений (size(Mdl.X,1)) и K является количеством уникальных классов (size(Mdl.ClassNames,1)).

`PBScore` — Баллы положительного класса
числовая матрица

Музыка положительного класса к каждому бинарному ученику, возвращенному как числовая матрица. PBScore n-by-L матрица, где n является количеством наблюдений (size(Mdl.X,1)) и L является количеством бинарных учеников (size(Mdl.CodingMatrix,2)).

`Posterior` — Следующие вероятности класса
числовая матрица

Следующие вероятности класса, возвращенные как числовая матрица. Posterior n-by-K матрица, где n является количеством наблюдений (size(Mdl.X,1)) и K является количеством уникальных классов (size(Mdl.ClassNames,1)).

Запрашивать Posterior, необходимо установить 'FitPosterior',true когда обучение использование модели ECOC fitcecoc. В противном случае программное обеспечение выдает ошибку.

Больше о

Бинарная потеря

binary loss является функцией класса и классификационной оценки, которая определяет, как хорошо бинарный ученик классифицирует наблюдение в класс.

Предположим следующее:

_mkj является элементом (k, j) проекта кодирования матричный M (то есть, код, соответствующий классу k бинарного ученика j).
_sj является счетом бинарного ученика j для наблюдения.
g является бинарной функцией потерь.
$\hat{k}$ предсказанный класс для наблюдения.

В loss-based decoding [Escalera и al.], класс, производящий минимальную сумму бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

$\hat{k} = \underset{k}{argmin} \sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j}) .$

В loss-weighted decoding [Escalera и al.], класс, производящий минимальное среднее значение бинарных потерь по бинарным ученикам, определяет предсказанный класс наблюдения, то есть,

$\hat{k} = \underset{k}{argmin} \frac{\sum_{j = 1}^{L} | m_{k j} | g (m_{k j}, s_{j})}{\sum_{j = 1}^{L} | m_{k j} |} .$

Allwein и др. предполагают, что взвешенное потерей декодирование улучшает точность классификации путем хранения значений потерь для всех классов в том же динамическом диапазоне.

Эта таблица суммирует поддерживаемые функции потерь, где _yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), _sj является счетом к наблюдению j и g (_yj, _sj).

Значение	Описание	Область счета	g (_yj, _sj)
`'binodeviance'`	Биномиальное отклонение	(–∞,∞)	журнал [1 + exp _(–2yjsj)] / [2log (2)]
`'exponential'`	Экспоненциал	(–∞,∞)	exp _(–yjsj)/2
`'hamming'`	Хэмминг	[0,1] или (– ∞, ∞)	[1 – знак (_yjsj)]/2
`'hinge'`	Стержень	(–∞,∞)	макс. (0,1 – _yjsj)/2
`'linear'`	Линейный	(–∞,∞)	(1 – _yjsj)/2
`'logit'`	Логистический	(–∞,∞)	журнал [1 + exp _(–yjsj)] / [2log (2)]
`'quadratic'`	Квадратичный	[0,1]	[1 – _yj (2_sj – 1)] ^2/2

Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5, когда _yj = 0, и агрегировал использование среднего значения бинарных учеников [Allwein и al.].

Не путайте бинарную потерю с полной потерей классификации (заданный 'LossFun' аргумент пары "имя-значение" loss и predict возразите функциям), который измеряется, как хорошо классификатор ECOC выполняет в целом.

Алгоритмы