kfoldLoss

Потеря классификации для наблюдений, не используемых в обучении

Синтаксис

L = kfoldLoss(CVMdl)
L = kfoldLoss(CVMdl,Name,Value)

Описание

пример

L = kfoldLoss(CVMdl) возвращает перекрестные подтвержденные коэффициенты ошибок классификации, оцененные перекрестным подтвержденным, модель выходных кодов с коррекцией ошибок (ECOC), состоявшая из линейных моделей CVMdl классификации. Таким образом, для каждого сгиба kfoldLoss оценивает коэффициент ошибок классификации для наблюдений, что это протягивает, когда это обучает использование всех других наблюдений. kfoldLoss применяется, те же используемые данные создают CVMdl (см. fitcecoc).

L содержит потерю классификации для каждой силы регуляризации в линейных моделях классификации, которые составляют CVMdl.

пример

L = kfoldLoss(CVMdl,Name,Value) дополнительные опции использования заданы одним или несколькими аргументами пары Name,Value. Например, задайте схему декодирования, которая сворачивается, чтобы использовать для вычисления потерь или уровня многословия.

Входные параметры

развернуть все

Перекрестный подтвержденный, модель ECOC, состоявшая из линейных моделей классификации, заданных как объект модели ClassificationPartitionedLinearECOC. Можно создать модель ClassificationPartitionedLinearECOC с помощью fitcecoc и:

  1. Задавая любую из перекрестной проверки, аргументов пары "имя-значение", например, CrossVal

  2. Установка аргумента пары "имя-значение" Learners 'linear' или линейному шаблону модели классификации, возвращенному templateLinear

Чтобы получить оценки, kfoldLoss применяется, те же данные раньше перекрестный подтверждали модель ECOC (X и Y).

Аргументы в виде пар имя-значение

Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Бинарная функция потерь ученика, заданная как пара, разделенная запятой, состоящая из 'BinaryLoss' и встроенного имени функции потерь или указателя на функцию.

  • Эта таблица содержит имена и описания встроенных функций, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j, и g (yj, sj) является бинарной формулой потерь.

    ЗначениеОписаниеОбласть счетаg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
    'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
    'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
    'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

    Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5 когда yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

  • Для пользовательской бинарной функции потерь, например, customFunction, задают его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction должен иметь эту форму

    bLoss = customFunction(M,s)
    где:

    • M является K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.

    • s является 1 L вектором - строкой из очков классификации.

    • bLoss является потерей классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.

    • K является количеством классов.

    • L является количеством бинарных учеников.

    Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

По умолчанию, если все бинарные ученики являются линейным использованием моделей классификации:

  • SVM, затем BinaryLoss является 'hinge'

  • Логистическая регрессия, затем BinaryLoss является 'quadratic'

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема Decoding, которая агрегировала бинарные потери, заданные как пара, разделенная запятой, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

Сверните индексы, чтобы использовать для прогноза счета классификации, заданного как пара, разделенная запятой, состоящая из 'Folds' и числовой вектор положительных целых чисел. Элементы Folds должны колебаться от 1 до CVMdl.KFold.

Пример: 'Folds',[1 4 10]

Типы данных: single | double

Функция потерь, заданная как пара, разделенная запятой, состоящая из 'LossFun' и указателя на функцию или 'classiferror'.

Вы можете:

  • Задайте встроенную функцию 'classiferror', затем функция потерь является ошибкой классификации.

  • Задайте свою собственную функцию с помощью обозначения указателя на функцию.

    Поскольку, что следует, n является количеством наблюдений в данных тренировки (CVMdl.NumObservations), и K является количеством классов (numel(CVMdl.ClassNames)). Для вашей функции нужна подпись lossvalue = lossfun(C,S,W,Cost), где:

    • Выходным аргументом lossvalue является скаляр.

    • Вы выбираете имя функции (lossfun).

    • C является n-by-K логическая матрица со строками, указывающими, которые классифицируют соответствующее наблюдение, принадлежит. Порядок следования столбцов соответствует порядку класса в CVMdl.ClassNames.

      Создайте C установкой C(p,q) = 1, если наблюдение p находится в классе q для каждой строки. Установите каждый элемент строки p к 0.

    • S является n-by-K числовая матрица отрицаемых значений потерь для классов. Каждая строка соответствует наблюдению. Порядок следования столбцов соответствует порядку класса в CVMdl.ClassNames. S напоминает выходной аргумент NegLoss kfoldPredict.

    • W является n-by-1 числовой вектор весов наблюдения. Если вы передаете W, программное обеспечение нормирует свои элементы, чтобы суммировать к 1.

    • Cost является K-by-K числовая матрица затрат misclassification. Например, Cost = ones(K) -eye(K) задает стоимость 0 для правильной классификации, и 1 для misclassification.

    Задайте свою функцию с помощью 'LossFun',@lossfun.

Типы данных: function_handle | char | string

Уровень агрегации потерь, заданный как пара, разделенная запятой, состоящая из 'Mode' и 'average' или 'individual'.

ЗначениеОписание
'average'Возвращает потери, усредненные по всем сгибам
'individual'Возвращает потери для каждого сгиба

Пример: 'Mode','individual'

Опции оценки, заданные как пара, разделенная запятой, состоящая из 'Options' и массива структур, возвращенного statset.

Вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень многословия, заданный как пара, разделенная запятой, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose является 0, то программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

развернуть все

Перекрестные подтвержденные потери классификации, возвращенные в виде числа, вектора или матрицы. Интерпретация L зависит от LossFun.

Позволенный R быть количеством сильных мест регуляризации является перекрестными подтвержденными моделями (CVMdl.Trained{1}.BinaryLearners{1}.Lambda) и F быть количеством сгибов (сохраненный в CVMdl.KFold).

  • Если Mode является 'average', то L является 1 R вектором. L(j) является средней потерей классификации по всем сгибам перекрестной подтвержденной модели, которая использует силу регуляризации j.

  • В противном случае L является F-by-R матрица. L(i,j) является потерей классификации для сгиба i перекрестной подтвержденной модели, которая использует силу регуляризации j.

Примеры

развернуть все

Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса.

Перекрестный подтвердите модель ECOC линейных моделей классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl является моделью ClassificationPartitionedLinearECOC. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку.

Оцените среднее значение коэффициентов ошибок классификации из сгиба.

ce = kfoldLoss(CVMdl)
ce = 0.0958

Также можно получить коэффициенты ошибок классификации на сгиб путем определения пары "имя-значение" 'Mode','individual' в kfoldLoss.

Загрузите набор данных NLP. Транспонируйте данные о предикторе.

load nlpdata
X = X';

Для простоты используйте метку 'другие' для всех наблюдений в Y, которые не являются 'simulink', 'dsp' или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте линейный шаблон модели классификации, который задает оптимизацию использования целевой функции SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестный подтвердите модель ECOC линейных моделей классификации с помощью 5-кратной перекрестной проверки. Оптимизируйте использование целевой функции SpaRSA. Укажите, что наблюдения предиктора соответствуют столбцам.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learners',t,'KFold',5,'ObservationsIn','columns');
CMdl1 = CVMdl.Trained{1}
CMdl1 = 
  classreg.learning.classif.CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6x1 cell}
      CodingMatrix: [4x6 double]


  Properties, Methods

CVMdl является моделью ClassificationPartitionedLinearECOC. Это содержит свойство Trained, которое является массивом ячеек 5 на 1, содержащим CompactClassificationECOC модели, что программное обеспечение обучило использование набора обучающих данных каждого сгиба.

Создайте функцию, которая терпит минимальные убытки для каждого наблюдения, и затем составляет в среднем минимальные потери через все наблюдения. Поскольку функция не использует матрицу идентификатора класса (C), веса наблюдения (W), и классификация стоила (Cost), использование, ~, чтобы иметь kfoldLoss игнорирует свои их положения.

lossfun = @(~,S,~,~)mean(min(-S,[],2));

Оцените среднее значение перекрестная подтвержденная потеря классификации с помощью минимальной потери на функцию наблюдения. Кроме того, получите потерю для каждого сгиба.

ce = kfoldLoss(CVMdl,'LossFun',lossfun)
ce = 0.0243
ceFold = kfoldLoss(CVMdl,'LossFun',lossfun,'Mode','individual')
ceFold = 5×1

    0.0244
    0.0255
    0.0248
    0.0240
    0.0226

Чтобы определить хорошую силу штрафа лассо для модели ECOC, состоявшей из линейных моделей классификации, которые используют учеников логистической регрессии, реализуйте 5-кратную перекрестную проверку.

Загрузите набор данных NLP.

load nlpdata

X является разреженной матрицей данных о предикторе, и Y является категориальным вектором меток класса.

Для простоты используйте метку 'другие' для всех наблюдений в Y, которые не являются 'simulink', 'dsp' или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте набор 11 логарифмически распределенных сильных мест регуляризации от 10-7 через 10-2.

Lambda = logspace(-7,-2,11);

Создайте линейный шаблон модели классификации, который задает, чтобы использовать учеников логистической регрессии, использовать штрафы лассо с сильными местами в Lambda, использование train SpaRSA, и понизить допуск на градиент целевой функции к 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестный подтвердите модели. Чтобы увеличить скорость выполнения, транспонируйте данные о предикторе и укажите, что наблюдения находятся в столбцах.

X = X'; 
rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5);

CVMdl является моделью ClassificationPartitionedLinearECOC.

Разделите CVMdl и каждую модель в нем.

numECOCModels = numel(CVMdl.Trained)
numECOCModels = 5
ECOCMdl1 = CVMdl.Trained{1}
ECOCMdl1 = 
  classreg.learning.classif.CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6×1 cell}
      CodingMatrix: [4×6 double]


  Properties, Methods

numCLModels = numel(ECOCMdl1.BinaryLearners)
numCLModels = 6
CLMdl1 = ECOCMdl1.BinaryLearners{1}
CLMdl1 = 
  ClassificationLinear
      ResponseName: 'Y'
        ClassNames: [-1 1]
    ScoreTransform: 'logit'
              Beta: [34023×11 double]
              Bias: [-0.3125 -0.3596 -0.3596 -0.3596 -0.3596 -0.3596 -0.1593 -0.0737 -0.1759 -0.3452 -0.5174]
            Lambda: [1.0000e-07 3.1623e-07 1.0000e-06 3.1623e-06 1.0000e-05 3.1623e-05 1.0000e-04 3.1623e-04 1.0000e-03 0.0032 0.0100]
           Learner: 'logistic'


  Properties, Methods

Поскольку fitcecoc реализует 5-кратную перекрестную проверку, CVMdl содержит массив ячеек 5 на 1 моделей CompactClassificationECOC, которые программное обеспечение обучает на каждом сгибе. Свойство BinaryLearners каждой модели CompactClassificationECOC содержит модели ClassificationLinear. Количество моделей ClassificationLinear в каждой компактной модели ECOC зависит от количества отличных меток и кодирующий проект. Поскольку Lambda является последовательностью сильных мест регуляризации, можно думать о CLMdl1 как о 11 моделях, один для каждой силы регуляризации в Lambda.

Определите, как хорошо модели делают вывод путем графического вывода средних значений 5-кратной ошибки классификации для каждой силы регуляризации. Идентифицируйте силу регуляризации, которая минимизирует ошибку обобщения по сетке.

ce = kfoldLoss(CVMdl);
figure;
plot(log10(Lambda),log10(ce))
[~,minCEIdx] = min(ce);
minLambda = Lambda(minCEIdx);
hold on
plot(log10(minLambda),log10(ce(minCEIdx)),'ro');
ylabel('log_{10} 5-fold classification error')
xlabel('log_{10} Lambda')
legend('MSE','Min classification error')
hold off

Обучите модель ECOC, состоявшую из линейной модели классификации использование целого набора данных, и задайте минимальную силу регуляризации.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',minLambda,'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.

Больше о

развернуть все

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classifiers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[3] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

Расширенные возможности

Введенный в R2016a