kfoldLoss

Потеря классификации для наблюдений, не используемых в обучении

Описание

пример

L = kfoldLoss(CVMdl) возвращает перекрестные подтвержденные коэффициенты ошибок классификации, оцененные перекрестным подтвержденным, модель выходных кодов с коррекцией ошибок (ECOC), состоявшая из линейных моделей CVMdl классификации. Таким образом, для каждого сгиба, kfoldLoss оценивает коэффициент ошибок классификации для наблюдений, что он протягивает, когда он обучает использование всех других наблюдений. kfoldLoss применяется те же используемые данные создают CVMdl (см. fitcecoc).

L содержит потерю классификации для каждой силы регуляризации в линейных моделях классификации, которые составляют CVMdl.

пример

L = kfoldLoss(CVMdl,Name,Value) дополнительные опции использования заданы одним или несколькими Name,Value парные аргументы. Например, задайте схему декодирования, которая сворачивается, чтобы использовать в вычислении потерь или уровне многословия.

Входные параметры

развернуть все

Перекрестный подтвержденный, модель ECOC, состоявшая из линейных моделей классификации, заданных как ClassificationPartitionedLinearECOC объект модели. Можно создать ClassificationPartitionedLinearECOC модель с помощью fitcecoc и:

  1. Задавая любую из перекрестной проверки, аргументов пары "имя-значение", например, CrossVal

  2. Установка аргумента пары "имя-значение" Learners к 'linear' или линейный шаблон модели классификации, возвращенный templateLinear

Чтобы получить оценки, kfoldLoss применяется, те же данные раньше перекрестный подтверждали модель ECOC (X и Y).

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Бинарная функция потерь ученика, заданная как разделенная запятой пара, состоящая из 'BinaryLoss' и встроенное имя функции потерь или указатель на функцию.

  • Эта таблица содержит имена и описания встроенных функций, где yj является меткой класса для конкретного бинарного ученика (в наборе {-1,1,0}), sj является счетом к наблюдению j, и g (yj, sj) является бинарной формулой потерь.

    ЗначениеОписаниеОбласть счетаg (yj, sj)
    'binodeviance'Биномиальное отклонение(–∞,∞)журнал [1 + exp (–2yjsj)] / [2log (2)]
    'exponential'Экспоненциал(–∞,∞)exp (–yjsj)/2
    'hamming'Хэмминг[0,1] или (– ∞, ∞)[1 – знак (yjsj)]/2
    'hinge'Стержень(–∞,∞)макс. (0,1 – yjsj)/2
    'linear'Линейный(–∞,∞)(1 – yjsj)/2
    'logit'Логистический(–∞,∞)журнал [1 + exp (–yjsj)] / [2log (2)]
    'quadratic'Квадратичный[0,1][1 – yj (2sj – 1)] 2/2

    Программное обеспечение нормирует бинарные потери, таким образом, что потеря 0.5 когда yj = 0. Кроме того, программное обеспечение вычисляет среднюю бинарную потерю для каждого класса.

  • Для пользовательской бинарной функции потерь, например, customFunction, задайте его указатель на функцию 'BinaryLoss',@customFunction.

    customFunction должен иметь эту форму

    bLoss = customFunction(M,s)
    где:

    • M K-by-L кодирующий матрицу, сохраненную в Mdl.CodingMatrix.

    • s 1 L вектором-строкой из баллов классификации.

    • bLoss потеря классификации. Этот скаляр агрегировал бинарные потери для каждого ученика в конкретном классе. Например, можно использовать среднюю бинарную потерю, чтобы агрегировать потерю по ученикам для каждого класса.

    • K является количеством классов.

    • L является количеством бинарных учеников.

    Для примера передачи пользовательской бинарной функции потерь смотрите, Предсказывают Демонстрационные Тестом Метки Модели ECOC Используя Пользовательскую Бинарную Функцию потерь.

По умолчанию, если все бинарные ученики являются линейным использованием моделей классификации:

  • SVM, затем BinaryLoss 'hinge'

  • Логистическая регрессия, затем BinaryLoss 'quadratic'

Пример: 'BinaryLoss','binodeviance'

Типы данных: char | string | function_handle

Схема Decoding, которая агрегировала бинарные потери, заданные как разделенная запятой пара, состоящая из 'Decoding' и 'lossweighted' или 'lossbased'. Для получения дополнительной информации смотрите Бинарную Потерю.

Пример: 'Decoding','lossbased'

Сверните индексы, чтобы использовать в прогнозе счета классификации, заданном как разделенная запятой пара, состоящая из 'Folds' и числовой вектор положительных целых чисел. Элементы Folds должен лежать в диапазоне от 1 через CVMdl.KFold.

Пример: 'Folds',[1 4 10]

Типы данных: single | double

Функция потерь, заданная как разделенная запятой пара, состоящая из 'LossFun' и указатель на функцию или 'classiferror'.

Вы можете:

  • Задайте встроенную функцию 'classiferror', затем функция потерь является ошибкой классификации.

  • Задайте свою собственную функцию с помощью обозначения указателя на функцию.

    Поскольку, что следует, n количество наблюдений в обучающих данных (CVMdl.NumObservations) и K количество классов (numel(CVMdl.ClassNames)). Для вашей функции нужна подпись lossvalue = lossfun(C, S, W, Стоимость), где:

    • Выходной аргумент lossvalue скаляр.

    • Вы выбираете имя функции (lossfun).

    • C n- K логическая матрица со строками, указывающими, которые классифицируют соответствующее наблюдение, принадлежит. Порядок следования столбцов соответствует порядку класса в CVMdl.ClassNames.

      Создайте C установкой C(p,q) = 1 если наблюдение p находится в классе q, для каждой строки. Установите каждый элемент строки p к 0.

    • S n- K числовая матрица отрицаемых значений потерь для классов. Каждая строка соответствует наблюдению. Порядок следования столбцов соответствует порядку класса в CVMdl.ClassNamesS напоминает выходной аргумент NegLoss из kfoldPredict.

    • W n- 1 числовой вектор весов наблюдения. Если вы передаете W, программное обеспечение нормирует свои элементы, чтобы суммировать к 1.

    • Cost K- K числовая матрица затрат misclassification. Например, Cost = ones(K) -eye(K) задает стоимость 0 для правильной классификации, и 1 для misclassification.

    Задайте свою функцию с помощью 'LossFun',@lossfun.

Типы данных: function_handle | char | string

Уровень агрегации потерь, заданный как разделенная запятой пара, состоящая из 'Mode' и 'average' или 'individual'.

ЗначениеОписание
'average'Возвращает потери, усредненные по всем сгибам
'individual'Возвращает потери для каждого сгиба

Пример: 'Mode','individual'

Опции оценки, заданные как разделенная запятой пара, состоящая из 'Options' и массив структур, возвращенный statset.

Вызвать параллельные вычисления:

  • Вам нужна лицензия Parallel Computing Toolbox™.

  • Задайте 'Options',statset('UseParallel',true).

Уровень многословия, заданный как разделенная запятой пара, состоящая из 'Verbose' и 0 или 1. Verbose управляет количеством диагностических сообщений, что программное обеспечение отображается в Командном окне.

Если Verbose 0, затем программное обеспечение не отображает диагностические сообщения. В противном случае программное обеспечение отображает диагностические сообщения.

Пример: 'Verbose',1

Типы данных: single | double

Выходные аргументы

развернуть все

Перекрестные подтвержденные потери классификации, возвращенные в виде числа, вектора или матрицы. Интерпретация L зависит от LossFun.

Позвольте R будьте количеством сильных мест регуляризации, перекрестные подтвержденные модели (CVMdl.Trained{1}.BinaryLearners{1}.Lambda) и F будьте количеством сгибов (сохраненный в CVMdl.KFold).

  • Если Mode 'average', затем L 1 R вектор. L (j) средняя потеря классификации по всем сгибам перекрестной подтвержденной модели, которая использует силу регуляризации j.

  • В противном случае, L F- R матрица. L (iJ) потеря классификации для сгиба i из перекрестной подтвержденной модели, которая использует силу регуляризации j.

Примеры

развернуть все

Загрузите набор данных NLP.

load nlpdata

X разреженная матрица данных о предикторе и Y категориальный вектор меток класса.

Перекрестный подтвердите модель ECOC линейных моделей классификации.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learner','linear','CrossVal','on');

CVMdl ClassificationPartitionedLinearECOC модель. По умолчанию программное обеспечение реализует 10-кратную перекрестную проверку.

Оцените среднее значение коэффициентов ошибок классификации из сгиба.

ce = kfoldLoss(CVMdl)
ce = 0.0958

В качестве альтернативы можно получить коэффициенты ошибок классификации на сгиб путем определения пары "имя-значение" 'Mode','individual' в kfoldLoss.

Загрузите набор данных NLP. Транспонируйте данные о предикторе.

load nlpdata
X = X';

Для простоты используйте метку 'другие' во всех наблюдениях в Y это не 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте линейный шаблон модели классификации, который задает оптимизацию использования целевой функции SpaRSA.

t = templateLinear('Solver','sparsa');

Перекрестный подтвердите модель ECOC линейных моделей классификации с помощью 5-кратной перекрестной проверки. Оптимизируйте использование целевой функции SpaRSA. Укажите, что наблюдения предиктора соответствуют столбцам.

rng(1); % For reproducibility 
CVMdl = fitcecoc(X,Y,'Learners',t,'KFold',5,'ObservationsIn','columns');
CMdl1 = CVMdl.Trained{1}
CMdl1 = 
  classreg.learning.classif.CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6x1 cell}
      CodingMatrix: [4x6 double]


  Properties, Methods

CVMdl ClassificationPartitionedLinearECOC модель. Это содержит свойство Trained, который является массивом ячеек 5 на 1, содержащим CompactClassificationECOC модели, что программное обеспечение обучило использование набора обучающих данных каждого сгиба.

Создайте функцию, которая терпит минимальные убытки для каждого наблюдения, и затем составляет в среднем минимальные потери через все наблюдения. Поскольку функция не использует матрицу идентификатора класса (C), веса наблюдения (W), и стоимость классификации (Cost), используйте ~ иметь kfoldLoss проигнорируйте его их положения.

lossfun = @(~,S,~,~)mean(min(-S,[],2));

Оцените среднее значение перекрестная подтвержденная потеря классификации с помощью минимальной потери на функцию наблюдения. Кроме того, получите потерю для каждого сгиба.

ce = kfoldLoss(CVMdl,'LossFun',lossfun)
ce = 0.0243
ceFold = kfoldLoss(CVMdl,'LossFun',lossfun,'Mode','individual')
ceFold = 5×1

    0.0244
    0.0255
    0.0248
    0.0240
    0.0226

Чтобы определить хорошую силу штрафа лассо для модели ECOC, состоявшей из линейных моделей классификации, которые используют учеников логистической регрессии, реализуйте 5-кратную перекрестную проверку.

Загрузите набор данных NLP.

load nlpdata

X разреженная матрица данных о предикторе и Y категориальный вектор меток класса.

Для простоты используйте метку 'другие' во всех наблюдениях в Y это не 'simulink', 'dsp', или 'comm'.

Y(~(ismember(Y,{'simulink','dsp','comm'}))) = 'others';

Создайте набор 11 логарифмически распределенных сильных мест регуляризации от 10-7 через 10-2.

Lambda = logspace(-7,-2,11);

Создайте линейный шаблон модели классификации, который задает, чтобы использовать учеников логистической регрессии, использовать штрафы лассо с сильными местами в Lambda, обучите использование SpaRSA и понизьте допуск на градиент целевой функции к 1e-8.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',Lambda,'GradientTolerance',1e-8);

Перекрестный подтвердите модели. Чтобы увеличить скорость выполнения, транспонируйте данные о предикторе и укажите, что наблюдения находятся в столбцах.

X = X'; 
rng(10); % For reproducibility
CVMdl = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns','KFold',5);

CVMdl ClassificationPartitionedLinearECOC модель.

Разделите CVMdl, и каждая модель в нем.

numECOCModels = numel(CVMdl.Trained)
numECOCModels = 5
ECOCMdl1 = CVMdl.Trained{1}
ECOCMdl1 = 
  classreg.learning.classif.CompactClassificationECOC
      ResponseName: 'Y'
        ClassNames: [comm    dsp    simulink    others]
    ScoreTransform: 'none'
    BinaryLearners: {6×1 cell}
      CodingMatrix: [4×6 double]


  Properties, Methods

numCLModels = numel(ECOCMdl1.BinaryLearners)
numCLModels = 6
CLMdl1 = ECOCMdl1.BinaryLearners{1}
CLMdl1 = 
  ClassificationLinear
      ResponseName: 'Y'
        ClassNames: [-1 1]
    ScoreTransform: 'logit'
              Beta: [34023×11 double]
              Bias: [-0.3125 -0.3596 -0.3596 -0.3596 -0.3596 -0.3596 -0.1593 -0.0737 -0.1759 -0.3452 -0.5174]
            Lambda: [1.0000e-07 3.1623e-07 1.0000e-06 3.1623e-06 1.0000e-05 3.1623e-05 1.0000e-04 3.1623e-04 1.0000e-03 0.0032 0.0100]
           Learner: 'logistic'


  Properties, Methods

Поскольку fitcecoc реализует 5-кратную перекрестную проверку, CVMdl содержит массив ячеек 5 на 1 CompactClassificationECOC модели, которые программное обеспечение обучает на каждом сгибе. BinaryLearners свойство каждого CompactClassificationECOC модель содержит ClassificationLinear модели. Количество ClassificationLinear модели в каждой компактной модели ECOC зависят от количества отличных меток и кодирующий проект. Поскольку Lambda последовательность сильных мест регуляризации, можно думать о CLMdl1 как 11 моделей, один для каждой силы регуляризации в Lambda.

Определите, как хорошо модели делают вывод путем графического вывода средних значений 5-кратной ошибки классификации для каждой силы регуляризации. Идентифицируйте силу регуляризации, которая минимизирует ошибку обобщения по сетке.

ce = kfoldLoss(CVMdl);
figure;
plot(log10(Lambda),log10(ce))
[~,minCEIdx] = min(ce);
minLambda = Lambda(minCEIdx);
hold on
plot(log10(minLambda),log10(ce(minCEIdx)),'ro');
ylabel('log_{10} 5-fold classification error')
xlabel('log_{10} Lambda')
legend('MSE','Min classification error')
hold off

Обучите модель ECOC, состоявшую из линейной модели классификации использование целого набора данных, и задайте минимальную силу регуляризации.

t = templateLinear('Learner','logistic','Solver','sparsa',...
    'Regularization','lasso','Lambda',minLambda,'GradientTolerance',1e-8);
MdlFinal = fitcecoc(X,Y,'Learners',t,'ObservationsIn','columns');

Чтобы оценить метки для новых наблюдений, передайте MdlFinal и новые данные к predict.

Больше о

развернуть все

Ссылки

[1] Allwein, E., Р. Шапайр и И. Зингер. “Уменьшая мультикласс до двоичного файла: подход объединения для поля classifiers”. Журнал Исследования Машинного обучения. Издание 1, 2000, стр 113–141.

[2] Escalera, S., О. Пуджол и П. Радева. “На процессе декодирования в троичных выходных кодах с коррекцией ошибок”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту. Издание 32, Выпуск 7, 2010, стр 120–134.

[3] Escalera, S., О. Пуджол и П. Радева. “Отделимость троичных кодов для разреженных проектов выходных кодов с коррекцией ошибок”. Шаблон Recogn. Издание 30, Выпуск 3, 2009, стр 285–297.

Расширенные возможности

Введенный в R2016a

Для просмотра документации необходимо авторизоваться на сайте