loss

Потеря классификации для наивного классификатора Байеса

Синтаксис

L = loss(Mdl,tbl,ResponseVarName)

L = loss(Mdl,tbl,Y)

L = loss(Mdl,X,Y)

L = loss(___,Name,Value)

Описание

L = loss(Mdl,tbl,ResponseVarName) возвращает Потерю Классификации, скалярное представление как хорошо обученный наивный классификатор Байеса Mdl классифицирует данные о предикторе на таблицу tbl по сравнению с истинным классом помечает в tbl.ResponseVarName.

loss нормирует вероятности класса в tbl.ResponseVarName к предшествующим вероятностям класса, используемым fitcnb для обучения, которые хранятся в Prior свойство Mdl.

L = loss(Mdl,tbl,Y) возвращает потерю классификации для данных о предикторе в таблице tbl и истинный класс помечает в Y.

пример

L = loss(Mdl,X,Y) возвращает потерю классификации на основе данных о предикторе в матричном X по сравнению с истинным классом помечает в Y.

пример

L = loss(___,Name,Value) задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к любой из комбинаций входных аргументов в предыдущих синтаксисах. Например, можно задать функцию потерь и веса классификации.

Примеры

свернуть все

Определите тестовую потерю классификации выборок наивного классификатора Байеса

Скрипт Open Live Script

Определите тестовую ошибку классификации выборок (потеря) наивного классификатора Байеса. Когда вы сравниваете тот же тип потери среди многих моделей, более низкая потеря указывает на лучшую прогнозную модель.

Загрузите fisheriris набор данных. Создайте X как числовая матрица, которая содержит четыре лепестковых измерения для 150 ирисовых диафрагм. Создайте Y как массив ячеек из символьных векторов, который содержит соответствующие ирисовые разновидности.

load fisheriris
X = meas;
Y = species;
rng('default')  % for reproducibility

Случайным образом наблюдения раздела в набор обучающих данных и набор тестов со стратификацией, с помощью информации о классе в Y. Задайте 30%-ю выборку затяжки для тестирования.

cv = cvpartition(Y,'HoldOut',0.30);

Извлеките обучение и протестируйте индексы.

trainInds = training(cv);
testInds = test(cv);

Задайте наборы тестовых данных и обучение.

XTrain = X(trainInds,:);
YTrain = Y(trainInds);
XTest = X(testInds,:);
YTest = Y(testInds);

Обучите наивный классификатор Байеса с помощью предикторов XTrain и класс маркирует YTrain. Методические рекомендации должны задать имена классов. fitcnb принимает, что каждый предиктор условно и нормально распределен.

Mdl = fitcnb(XTrain,YTrain,'ClassNames',{'setosa','versicolor','virginica'})

Mdl = 
  ClassificationNaiveBayes
              ResponseName: 'Y'
     CategoricalPredictors: []
                ClassNames: {'setosa'  'versicolor'  'virginica'}
            ScoreTransform: 'none'
           NumObservations: 105
         DistributionNames: {'normal'  'normal'  'normal'  'normal'}
    DistributionParameters: {3x4 cell}


  Properties, Methods

Mdl обученный ClassificationNaiveBayes классификатор.

Определите, как хорошо алгоритм делает вывод путем оценки тестовой ошибки классификации выборок.

L = loss(Mdl,XTest,YTest)

L = 0.0444

Наивный классификатор Байеса неправильно классифицирует приблизительно 4% тестовой выборки.

Вы можете уменьшить ошибку классификации путем определения лучших распределений предиктора, когда вы обучаете классификатор с fitcnb.

Определите тестовую демонстрационную потерю логита наивного классификатора Байеса

Скрипт Open Live Script

load fisheriris
X = meas;
Y = species;
rng('default')  % for reproducibility

cv = cvpartition(Y,'HoldOut',0.30);

Извлеките обучение и протестируйте индексы.

trainInds = training(cv);
testInds = test(cv);

Задайте наборы тестовых данных и обучение.

XTrain = X(trainInds,:);
YTrain = Y(trainInds);
XTest = X(testInds,:);
YTest = Y(testInds);

Mdl = fitcnb(XTrain,YTrain,'ClassNames',{'setosa','versicolor','virginica'});

Mdl обученный ClassificationNaiveBayes классификатор.

Определите, как хорошо алгоритм делает вывод путем оценки тестовой демонстрационной потери логита.

L = loss(Mdl,XTest,YTest,'LossFun','logit')

L = 0.3359

Потеря логита - приблизительно 0,34.

Входные параметры

свернуть все

`Mdl` — Наивная Байесова модель классификации
`ClassificationNaiveBayes` объект модели | `CompactClassificationNaiveBayes` объект модели

Наивная Байесова модель классификации в виде ClassificationNaiveBayes объект модели или CompactClassificationNaiveBayes объект модели, возвращенный fitcnb или compact, соответственно.

`tbl` — Выборочные данные
таблица

Выборочные данные раньше обучали модель в виде таблицы. Каждая строка tbl соответствует одному наблюдению, и каждый столбец соответствует одному переменному предиктору. tbl должен содержать все предикторы, используемые, чтобы обучить Mdl. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не позволены. Опционально, tbl может содержать дополнительные столбцы для весов наблюдения и переменной отклика.

Если вы обучаете Mdl использование выборочных данных, содержавшихся в таблице, затем входные данные для loss должен также быть в таблице.

`ResponseVarName` — Имя переменной отклика
имя переменной в `tbl`

Имя переменной отклика в виде имени переменной в tbl.

Необходимо задать ResponseVarName как вектор символов или строковый скаляр. Например, если переменная отклика y хранится как tbl.y, затем задайте его как 'y'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая y, как предикторы.

Если tbl содержит переменную отклика, используемую, чтобы обучить Mdl, затем вы не должны задавать ResponseVarName.

Переменная отклика должна быть категориальным, символом, или массивом строк, логическим или числовым вектором или массивом ячеек из символьных векторов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Типы данных: char | string

`X` — Данные о предикторе
числовая матрица

Данные о предикторе в виде числовой матрицы.

Каждая строка X соответствует одному наблюдению (также известный как экземпляр или пример), и каждый столбец соответствует одной переменной (также известный как функцию). Переменные в столбцах X должен совпасть с переменными, которые обучили Mdl классификатор.

Длина Y и количество строк X должно быть равным.

Типы данных: double | single

`Y` — Метки класса
категориальный массив | символьный массив | массив строк | логический вектор | числовой вектор | массив ячеек из символьных векторов

Класс помечает в виде категориального, символа, или массива строк, логического или числового вектора или массива ячеек из символьных векторов. Y должен иметь совпадающий тип данных как Mdl.ClassNames. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.)

Длина Y должно быть равно количеству строк tbl или X.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: loss(Mdl,tbl,Y,'Weights',W) взвешивает наблюдения в каждой строке tbl использование соответствующего веса в каждой строке переменной W.

`'LossFun'` — Функция потерь
`'mincost'` (значение по умолчанию) | `'binodeviance'` | `'classiferror'` | `'exponential'` | `'hinge'` | `'logit'` | `'quadratic'` | указатель на функцию

Функция потерь в виде разделенной запятой пары, состоящей из 'LossFun' и встроенное имя функции потерь или указатель на функцию.

В следующей таблице перечислены доступные функции потерь. Задайте тот с помощью его соответствующего вектора символов или строкового скаляра.

Значение	Описание
`'binodeviance'`	Биномиальное отклонение
`'classiferror'`	Неправильно классифицированный уровень в десятичном числе
`'exponential'`	Экспоненциальная потеря
`'hinge'`	Потеря стержня
`'logit'`	Логистическая потеря
`'mincost'`	Минимальный ожидал стоимость misclassification (для классификационных оценок, которые являются апостериорными вероятностями),
`'quadratic'`	Квадратичная потеря

'mincost' подходит для классификационных оценок, которые являются апостериорными вероятностями. Наивные модели Bayes возвращают апостериорные вероятности как классификационные оценки по умолчанию (см. predict).

Задайте свою собственную функцию с помощью обозначения указателя на функцию.
Предположим тот n количество наблюдений в X и K количество отличных классов (numel(Mdl.ClassNames), где Mdl входная модель). Ваша функция должна иметь эту подпись
```
lossvalue = lossfun(C,S,W,Cost)
```
где:
- Выходной аргумент lossvalue скаляр.
- Вы задаете имя функции (lossfun).
- C n- K логическая матрица со строками, указывающими на класс, которому принадлежит соответствующее наблюдение. Порядок следования столбцов соответствует порядку класса в Mdl.ClassNames.
  Создайте C установкой C(p,q) = 1 если наблюдение p находится в классе q, для каждой строки. Установите все другие элементы строки p к 0.
- S n- K числовая матрица классификационных оценок. Порядок следования столбцов соответствует порядку класса в Mdl.ClassNamesS матрица классификационных оценок, похожих на выход predict.
- W n- 1 числовой вектор из весов наблюдения. Если вы передаете W, программное обеспечение нормирует веса, чтобы суммировать к 1.
- Cost K- K числовая матрица затрат misclassification. Например, Cost = ones(K) - eye(K) задает стоимость 0 для правильной классификации и 1 для misclassification.
Задайте свое использование функции 'LossFun', @lossfun.

Для получения дополнительной информации о функциях потерь смотрите Потерю Классификации.

Типы данных: char | string | function_handle

`'Weights'` — Веса наблюдения
`ones(size(X,1),1)` (значение по умолчанию) | числовой вектор | имя переменной в `tbl`

Веса наблюдения в виде числового вектора или имени переменной в tbl. Программное обеспечение взвешивает наблюдения в каждой строке X или tbl с соответствующими весами в Weights.

Если вы задаете Weights как числовой вектор, затем размер Weights должно быть равно количеству строк X или tbl.

Если вы задаете Weights как имя переменной в tbl, затем имя должно быть вектором символов или строковым скаляром. Например, если веса хранятся как tbl.w, затем задайте Weights как 'w'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.w, как предикторы.

Если вы не задаете функцию потерь, то программное обеспечение нормирует Weights составить в целом 1.

Типы данных: double | char | string

Выходные аргументы

свернуть все

`L` — Потеря классификации
скаляр

Потеря классификации, возвращенная как скаляр. L обобщение или качественная мера по перезамене. Его интерпретация зависит от схемы взвешивания и функции потерь; в целом лучшие классификаторы дают к меньшим значениям потерь.

Больше о

свернуть все

Потеря классификации

Функции Classification loss измеряют прогнозирующую погрешность моделей классификации. Когда вы сравниваете тот же тип потери среди многих моделей, более низкая потеря указывает на лучшую прогнозную модель.

Рассмотрите следующий сценарий.

L является средневзвешенной потерей классификации.
n является объемом выборки.
Для бинарной классификации:
- _yj является наблюдаемой меткой класса. Программные коды это как –1 или 1, указывая на отрицательный или положительный класс (или первый или второй класс в ClassNames свойство), соответственно.
- f (_Xj) является классификационной оценкой положительного класса для наблюдения (строка) j данных о предикторе X.
- _mj = _yj f (_Xj) является классификационной оценкой для классификации наблюдения j в класс, соответствующий _yj. Положительные значения _mj указывают на правильную классификацию и не способствуют очень средней потере. Отрицательные величины _mj указывают на неправильную классификацию и значительно способствуют средней потере.
Для алгоритмов, которые поддерживают классификацию мультиклассов (то есть, K ≥ 3):
- _yj* является вектором из K – 1 нуль, с 1 в положении, соответствующем истинному, наблюдаемому классу _yj. Например, если истинный класс второго наблюдения является третьим классом и K = 4, то y ₂^* = [0 0 1 0] ′. Порядок классов соответствует порядку в ClassNames свойство входной модели.
- f (_Xj) является длиной вектор K из музыки класса к наблюдению j данных о предикторе X. Порядок баллов соответствует порядку классов в ClassNames свойство входной модели.
- _mj = _yj^* ′ f (_Xj). Поэтому _mj является скалярной классификационной оценкой, которую модель предсказывает для истинного, наблюдаемого класса.
Весом для наблюдения j является _wj. Программное обеспечение нормирует веса наблюдения так, чтобы они суммировали к соответствующей предшествующей вероятности класса. Программное обеспечение также нормирует априорные вероятности, таким образом, они суммируют к 1. Поэтому

$\sum_{j = 1}^{n} w_{j} = 1.$

Учитывая этот сценарий, следующая таблица описывает поддерживаемые функции потерь, которые можно задать при помощи 'LossFun' аргумент пары "имя-значение".

Функция потерь	Значение `LossFun`	Уравнение
Биномиальное отклонение	`'binodeviance'`	$L = \sum_{j = 1}^{n} w_{j} \log {1 + \exp [- 2 m_{j}]} .$
Неправильно классифицированный уровень в десятичном числе	`'classiferror'`	$L = \sum_{j = 1}^{n} w_{j} I {{\hat{y}}_{j} \neq y_{j}} .$ ${\hat{y}}_{j}$ метка класса, соответствующая классу с максимальным счетом. I {·} является функцией индикатора.
Потеря перекрестной энтропии	`'crossentropy'`	`'crossentropy'` подходит только для моделей нейронной сети. Взвешенная потеря перекрестной энтропии $L = - \sum_{j = 1}^{n} \frac{{\tilde{w}}_{j} \log (m_{j})}{K n},$ где веса ${\tilde{w}}_{j}$ нормированы, чтобы суммировать к n вместо 1.
Экспоненциальная потеря	`'exponential'`	$L = \sum_{j = 1}^{n} w_{j} \exp (- m_{j}) .$
Потеря стержня	`'hinge'`	$L = \sum_{j = 1}^{n} w_{j} \max {0, 1 - m_{j}} .$
Потеря логита	`'logit'`	$L = \sum_{j = 1}^{n} w_{j} \log (1 + \exp (- m_{j})) .$
Минимальный ожидал стоимость misclassification	`'mincost'`	`'mincost'` является соответствующим, только если классификационные оценки являются апостериорными вероятностями. Программное обеспечение вычисляет взвешенную минимальную ожидаемую стоимость классификации с помощью этой процедуры для наблюдений j = 1..., n. Оцените ожидаемую misclassification стоимость классификации наблюдения _Xj в класс k: $γ_{j k} = {(f {(X_{j})}^{'} C)}_{k} .$ f (_Xj) является вектор-столбцом апостериорных вероятностей класса для двоичного файла и классификации мультиклассов для наблюдения _Xj. C является матрицей стоимости, сохраненной в `Cost` свойство модели. Для наблюдения j предскажите, что метка класса, соответствующая минимальному, ожидала стоимость misclassification: ${\hat{y}}_{j} = \underset{k = 1, ..., K}{argmin} γ_{j k} .$ Используя C, идентифицируйте, что стоимость подверглась (_cj) для того, чтобы сделать предсказание. Взвешенное среднее минимального ожидало, что потеря стоимости misclassification $L = \sum_{j = 1}^{n} w_{j} c_{j} .$ Если вы используете матрицу стоимости по умолчанию (чье значение элемента 0 для правильной классификации и 1 для неправильной классификации), то `'mincost'` потеря эквивалентна `'classiferror'` потеря.
Квадратичная потеря	`'quadratic'`	$L = \sum_{j = 1}^{n} w_{j} {(1 - m_{j})}^{2} .$

Этот рисунок сравнивает функции потерь (кроме 'crossentropy' и 'mincost') по счету m для одного наблюдения. Некоторые функции нормированы, чтобы пройти через точку (0,1).

Стоимость Misclassification

misclassification cost является относительной серьезностью классификатора, маркирующего наблюдение в неправильный класс.

Существует два типа затрат misclassification: верный и ожидаемый. Позвольте K быть количеством классов.

True misclassification cost — K-by-K матрица, где элемент (i, j) указывает на misclassification стоимость предсказания наблюдения в класс j, если его истинным классом является i. Программное обеспечение хранит стоимость misclassification в свойстве Mdl.Cost, и использование это в расчетах. По умолчанию, Mdl.Cost(i,j) = 1, если i ≠ j, и Mdl.Cost(i,j) = 0, если i = j. Другими словами, стоимостью является 0 для правильной классификации и 1 для любой неправильной классификации.
Expected misclassification cost — K - размерный вектор, где элемент k является взвешенным средним misclassification стоимость классификации наблюдения в класс k, взвешенный апостериорными вероятностями класса.

$c_{k} = \sum_{j = 1}^{K} \hat{P} (Y = j | x_{1}, ..., x_{P}) C o s t_{j k} .$
Другими словами, программное обеспечение классифицирует наблюдения к классу, соответствующему с самой низкой ожидаемой стоимостью misclassification.

Апостериорная вероятность

posterior probability является вероятностью, что наблюдение принадлежит конкретного класса, учитывая данные.

Для наивного Бейеса апостериорная вероятность, что классификацией является k для заданного наблюдения (x ₁..., _xP)

$\hat{P} (Y = k | x_{1}, .., x_{P}) = \frac{P (X_{1}, ..., X_{P} | y = k) π (Y = k)}{P (X_{1}, ..., X_{P})},$

где:

$P (X_{1}, ..., X_{P} | y = k)$ условная объединенная плотность предикторов, учитывая, они находятся в классе k. Mdl.DistributionNames хранит имена распределения предикторов.
π (Y = k) является априорным распределением вероятностей класса. Mdl.Prior хранит предшествующее распределение.
$P (X_{1}, .., X_{P})$ объединенная плотность предикторов. Классы дискретны, таким образом, $P (X_{1}, ..., X_{P}) = \sum_{k = 1}^{K} P (X_{1}, ..., X_{P} | y = k) π (Y = k) .$

Априорная вероятность

prior probability класса является принятой относительной частотой, с которой наблюдения от того класса происходят в населении.

Расширенные возможности

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Эта функция полностью поддерживает "высокие" массивы. Можно использовать модели, обученные или на или на высоких данных в оперативной памяти с этой функцией.

Для получения дополнительной информации см. Раздел "Высокие массивы".

Документация

loss

Синтаксис

Описание

Примеры

Определите тестовую потерю классификации выборок наивного классификатора Байеса

Определите тестовую демонстрационную потерю логита наивного классификатора Байеса

Входные параметры

`Mdl` — Наивная Байесова модель классификации
`ClassificationNaiveBayes` объект модели | `CompactClassificationNaiveBayes` объект модели

`tbl` — Выборочные данные
таблица

`ResponseVarName` — Имя переменной отклика
имя переменной в `tbl`

`X` — Данные о предикторе
числовая матрица

`Y` — Метки класса
категориальный массив | символьный массив | массив строк | логический вектор | числовой вектор | массив ячеек из символьных векторов

Аргументы в виде пар имя-значение

`'LossFun'` — Функция потерь
`'mincost'` (значение по умолчанию) | `'binodeviance'` | `'classiferror'` | `'exponential'` | `'hinge'` | `'logit'` | `'quadratic'` | указатель на функцию

`'Weights'` — Веса наблюдения
`ones(size(X,1),1)` (значение по умолчанию) | числовой вектор | имя переменной в `tbl`

Выходные аргументы

`L` — Потеря классификации
скаляр

Больше о

Потеря классификации

Стоимость Misclassification

Апостериорная вероятность

Априорная вероятность

Расширенные возможности

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

Документация

loss

Синтаксис

Описание

Примеры

Определите тестовую потерю классификации выборок наивного классификатора Байеса

Определите тестовую демонстрационную потерю логита наивного классификатора Байеса

Входные параметры

Mdl — Наивная Байесова модель классификации ClassificationNaiveBayes объект модели | CompactClassificationNaiveBayes объект модели

tbl — Выборочные данные таблица

ResponseVarName — Имя переменной отклика имя переменной в tbl

X — Данные о предикторе числовая матрица

Y — Метки класса категориальный массив | символьный массив | массив строк | логический вектор | числовой вектор | массив ячеек из символьных векторов

Аргументы в виде пар имя-значение

'LossFun' — Функция потерь 'mincost' (значение по умолчанию) | 'binodeviance' | 'classiferror' | 'exponential' | 'hinge' | 'logit' | 'quadratic' | указатель на функцию

'Weights' — Веса наблюдения ones(size(X,1),1) (значение по умолчанию) | числовой вектор | имя переменной в tbl

Выходные аргументы

L — Потеря классификации скаляр

Больше о

Потеря классификации

Стоимость Misclassification

Апостериорная вероятность

Априорная вероятность

Расширенные возможности

"Высокие" массивы Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

`Mdl` — Наивная Байесова модель классификации
`ClassificationNaiveBayes` объект модели | `CompactClassificationNaiveBayes` объект модели

`tbl` — Выборочные данные
таблица

`ResponseVarName` — Имя переменной отклика
имя переменной в `tbl`

`X` — Данные о предикторе
числовая матрица

`Y` — Метки класса
категориальный массив | символьный массив | массив строк | логический вектор | числовой вектор | массив ячеек из символьных векторов

`'LossFun'` — Функция потерь
`'mincost'` (значение по умолчанию) | `'binodeviance'` | `'classiferror'` | `'exponential'` | `'hinge'` | `'logit'` | `'quadratic'` | указатель на функцию

`'Weights'` — Веса наблюдения
`ones(size(X,1),1)` (значение по умолчанию) | числовой вектор | имя переменной в `tbl`

`L` — Потеря классификации
скаляр

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.