loss

Ошибка классификации для наивного классификатора Байеса

Синтаксис

L = loss(Mdl,tbl,ResponseVarName)

L = loss(Mdl,tbl,Y)

L = loss(Mdl,X,Y)

L = loss(___,Name,Value)

Описание

L = loss(Mdl,tbl,ResponseVarName) возвращает минимальную потерю классификации (см. Потерю Классификации), скалярное представление, как хорошо обученный наивный классификатор Байеса Mdl классифицирует данные о предикторе на таблицу tbl) по сравнению с истинным классом помечает в tbl.ResponseVarName.

loss нормирует вероятности класса в tbl.ResponseVarName к предшествующим вероятностям класса fitcnb используемый в обучении, сохраненном в Prior свойство Mdl.

L = loss(Mdl,tbl,Y) возвращает минимальную потерю классификации (L), скалярное представление, как хорошо обученный наивный классификатор Байеса Mdl классифицирует данные о предикторе на таблицу tbl) по сравнению с истинным классом помечает в Y.

loss нормирует вероятности класса в Y к предшествующим вероятностям класса fitcnb используемый в обучении, сохраненном в Prior свойство Mdl.

пример

L = loss(Mdl,X,Y) возвращает минимальную потерю классификации (L), скалярное представление, как хорошо обученный наивный классификатор Байеса Mdl классифицирует данные о предикторе (X) по сравнению с истинными метками класса (Y).

пример

L = loss(___,Name,Value) возвращает потерю классификации с дополнительными опциями, заданными одним или несколькими Name,Value парные аргументы, с помощью любого из предыдущих синтаксисов.

Входные параметры

развернуть все

`Mdl` — Наивный классификатор Байеса
`ClassificationNaiveBayes` модель | `CompactClassificationNaiveBayes` модель

Наивный классификатор Байеса, заданный как ClassificationNaiveBayes модель или CompactClassificationNaiveBayes модель возвращена fitcnb или compact, соответственно.

`tbl` — Выборочные данные
таблица

Выборочные данные, заданные как таблица. Каждая строка tbl соответствует одному наблюдению, и каждый столбец соответствует одному переменному предиктору. Опционально, tbl может содержать дополнительные столбцы для весов наблюдения и переменной отклика. tbl должен содержать все предикторы, используемые, чтобы обучить Mdl. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не позволены.

Если вы обучили Mdl использование выборочных данных содержится в table, затем входные данные для этого метода должны также быть в таблице.

Типы данных: table

`ResponseVarName` — Имя переменной отклика
имя переменной в `tbl`

Имя переменной отклика, заданное как имя переменной в tbl.

Необходимо задать ResponseVarName как вектор символов или скаляр строки. Например, если переменная отклика y хранится как tbl.y, затем задайте его как 'y'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая y, как предикторы, когда обучение модель.

Переменная отклика должна быть категориальным, символом, или массивом строк, логическим или числовым вектором или массивом ячеек из символьных векторов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Типы данных: char | string

`X` — Данные о предикторе
числовая матрица

Данные о предикторе, заданные как числовая матрица.

Каждая строка X соответствует одному наблюдению (также известный как экземпляр или пример), и каждый столбец соответствует одной переменной (также известный как функцию). Переменные, составляющие столбцы X должен совпасть с переменными, которые обучили Mdl.

Длина Y и количество строк X должно быть равным.

Типы данных: double | single

`Y` — Метки класса
категориальный массив | символьный массив | массив строк | логический вектор | вектор числовых значений | массив ячеек из символьных векторов

Метки класса, заданные как категориальное, символ, или массив строк, логический или числовой вектор или массив ячеек из символьных векторов. Y должен совпасть с типом данных Mdl.ClassNames. (Программное обеспечение обрабатывает строковые массивы как массивы ячеек из символьных векторов.)

Длина Y и количество строк tbl или X должно быть равным.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

`'LossFun'` — Функция потерь
`'classiferror'` (значение по умолчанию) | `'binodeviance'` | `'exponential'` | `'hinge'` | `'logit'` | `'mincost'` | `'quadratic'` | указатель на функцию

Функция потерь, заданная как разделенная запятой пара, состоящая из 'LossFun' и встроенное имя функции потерь или указатель на функцию.

В следующей таблице перечислены доступные функции потерь. Задайте тот с помощью его соответствующего вектора символов или представьте скаляр в виде строки.

Значение	Описание
`'binodeviance'`	Биномиальное отклонение
`'classiferror'`	Ошибка классификации
`'exponential'`	Экспоненциал
`'hinge'`	Стержень
`'logit'`	Логистический
`'mincost'`	Минимальный ожидал стоимость misclassification (для баллов классификации, которые являются апостериорными вероятностями),
`'quadratic'`	Квадратичный

'mincost' подходит для баллов классификации, которые являются апостериорными вероятностями. Наивные модели Bayes возвращают апостериорные вероятности как баллы классификации по умолчанию (см. predict).

Задайте свою собственную функцию с помощью обозначения указателя на функцию.
Предположим тот n будьте количеством наблюдений в X и K будьте количеством отличных классов (numel(Mdl.ClassNames), Mdl входная модель). Ваша функция должна иметь эту подпись
```
lossvalue = lossfun(C,S,W,Cost)
```
где:
- Выходной аргумент lossvalue скаляр.
- Вы выбираете имя функции (lossfun).
- C n- K логическая матрица со строками, указывающими, которые классифицируют соответствующее наблюдение, принадлежит. Порядок следования столбцов соответствует порядку класса в Mdl.ClassNames.
  Создайте C установкой C(p,q) = 1 если наблюдение p находится в классе q, для каждой строки. Установите все другие элементы строки p к 0.
- S n- K числовая матрица баллов классификации. Порядок следования столбцов соответствует порядку класса в Mdl.ClassNamesS матрица баллов классификации, похожих на выход predict.
- W n- 1 числовой вектор весов наблюдения. Если вы передаете W, программное обеспечение нормирует их, чтобы суммировать к 1.
- Cost K-by-K числовая матрица затрат misclassification. Например, Cost = ones(K) - eye(K) задает стоимость 0 для правильной классификации и 1 для misclassification.
Задайте свое использование функции 'LossFun', @lossfun.

Для получения дополнительной информации о функциях потерь смотрите Потерю Классификации.

Типы данных: char | string | function_handle

`'Weights'` — Веса наблюдения
`ones(size(X,1),1)` (значение по умолчанию) | числовой вектор | имя переменной в `tbl`

Веса наблюдения, заданные как разделенная запятой пара, состоящая из 'Weights' и числовой вектор или имя переменной в tbl. Программное обеспечение взвешивает наблюдения в каждой строке X или tbl с соответствующим весом в Weights.

Если вы задаете Weights как вектор, затем размер Weights должно быть равно количеству строк X или tbl.

Если вы задаете Weights как имя переменной в tbl, необходимо сделать так как вектор символов или представить скаляр в виде строки. Например, если веса хранятся как tbl.w, затем задайте Weights как 'w'. В противном случае программное обеспечение обрабатывает все столбцы tbl, включая tbl.w, как предикторы.

Если вы не задаете свою собственную функцию потерь, то программное обеспечение нормирует Weights составить в целом 1.

Типы данных: double | char | string

Выходные аргументы

развернуть все

`L` — Потеря классификации
скаляр

Потеря классификации, возвращенная как скаляр. L обобщение или качественная мера по перезамене. Его интерпретация зависит от функции потерь и схемы взвешивания, но в целом лучшие классификаторы дают к меньшим значениям потерь.

Примеры

развернуть все

Определите тестовую выборку минимальная потеря стоимости наивных классификаторов Байеса

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера.

load fisheriris
X = meas;    % Predictors
Y = species; % Response
rng(1);      % For reproducibility

Обучите наивный классификатор Байеса. Задайте 15%-ю выборку затяжки для тестирования. Это - хорошая практика, чтобы задать порядок класса. Примите, что каждый предиктор условно нормально распределен, учитывая свою метку.

CVMdl = fitcnb(X,Y,'ClassNames',{'setosa','versicolor','virginica'},...
    'Holdout',0.15);
CMdl = CVMdl.Trained{1}; % Extract the trained, compact classifier
testInds = test(CVMdl.Partition);   % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds);

CVMdl ClassificationPartitionedModel классификатор. Это содержит свойство Trained, который является массивом ячеек 1 на 1, содержащим CompactClassificationNaiveBayes классификатор, что программное обеспечение обучило использование набора обучающих данных.

Определите, как хорошо алгоритм делает вывод путем оценки тестовой выборки минимальная потеря стоимости.

L = loss(CMdl,XTest,YTest)

L = 0.0476

Тестовая выборка средняя стоимость классификации является приблизительно 0,05.

Вы можете улучшить ошибку классификации путем определения лучших распределений предиктора, когда вы обучаете классификатор.

Определите тестовую ошибку классификации выборок наивных классификаторов Байеса

Скрипт Open Live Script

Загрузите ирисовый набор данных Фишера.

load fisheriris
X = meas;    % Predictors
Y = species; % Response
rng(1); % For reproducibility

CVMdl = fitcnb(X,Y,'ClassNames',{'setosa','versicolor','virginica'},...
    'Holdout',0.15);
CMdl = CVMdl.Trained{1}; % Extract the trained, compact classifier
testInds = test(CVMdl.Partition);   % Extract the test indices
XTest = X(testInds,:);
YTest = Y(testInds);

Определите, как хорошо алгоритм делает вывод путем оценки тестовой ошибки классификации выборок.

L = loss(CMdl,XTest,YTest,'LossFun','classiferror')

L = 0.0476

Классификатор неправильно классифицировал приблизительно 5% тестовых демонстрационных наблюдений.

Больше о

развернуть все

Потеря классификации

Функции Classification loss измеряют прогнозирующую погрешность моделей классификации. Когда вы сравниваете тот же тип потери среди многих моделей, более низкая потеря указывает на лучшую прогнозную модель.

Рассмотрите следующий сценарий.

L является средневзвешенной потерей классификации.
n является объемом выборки.
Для бинарной классификации:
- _yj является наблюдаемой меткой класса. Программные коды это как –1 или 1, указывая на отрицательный или положительный класс, соответственно.
- f (_Xj) является необработанным счетом классификации к наблюдению (строка) j данных о предикторе X.
- _mj = _yj f (_Xj) является счетом классификации к классификации наблюдения j в класс, соответствующий _yj. Положительные значения _mj указывают на правильную классификацию и не способствуют очень средней потере. Отрицательные величины _mj указывают на неправильную классификацию и значительно способствуют средней потере.
Для алгоритмов, которые поддерживают классификацию мультиклассов (то есть, K ≥ 3):
- _yj* является вектором K – 1 нуль, с 1 в положении, соответствующем истинному, наблюдаемому классу _yj. Например, если истинный класс второго наблюдения является третьим классом и K = 4, то y ^*2 = [0 0 1 0] ′. Порядок классов соответствует порядку в ClassNames свойство входной модели.
- f (_Xj) является длиной вектор K музыки класса к наблюдению j данных о предикторе X. Порядок баллов соответствует порядку классов в ClassNames свойство входной модели.
- _mj = _yj^* ′ f (_Xj). Поэтому _mj является скалярным счетом классификации, который модель предсказывает для истинного, наблюдаемого класса.
Весом для наблюдения j является _wj. Программное обеспечение нормирует веса наблюдения так, чтобы они суммировали к соответствующей предшествующей вероятности класса. Программное обеспечение также нормирует априорные вероятности, таким образом, они суммируют к 1. Поэтому

$\sum_{j = 1}^{n} w_{j} = 1.$

Учитывая этот сценарий, следующая таблица описывает поддерживаемые функции потерь, которые можно задать при помощи 'LossFun' аргумент пары "имя-значение".

Функция потерь	Значение `LossFun`	Уравнение
Биномиальное отклонение	`'binodeviance'`	$L = \sum_{j = 1}^{n} w_{j} журнал {1 + \exp [- 2 m_{j}]} .$
Экспоненциальная потеря	`'exponential'`	$L = \sum_{j = 1}^{n} w_{j} \exp (- m_{j}) .$
Ошибка классификации	`'classiferror'`	$L = \sum_{j = 1}^{n} w_{j} I {{\hat{y}}_{j} \neq y_{j}} .$ Это - взвешенная часть неправильно классифицированных наблюдений где ${\hat{y}}_{j}$ метка класса, соответствующая классу с максимальной апостериорной вероятностью. I {x} является функцией индикатора.
Потеря стержня	`'hinge'`	$L = \sum_{j = 1}^{n} w_{j} \max {0, 1 - m_{j}} .$
Потеря логита	`'logit'`	$L = \sum_{j = 1}^{n} w_{j} журнал (1 + \exp (- m_{j})) .$
Минимальная стоимость	`'mincost'`	Минимальная стоимость. Программное обеспечение вычисляет взвешенную минимальную стоимость с помощью этой процедуры в наблюдениях j = 1..., n. Оцените 1 K вектором ожидаемых затрат классификации для наблюдения j: $γ_{j} = f {(X_{j})}^{'} C .$ f (_Xj) является вектор-столбцом апостериорных вероятностей класса для классификации мультиклассов и двоичного файла. C является матрицей стоимости, которую входная модель хранит в `Cost` свойство. Для наблюдения j предскажите метку класса, соответствующую минимальной ожидаемой стоимости классификации: ${\hat{y}}_{j} = \min_{j = 1, ..., K} (γ_{j}) .$ Используя C, идентифицируйте, что стоимость подверглась (_cj) для того, чтобы сделать прогноз. Взвешенная, средняя, минимальная потеря стоимости $L = \sum_{j = 1}^{n} w_{j} c_{j} .$
Квадратичная потеря	`'quadratic'`	$L = \sum_{j = 1}^{n} w_{j} {(1 - m_{j})}^{2} .$

Этот рисунок сравнивает функции потерь (кроме 'mincost') для одного наблюдения по m. Некоторые функции нормированы, чтобы пройти [0,1].

Стоимость Misclassification

misclassification cost является относительной серьезностью классификатора, маркирующего наблюдение в неправильный класс.

Существует два типа затрат misclassification: верный и ожидаемый. Позвольте K быть количеством классов.

True misclassification cost — K-by-K матрица, где элемент (i, j) указывает на misclassification стоимость предсказания наблюдения в класс j, если его истинным классом является i. Программное обеспечение хранит стоимость misclassification в свойстве Mdl.Cost, и используемый в расчетах. По умолчанию, Mdl.Cost(i,j) = 1, если i ≠ j, и Mdl.Cost(i,j) = 0, если i = j. Другими словами, стоимостью является 0 для правильной классификации и 1 для любой неправильной классификации.
Expected misclassification cost — K - размерный вектор, где элемент k является взвешенным средним misclassification стоимость классификации наблюдения в класс k, взвешенный апостериорными вероятностями класса. Другими словами,

$c_{k} = \sum_{j = 1}^{K} \hat{P} (Y = j | x_{1}, ..., x_{P}) C o s t_{j k} .$

программное обеспечение классифицирует наблюдения к классу, соответствующему с самой низкой ожидаемой стоимостью misclassification.

Апостериорная вероятность

posterior probability является вероятностью, что наблюдение принадлежит конкретного класса, учитывая данные.

Для наивного Бейеса апостериорная вероятность, что классификацией является k для данного наблюдения (x ₁..., _xP)

$\hat{P} (Y = k | x_{1}, .., x_{P}) = \frac{P (X_{1}, ..., X_{P} | y = k) π (Y = k)}{P (X_{1}, ..., X_{P})},$

где:

$P (X_{1}, ..., X_{P} | y = k)$ условная объединенная плотность предикторов, учитывая, они находятся в классе k. Mdl.DistributionNames хранит имена распределения предикторов.
π (Y = k) является распределением априорной вероятности класса. Mdl.Prior хранит предшествующее распределение.
$P (X_{1}, .., X_{P})$ объединенная плотность предикторов. Классы дискретны, таким образом, $P (X_{1}, ..., X_{P}) = \sum_{k = 1}^{K} P (X_{1}, ..., X_{P} | y = k) π (Y = k) .$

Априорная вероятность

prior probability класса является относительной частотой, которой верят, с которой наблюдения от того класса происходят в населении.

Ссылки

[1] Hastie, T., Р. Тибширэни и Дж. Фридман. Элементы Статистического Изучения, второго выпуска. Спрингер, Нью-Йорк, 2008.

Расширенные возможности

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Эта функция полностью поддерживает "высокие" массивы. Для получения дополнительной информации смотрите Длинные массивы (MATLAB).

Темы

Наивная байесова классификация

Документация

loss

Синтаксис

Описание

Входные параметры

`Mdl` — Наивный классификатор Байеса
`ClassificationNaiveBayes` модель | `CompactClassificationNaiveBayes` модель

`tbl` — Выборочные данные
таблица

`ResponseVarName` — Имя переменной отклика
имя переменной в `tbl`

`X` — Данные о предикторе
числовая матрица

`Y` — Метки класса
категориальный массив | символьный массив | массив строк | логический вектор | вектор числовых значений | массив ячеек из символьных векторов

Аргументы в виде пар имя-значение

`'LossFun'` — Функция потерь
`'classiferror'` (значение по умолчанию) | `'binodeviance'` | `'exponential'` | `'hinge'` | `'logit'` | `'mincost'` | `'quadratic'` | указатель на функцию

`'Weights'` — Веса наблюдения
`ones(size(X,1),1)` (значение по умолчанию) | числовой вектор | имя переменной в `tbl`

Выходные аргументы

`L` — Потеря классификации
скаляр

Примеры

Определите тестовую выборку минимальная потеря стоимости наивных классификаторов Байеса

Определите тестовую ошибку классификации выборок наивных классификаторов Байеса

Больше о

Потеря классификации

Стоимость Misclassification

Апостериорная вероятность

Априорная вероятность

Ссылки

Расширенные возможности

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

Документация

loss

Синтаксис

Описание

Входные параметры

Mdl — Наивный классификатор Байеса ClassificationNaiveBayes модель | CompactClassificationNaiveBayes модель

tbl — Выборочные данные таблица

ResponseVarName — Имя переменной отклика имя переменной в tbl

X — Данные о предикторе числовая матрица

Y — Метки класса категориальный массив | символьный массив | массив строк | логический вектор | вектор числовых значений | массив ячеек из символьных векторов

Аргументы в виде пар имя-значение

'LossFun' — Функция потерь 'classiferror' (значение по умолчанию) | 'binodeviance' | 'exponential' | 'hinge' | 'logit' | 'mincost' | 'quadratic' | указатель на функцию

'Weights' — Веса наблюдения ones(size(X,1),1) (значение по умолчанию) | числовой вектор | имя переменной в tbl

Выходные аргументы

L — Потеря классификации скаляр

Примеры

Определите тестовую выборку минимальная потеря стоимости наивных классификаторов Байеса

Определите тестовую ошибку классификации выборок наивных классификаторов Байеса

Больше о

Потеря классификации

Стоимость Misclassification

Апостериорная вероятность

Априорная вероятность

Ссылки

Расширенные возможности

"Высокие" массивы Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

`Mdl` — Наивный классификатор Байеса
`ClassificationNaiveBayes` модель | `CompactClassificationNaiveBayes` модель

`tbl` — Выборочные данные
таблица

`ResponseVarName` — Имя переменной отклика
имя переменной в `tbl`

`X` — Данные о предикторе
числовая матрица

`Y` — Метки класса
категориальный массив | символьный массив | массив строк | логический вектор | вектор числовых значений | массив ячеек из символьных векторов

`'LossFun'` — Функция потерь
`'classiferror'` (значение по умолчанию) | `'binodeviance'` | `'exponential'` | `'hinge'` | `'logit'` | `'mincost'` | `'quadratic'` | указатель на функцию

`'Weights'` — Веса наблюдения
`ones(size(X,1),1)` (значение по умолчанию) | числовой вектор | имя переменной в `tbl`

`L` — Потеря классификации
скаляр

"Высокие" массивы
Осуществление вычислений с массивами, которые содержат больше строк, чем помещается в памяти.