loss

Потеря наивной модели классификации Бейеса для пошагового обучения на пакете данных

Синтаксис

L = loss(Mdl,X,Y)

L = loss(Mdl,X,Y,Name,Value)

Описание

loss возвращает потерю классификации сконфигурированной наивной модели классификации Бейеса для модели пошагового обучения (incrementalClassificationNaiveBayes объект.

Чтобы измерить производительность модели на потоке данных и сохранить результаты в выходной модели, вызвать updateMetrics или updateMetricsAndFit.

пример

L = loss(Mdl,X,Y) возвращает минимальную потерю классификации стоимости для наивной модели классификации Бейеса для пошагового обучения Mdl использование пакета данных о предикторе X и соответствующие ответы Y.

пример

L = loss(Mdl,X,Y,Name,Value) дополнительные опции использования заданы одним или несколькими аргументами пары "имя-значение". Например, можно задать функцию потерь классификации.

Примеры

свернуть все

Измерьте производительность модели во время пошагового обучения

Скрипт Open Live Script

Уровень инкрементной модели при потоковой передаче данных измерен тремя способами:

Совокупные метрики измеряют уровень начиная с запуска пошагового обучения.
Метрики окна измеряют уровень на заданном окне наблюдений. Метрики обновляются каждый раз процессы модели заданное окно.
loss функция измеряет уровень на заданном пакете данных только.

Загрузите набор данных деятельности человека. Случайным образом переставьте данные.

load humanactivity
n = numel(actid);
rng(1); % For reproducibility
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

Для получения дополнительной информации на наборе данных, введите Description в командной строке.

Создайте наивную модель классификации Бейеса для пошагового обучения; задайте имена классов и метрический размер окна 1 000 наблюдений. Сконфигурируйте его для loss путем подбора кривой ему к первым 10 наблюдениям.

Mdl = incrementalClassificationNaiveBayes('ClassNames',unique(Y),'MetricsWindowSize',1000);
initobs = 10;
Mdl = fit(Mdl,X(1:initobs,:),Y(1:initobs));
canComputeLoss = (size(Mdl.DistributionParameters,2) == Mdl.NumPredictors) +...
    (size(Mdl.DistributionParameters,1) > 1) > 1

canComputeLoss = logical
   1

Mdl incrementalClassificationLinear модель. Все его свойства только для чтения.

Симулируйте поток данных и выполните следующие действия с каждым входящим фрагментом 50 наблюдений:

Вызовите updateMetrics измерять совокупный уровень и эффективность в окне наблюдений. Перезапишите предыдущую инкрементную модель с новой, чтобы отследить показатели производительности.
Вызовите loss измерять производительность модели на входящем фрагменте.
Вызовите fit подбирать модель к входящему фрагменту. Перезапишите предыдущую инкрементную модель с новой, адаптированной к входящему наблюдению.
Сохраните все показатели производительности, чтобы видеть, как они развиваются во время пошагового обучения.

% Preallocation
numObsPerChunk = 500;
nchunk = floor((n - initobs)/numObsPerChunk);
mc = array2table(zeros(nchunk,3),'VariableNames',["Cumulative" "Window" "Loss"]);

% Incremental learning
for j = 1:nchunk
    ibegin = min(n,numObsPerChunk*(j-1) + 1 + initobs);
    iend   = min(n,numObsPerChunk*j + initobs);
    idx = ibegin:iend;    
    Mdl = updateMetrics(Mdl,X(idx,:),Y(idx));
    mc{j,["Cumulative" "Window"]} = Mdl.Metrics{"MinimalCost",:};
    mc{j,"Loss"} = loss(Mdl,X(idx,:),Y(idx));
    Mdl = fit(Mdl,X(idx,:),Y(idx));
end

Mdl incrementalClassificationNaiveBayes объект модели, обученный на всех данных в потоке. Во время пошагового обучения и после того, как модель подогревается, updateMetrics проверяет эффективность модели на входящем наблюдении, затем и fit функция подбирает модель к тому наблюдению. loss агностик метрического периода прогрева, таким образом, он измеряет минимальную стоимость для всех итераций.

Чтобы видеть, как показатели производительности, развитые во время обучения, постройте их.

figure;
plot(mc.Variables);
xlim([0 nchunk]);
ylim([0 0.1])
ylabel('Minimal Cost')
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk + 1,'r-.');
legend(mc.Properties.VariableNames)
xlabel('Iteration')

В метрический период прогрева (область слева от красной линии), желтая линия представляет минимальную стоимость на каждом входящем фрагменте данных. После метрического периода прогрева, Mdl отслеживает совокупные метрики и метрики окна. Совокупные и пакетные потери сходятся как fit функция подбирает инкрементную модель к входящим данным.

Вычислите пользовательскую потерю на входящих фрагментах данных

Скрипт Open Live Script

Подбирайте наивную модель классификации Бейеса для пошагового обучения к потоковой передаче данных и вычислите потерю перекрестной энтропии мультикласса на входящих фрагментах данных.

Загрузите набор данных деятельности человека. Случайным образом переставьте данные.

load humanactivity
n = numel(actid);
rng(1); % For reproducibility
idx = randsample(n,n);
X = feat(idx,:);
Y = actid(idx);

Для получения дополнительной информации на наборе данных, введите Description в командной строке.

Создайте наивную модель классификации Бейеса для пошагового обучения. Сконфигурируйте модель можно следующим образом:

Задайте имена классов
Задайте метрический период прогрева 1 000 наблюдений.
Задайте метрический размер окна 2 000 наблюдений.
Отследите потерю перекрестной энтропии мультикласса, чтобы измерить уровень модели. Создайте анонимную функцию, которая измеряет потерю перекрестной энтропии мультикласса каждого нового наблюдения, включайте допуск к числовой устойчивости. Создайте массив структур, содержащий имя CrossEntropy и его соответствующая функция.
Сконфигурируйте модель, чтобы вычислить потерю классификации, подбирая модель к первым 10 наблюдениям.

tolerance = 1e-10;
crossentropy = @(z,zfit,w,cost)-log(max(zfit(z),tolerance));
ce = struct("CrossEntropy",crossentropy);

Mdl = incrementalClassificationNaiveBayes('ClassNames',unique(Y),'MetricsWarmupPeriod',1000,...
    'MetricsWindowSize',2000,'Metrics',ce);
initobs = 10;
Mdl = fit(Mdl,X(1:initobs,:),Y(1:initobs));

Mdl incrementalClassificationNaiveBayes объект модели сконфигурирован для пошагового обучения.

Выполните пошаговое обучение. В каждой итерации:

Симулируйте поток данных путем обработки фрагмента 100 наблюдений.
Вызовите updateMetrics вычислить совокупный и метрики окна на входящем фрагменте данных. Перезапишите предыдущую инкрементную модель с новой, адаптированной, чтобы перезаписать предыдущие метрики.
Вызовите loss вычислить перекрестную энтропию на входящем фрагменте данных. Принимая во внимание, что совокупные метрики и метрики окна требуют, чтобы пользовательские потери возвратили потерю для каждого наблюдения, loss требует потери на целом фрагменте. Вычислите среднее значение потерь во фрагменте.
Вызовите fit подбирать инкрементную модель к входящему фрагменту данных.
Сохраните совокупное, окно, и разделите метрики на блоки, чтобы видеть, как они развиваются во время пошагового обучения.

% Preallocation
numObsPerChunk = 100;
nchunk = floor((n - initobs)/numObsPerChunk);
tanloss = array2table(zeros(nchunk,3),'VariableNames',["Cumulative" "Window" "Chunk"]);

% Incremental fitting
for j = 1:nchunk
    ibegin = min(n,numObsPerChunk*(j-1) + 1 + initobs);
    iend   = min(n,numObsPerChunk*j + initobs);
    idx = ibegin:iend;    
    Mdl = updateMetrics(Mdl,X(idx,:),Y(idx));
    tanloss{j,1:2} = Mdl.Metrics{"CrossEntropy",:};
    tanloss{j,3} = loss(Mdl,X(idx,:),Y(idx),'LossFun',@(z,zfit,w,cost)mean(crossentropy(z,zfit,w,cost)));
    Mdl = fit(Mdl,X(idx,:),Y(idx));
end

IncrementalMdl incrementalClassificationNaiveBayes объект модели, обученный на всех данных в потоке. Во время пошагового обучения и после того, как модель подогревается, updateMetrics проверяет эффективность модели на входящем наблюдении и fit функция подбирает модель к тому наблюдению.

Постройте показатели производительности, чтобы видеть, как они развились во время пошагового обучения.

figure;
h = plot(tanloss.Variables);
ylabel('Cross Entropy')
xline(Mdl.MetricsWarmupPeriod/numObsPerChunk,'r-.');
xlabel('Iteration')
legend(h,tanloss.Properties.VariableNames)

График предлагает следующее:

updateMetrics вычисляет показатели производительности после метрического периода прогрева только.
updateMetrics вычисляет совокупные метрики во время каждой итерации.
updateMetrics вычисляет метрики окна после обработки 100 наблюдений
Поскольку Mdl был сконфигурирован, чтобы предсказать наблюдения с начала пошагового обучения, loss может вычислить перекрестную энтропию на каждом входящем фрагменте данных.

Входные параметры

свернуть все

`Mdl` — Наивная Байесова модель классификации для пошагового обучения
`incrementalClassificationNaiveBayes` объект модели

Наивная Байесова модель классификации для пошагового обучения в виде incrementalClassificationNaiveBayes объект модели. Можно создать Mdl непосредственно или путем преобразования поддерживаемой, традиционно обученной модели машинного обучения использование incrementalLearner функция. Для получения дополнительной информации смотрите соответствующую страницу с описанием.

Необходимо сконфигурировать Mdl вычислить его потерю на пакете наблюдений.

Если Mdl конвертированная, традиционно обученная модель, можно вычислить ее потерю без любых модификаций.
В противном случае необходимо соответствовать входной модели Mdl к данным, которые содержали все ожидаемые классы (Mdl.DistributionParameters должна быть матрица ячейки с Mdl.NumPredictors столбцы и по крайней мере одна строка, где каждая строка соответствует каждому имени класса в Mdl.ClassNames).

`X` — Пакет данных о предикторе
матрица с плавающей точкой

Пакет данных о предикторе, с которыми можно вычислить потерю в виде n-by-Mdl.NumPredictors матрица с плавающей точкой.

Продолжительность наблюдения маркирует Y и количество наблюдений в X должно быть равным; Y (j) метка наблюдения j (строка или столбец) в X.

Примечание

loss поддержки только входные данные о предикторе с плавающей точкой. Если входная модель Mdl представляет конвертированное, традиционно обучил подгонку модели к категориальным данным, использовать dummyvar преобразовывать каждую категориальную переменную в числовую матрицу фиктивных переменных и конкатенировать все фиктивные переменные матрицы и любые другие числовые предикторы. Для получения дополнительной информации смотрите Фиктивные Переменные.

Типы данных: single | double

`Y` — Пакет меток
категориальный массив | символьный массив | массив строк | логический вектор | вектор с плавающей точкой | массив ячеек из символьных векторов

Пакет меток, с которыми можно вычислить потерю в виде категориального, символа, или массива строк, логического или вектора с плавающей точкой или массива ячеек из символьных векторов для проблем классификации; или вектор с плавающей точкой для проблем регрессии.

Когда ClassNames свойство входной модели Mdl непусто, следующие условия применяются:
- Если Y содержит метку, которая не является членом Mdl.ClassNames, loss выдает ошибку.
- Тип данных Y и Mdl.ClassNames должно быть то же самое.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'LossFun','classiferror','Weights',W задает возврат misclassification коэффициента ошибок и весов наблюдения W.

`'LossFun'` — Функция потерь
`'mincost'` (значение по умолчанию) | представляет вектор в виде строки | указатель на функцию | вектор ячейки | массив структур |...

Функция потерь в виде встроенного имени функции потерь или указателя на функцию.

В следующей таблице перечислены встроенные имена функции потерь. Можно задать больше чем один при помощи вектора строки.

Имя	Описание
`"binodeviance"`	Биномиальное отклонение
`"classiferror"`	Коэффициент ошибок Misclassification
`"exponential"`	Экспоненциал
`"hinge"`	Стержень
`"logit"`	Логистический
'`"mincost"`	Минимальный ожидал стоимость misclassification
`"quadratic"`	Квадратичный

Для получения дополнительной информации смотрите Потерю Классификации.

Чтобы задать пользовательскую функцию потерь, используйте обозначение указателя на функцию. Функция должна иметь эту форму:

lossval = lossfcn(C,S,W,Cost)

Выходной аргумент lossval n-by-1 вектор с плавающей точкой, где lossval (j) потеря классификации наблюдения j.
Вы задаете имя функции (lossfcn).
C n-by-2 логическая матрица со строками, указывающими на класс, которому принадлежит соответствующее наблюдение. Порядок следования столбцов соответствует порядку класса в ClassNames свойство. Создайте C установкой C (pQ)= 1 , если наблюдение p находится в классе q, для каждого наблюдения в заданных данных. Установите другой элемент в строке p к 0.
S n-by-2 числовая матрица предсказанных классификационных оценок. S похоже на Posterior выход predict, где строки соответствуют наблюдениям в данных, и порядок следования столбцов соответствует порядку класса в ClassNames свойство. S (pQ) классификационная оценка наблюдения p будучи классифицированным на класс q.
W n-by-1 числовой вектор из весов наблюдения.
Cost K-by-K числовая матрица затрат misclassification.

Пример: 'LossFun',"classiferror"

Пример: 'LossFun', @lossfcn

Типы данных: char | string | function_handle

`'Weights'` — Фрагмент весов наблюдения
вектор с плавающей точкой из положительных значений

Фрагмент весов наблюдения в виде вектора с плавающей точкой из положительных значений. loss взвешивает наблюдения в X с соответствующими значениями в Weights. Размер Weights должен равняться n, который является количеством наблюдений в X.

По умолчанию, Weights единицы (n,1).

Для получения дополнительной информации, включая схемы нормализации, смотрите Веса Наблюдения.

Типы данных: double | single

Выходные аргументы

свернуть все

`L` — Потеря классификации
числовой скаляр

Потеря классификации, возвращенная в виде числа. L мера качества модели. Его интерпретация зависит от схемы взвешивания и функции потерь.

Больше о

свернуть все

Потеря классификации

Функции Classification loss измеряют прогнозирующую погрешность моделей классификации. Когда вы сравниваете тот же тип потери среди многих моделей, более низкая потеря указывает на лучшую прогнозную модель.

Рассмотрите следующий сценарий.

L является средневзвешенной потерей классификации.
n является объемом выборки.
Для бинарной классификации:
- _yj является наблюдаемой меткой класса. Программные коды это как –1 или 1, указывая на отрицательный или положительный класс (или первый или второй класс в ClassNames свойство), соответственно.
- f (_Xj) является классификационной оценкой положительного класса для наблюдения (строка) j данных о предикторе X.
- _mj = _yj f (_Xj) является классификационной оценкой для классификации наблюдения j в класс, соответствующий _yj. Положительные значения _mj указывают на правильную классификацию и не способствуют очень средней потере. Отрицательные величины _mj указывают на неправильную классификацию и значительно способствуют средней потере.
Для алгоритмов, которые поддерживают классификацию мультиклассов (то есть, K ≥ 3):
- _yj* является вектором из K – 1 нуль, с 1 в положении, соответствующем истинному, наблюдаемому классу _yj. Например, если истинный класс второго наблюдения является третьим классом и K = 4, то y ₂^* = [0 0 1 0] ′. Порядок классов соответствует порядку в ClassNames свойство входной модели.
- f (_Xj) является длиной вектор K из музыки класса к наблюдению j данных о предикторе X. Порядок баллов соответствует порядку классов в ClassNames свойство входной модели.
- _mj = _yj^* ′ f (_Xj). Поэтому _mj является скалярной классификационной оценкой, которую модель предсказывает для истинного, наблюдаемого класса.
Весом для наблюдения j является _wj. Программное обеспечение нормирует веса наблюдения так, чтобы они суммировали к соответствующей предшествующей вероятности класса. Программное обеспечение также нормирует априорные вероятности, таким образом, они суммируют к 1. Поэтому

$\sum_{j = 1}^{n} w_{j} = 1.$

Учитывая этот сценарий, следующая таблица описывает поддерживаемые функции потерь, которые можно задать при помощи 'LossFun' аргумент пары "имя-значение".

Функция потерь	Значение `LossFun`	Уравнение
Биномиальное отклонение	`'binodeviance'`	$L = \sum_{j = 1}^{n} w_{j} \log {1 + \exp [- 2 m_{j}]} .$
Неправильно классифицированный уровень в десятичном числе	`'classiferror'`	$L = \sum_{j = 1}^{n} w_{j} I {{\hat{y}}_{j} \neq y_{j}} .$ ${\hat{y}}_{j}$ метка класса, соответствующая классу с максимальным счетом. I {·} является функцией индикатора.
Потеря перекрестной энтропии	`'crossentropy'`	`'crossentropy'` подходит только для моделей нейронной сети. Взвешенная потеря перекрестной энтропии $L = - \sum_{j = 1}^{n} \frac{{\tilde{w}}_{j} \log (m_{j})}{K n},$ где веса ${\tilde{w}}_{j}$ нормированы, чтобы суммировать к n вместо 1.
Экспоненциальная потеря	`'exponential'`	$L = \sum_{j = 1}^{n} w_{j} \exp (- m_{j}) .$
Потеря стержня	`'hinge'`	$L = \sum_{j = 1}^{n} w_{j} \max {0, 1 - m_{j}} .$
Потеря логита	`'logit'`	$L = \sum_{j = 1}^{n} w_{j} \log (1 + \exp (- m_{j})) .$
Минимальный ожидал стоимость misclassification	`'mincost'`	`'mincost'` является соответствующим, только если классификационные оценки являются апостериорными вероятностями. Программное обеспечение вычисляет взвешенную минимальную ожидаемую стоимость классификации с помощью этой процедуры для наблюдений j = 1..., n. Оцените ожидаемую misclassification стоимость классификации наблюдения _Xj в класс k: $γ_{j k} = {(f {(X_{j})}^{'} C)}_{k} .$ f (_Xj) является вектор-столбцом апостериорных вероятностей класса для двоичного файла и классификации мультиклассов для наблюдения _Xj. C является матрицей стоимости, сохраненной в `Cost` свойство модели. Для наблюдения j предскажите, что метка класса, соответствующая минимальному, ожидала стоимость misclassification: ${\hat{y}}_{j} = \underset{k = 1, ..., K}{argmin} γ_{j k} .$ Используя C, идентифицируйте, что стоимость подверглась (_cj) для того, чтобы сделать предсказание. Взвешенное среднее минимального ожидало, что потеря стоимости misclassification $L = \sum_{j = 1}^{n} w_{j} c_{j} .$ Если вы используете матрицу стоимости по умолчанию (чье значение элемента 0 для правильной классификации и 1 для неправильной классификации), то `'mincost'` потеря эквивалентна `'classiferror'` потеря.
Квадратичная потеря	`'quadratic'`	$L = \sum_{j = 1}^{n} w_{j} {(1 - m_{j})}^{2} .$

Этот рисунок сравнивает функции потерь (кроме 'crossentropy' и 'mincost') по счету m для одного наблюдения. Некоторые функции нормированы, чтобы пройти через точку (0,1).

Алгоритмы

свернуть все

Веса наблюдения

Для каждого условного распределения предиктора, loss вычисляет средневзвешенное и стандартное отклонение.

Если предшествующее вероятностное распределение класса известно (другими словами, предшествующее распределение не является эмпирическим), loss нормирует веса наблюдения, чтобы суммировать к предшествующим вероятностям класса в соответствующих классах. Это действие подразумевает, что веса наблюдения по умолчанию являются соответствующими предшествующими вероятностями класса.

Если предшествующее вероятностное распределение класса является эмпирическим, программное обеспечение нормирует заданные веса наблюдения, чтобы суммировать к 1 каждому разу, когда вы вызываете loss.

Документация

loss

Синтаксис

Описание

Примеры

Измерьте производительность модели во время пошагового обучения

Вычислите пользовательскую потерю на входящих фрагментах данных

Входные параметры

`Mdl` — Наивная Байесова модель классификации для пошагового обучения
`incrementalClassificationNaiveBayes` объект модели

`X` — Пакет данных о предикторе
матрица с плавающей точкой

`Y` — Пакет меток
категориальный массив | символьный массив | массив строк | логический вектор | вектор с плавающей точкой | массив ячеек из символьных векторов

Аргументы в виде пар имя-значение

`'LossFun'` — Функция потерь
`'mincost'` (значение по умолчанию) | представляет вектор в виде строки | указатель на функцию | вектор ячейки | массив структур |...

`'Weights'` — Фрагмент весов наблюдения
вектор с плавающей точкой из положительных значений

Выходные аргументы

`L` — Потеря классификации
числовой скаляр

Больше о

Потеря классификации

Алгоритмы

Веса наблюдения

Смотрите также

Объекты

Функции

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

Документация

loss

Синтаксис

Описание

Примеры

Измерьте производительность модели во время пошагового обучения

Вычислите пользовательскую потерю на входящих фрагментах данных

Входные параметры

Mdl — Наивная Байесова модель классификации для пошагового обучения incrementalClassificationNaiveBayes объект модели

X — Пакет данных о предикторе матрица с плавающей точкой

Y — Пакет меток категориальный массив | символьный массив | массив строк | логический вектор | вектор с плавающей точкой | массив ячеек из символьных векторов

Аргументы в виде пар имя-значение

'LossFun' — Функция потерь 'mincost' (значение по умолчанию) | представляет вектор в виде строки | указатель на функцию | вектор ячейки | массив структур |...

'Weights' — Фрагмент весов наблюдения вектор с плавающей точкой из положительных значений

Выходные аргументы

L — Потеря классификации числовой скаляр

Больше о

Потеря классификации

Алгоритмы

Веса наблюдения

Смотрите также

Объекты

Функции

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

`Mdl` — Наивная Байесова модель классификации для пошагового обучения
`incrementalClassificationNaiveBayes` объект модели

`X` — Пакет данных о предикторе
матрица с плавающей точкой

`Y` — Пакет меток
категориальный массив | символьный массив | массив строк | логический вектор | вектор с плавающей точкой | массив ячеек из символьных векторов

`'LossFun'` — Функция потерь
`'mincost'` (значение по умолчанию) | представляет вектор в виде строки | указатель на функцию | вектор ячейки | массив структур |...

`'Weights'` — Фрагмент весов наблюдения
вектор с плавающей точкой из положительных значений

`L` — Потеря классификации
числовой скаляр