exponenta event banner

Типовое построение и оценка

Выбор элементов, проектирование элементов, выбор модели, оптимизация гиперпараметров, перекрестная проверка, прогнозная оценка производительности и тесты сравнения точности классификации

При построении качественной, прогностической модели классификации важно выбрать правильные элементы (или предикторы) и настроить гиперпараметры (параметры модели, которые не оцениваются).

Выбор функций и настройка гиперпараметров могут дать несколько моделей. Можно сравнить k-кратные коэффициенты неправильной классификации, кривые рабочих характеристик приемника (ROC) или матрицы путаницы между моделями. Или проведите статистический тест, чтобы определить, значительно ли модель классификации превосходит другую.

Для проектирования новых элементов перед обучением модели классификации используйте gencfeatures.

Для создания и оценки моделей классификации в интерактивном режиме используйте  приложение Classification Learner.

Чтобы автоматически выбрать модель с настроенными гиперпараметрами, используйте fitcauto. Эта функция пытается выбрать типы классификационных моделей с различными значениями гиперпараметров и возвращает окончательную модель, которая, как ожидается, будет хорошо работать с новыми данными. Использовать fitcauto когда вы не уверены, какие типы классификаторов лучше всего подходят для ваших данных.

Чтобы настроить гиперпараметры определенной модели, выберите значения гиперпараметров и выполните перекрестную проверку модели с использованием этих значений. Например, чтобы настроить модель SVM, выберите набор ограничений поля и масштабов ядра, а затем выполните перекрестную проверку модели для каждой пары значений. Некоторые функции классификации Toolbox™ статистики и машинного обучения обеспечивают автоматическую настройку гиперпараметров посредством байесовской оптимизации, поиска по сетке или случайного поиска. Однако основная функция, используемая для реализации байесовской оптимизации, bayesopt, является достаточно гибким для использования в других приложениях. См. раздел Рабочий процесс байесовской оптимизации.

Для интерпретации классификационной модели можно использовать lime, shapley, и plotPartialDependence.

Приложения

КлассификаторОбучение моделей классификации данных с помощью контролируемого машинного обучения

Функции

развернуть все

fscchi2Одномерное ранжирование элементов для классификации с использованием тестов хи-квадрат
fscmrmrРанговые характеристики для классификации с использованием алгоритма минимальной максимальной релевантности избыточности (MRMR)
fscncaВыбор элемента с использованием анализа компонентов окрестности для классификации
oobPermutedPredictorImportanceОценки важности предиктора путем перестановки наблюдений предиктора вне мешка для случайного леса деревьев классификации
predictorImportanceОценки важности предиктора для дерева классификации
predictorImportanceОценки важности предиктора для классификационного ансамбля деревьев решений
sequentialfsПоследовательный выбор элемента с использованием пользовательского критерия
relieffРанговая важность предикторов с использованием алгоритма ReliefF или RReloringF
gencfeaturesВыполнение автоматизированного проектирования элементов для классификации
describeОписание созданных функций
transformПреобразование новых данных с помощью созданных функций
fitcautoАвтоматический выбор классификационной модели с оптимизированными гиперпараметрами
bayesoptВыберите оптимальные гиперпараметры машинного обучения с помощью байесовской оптимизации
hyperparametersОписания переменных для оптимизации функции аппроксимации
optimizableVariableОписание переменной для bayesopt или другие оптимизаторы
crossvalОценка потерь с помощью перекрестной проверки
cvpartitionДанные секционирования для перекрестной проверки
repartitionДанные перераспределения для перекрестной проверки
testКонтрольные показатели для перекрестной проверки
trainingУчебные индексы для перекрестной проверки

Локальная интерпретируемая модель - агностические объяснения (LIME)

limeЛокальные интерпретируемые модели-агностические объяснения (LIME)
fitПодгонка простой модели локальных интерпретируемых моделей-агностических объяснений (LIME)
plotРезультаты графика локальных интерпретируемых модельно-агностических объяснений (LIME)

Значения Шапли

shapleyЗначения Шапли
fitВычислить значения Shapley для точки запроса
plotГрафик значений Шейпли

Частичная зависимость

partialDependenceВычислить частичную зависимость
plotPartialDependenceСоздание графиков частичной зависимости (PDP) и индивидуального условного ожидания (ICE)
confusionchartСоздание матричной диаграммы путаницы для проблемы классификации
confusionmatВычислить матрицу путаницы для задачи классификации
perfcurveКривая рабочих характеристик приемника (ROC) или другая кривая рабочих характеристик для выхода классификатора
testcholdoutСравнение предиктивной точности двух классификационных моделей
testckfoldСравнение точности двух классификационных моделей с помощью повторной перекрестной проверки

Объекты

развернуть все

FeatureSelectionNCAClassificationВыбор элемента для классификации с использованием анализа компонентов окрестности (NCA)
FeatureTransformerСозданные преобразования элементов
BayesianOptimizationРезультаты байесовской оптимизации

Темы

Приложение Classification Learner

Обучение классификационным моделям в приложении Classifier Learner

Рабочий процесс для обучения, сравнения и совершенствования моделей классификации, включая автоматизированное, ручное и параллельное обучение.

Оценка производительности классификатора в классификаторе

Сравните показатели точности модели, визуализируйте результаты путем построения прогнозов классов и проверьте производительность каждого класса в матрице путаницы.

Выбор и преобразование функций с помощью приложения Classification Learner

Определите полезные предикторы с помощью графиков, вручную выберите элементы для включения и преобразуйте элементы с помощью PCA в Classification Learner.

Выбор элемента

Введение в выбор элементов

Узнайте о алгоритмах выбора элементов и изучите функции, доступные для выбора элементов.

Выбор последовательного элемента

В этом разделе описывается последовательный выбор элементов и приводится пример последовательного выбора элементов с использованием пользовательского критерия и sequentialfs функция.

Выбор элементов для анализа компонентов соседства (NCA)

Анализ компонентов окрестности (NCA) - непараметрический метод выбора признаков с целью максимизации точности прогнозирования алгоритмов регрессии и классификации.

Настройка параметра регуляризации для обнаружения функций с помощью NCA для классификации

В этом примере показано, как настроить параметр регуляризации в fscnca с использованием перекрестной проверки.

Упорядочить классификатор дискриминантного анализа

Сделайте модель более надежной и простой, удалив предикторы без ущерба для прогнозирующей силы модели.

Выбор элементов для классификации высокоразмерных данных

В этом примере показано, как выбрать элементы для классификации объемных данных.

Проектирование функций

Автоматизированное проектирование элементов для классификации

Использовать gencfeatures для проектирования новых элементов перед обучением классификационной модели. Прежде чем делать прогнозы для новых данных, примените те же преобразования элементов к новому набору данных.

Автоматический выбор модели

Автоматизированный выбор классификаторов с байесовской оптимизацией

Использовать fitcauto автоматически попробовать выбрать типы классификационных моделей с различными значениями гиперпараметров, учитывая обучающий предиктор и данные ответа.

Оптимизация гиперпараметров

Рабочий процесс байесовской оптимизации

Выполните байесовскую оптимизацию с помощью функции аппроксимации или путем вызова bayesopt непосредственно.

Переменные для байесовской оптимизации

Создайте переменные для байесовской оптимизации.

Байесовские целевые функции оптимизации

Создайте целевую функцию для байесовской оптимизации.

Ограничения байесовской оптимизации

Задайте различные типы ограничений для байесовской оптимизации.

Оптимизация кросс-проверенного классификатора SVM с помощью байесопта

Минимизация потерь при перекрестной проверке с помощью байесовской оптимизации.

Оптимизация посадки классификатора SVM с использованием байесовской оптимизации

Минимизация потерь при перекрестной проверке с помощью OptimizeParameters пара имя-значение в функции фитинга.

Функции графика байесовской оптимизации

Визуальный мониторинг байесовской оптимизации.

Байесовские функции вывода оптимизации

Мониторинг байесовской оптимизации.

Байесовский алгоритм оптимизации

Ознакомьтесь с основными алгоритмами байесовской оптимизации.

Параллельная байесовская оптимизация

Как байесовская оптимизация работает параллельно.

Интерпретация модели

Интерпретировать модели машинного обучения

Объяснение прогнозов модели с помощью lime, shapley, и plotPartialDependence.

Ценности Shapley для модели машинного обучения

Вычислите значения Shapley для модели машинного обучения с помощью двух алгоритмов: kernelSHAP и расширения к kernelSHAP.

Перекрестная проверка

Внедрение перекрестной проверки с использованием параллельных вычислений

Ускорение перекрестной проверки с помощью параллельных вычислений.

Оценка эффективности классификации

Кривые производительности

Анализ эффективности алгоритма классификации для определенного набора тестовых данных с использованием кривой рабочих характеристик приемника.