Построение моделей и оценка

Выбор признаков, инженерия функций, выбор модели, оптимизация гипероптимизации параметров управления, перекрестная валидация, прогнозирующая оценка эффективности и сравнительные тесты классификационной точности

При построении высококачественной, прогнозирующей классификационной модели важно выбрать правильные функции (или предикторы) и настроить гиперпараметры (параметры модели, которые не оцениваются).

Выбор признаков и настройка гиперпараметра могут привести к нескольким моделям. Можно сравнить k-кратные скорости неправильной классификации, кривые рабочей характеристики приемника (ROC) или матрицы неточностей среди моделей. Или проведите статистический тест, чтобы обнаружить, значительно ли классификационная модель превосходит другую.

Чтобы спроектировать новые возможности перед обучением модели классификации, используйте gencfeatures.

Чтобы создавать и оценивать классификационные модели в интерактивном режиме, используйте  приложение Classification Learner.

Чтобы автоматически выбрать модель с настроенными гиперпараметрами, используйте fitcauto. Эта функция пытается выбрать типы классификационных моделей с различными значениями гиперзначений параметров и возвращает окончательную модель, которая, как ожидается, будет хорошо работать с новыми данными. Использовать fitcauto когда вы не уверены, какие типы классификаторов лучше всего соответствуют вашим данным.

Чтобы настроить гиперпараметры конкретной модели, выберите значения гиперзначений параметров и перекрестно проверьте модель, используя эти значения. Например, чтобы настроить модель SVM, выберите набор прямоугольных ограничений и шкал ядра, а затем перекрестно проверьте модель для каждой пары значений. Некоторые функции классификации Statistics and Machine Learning Toolbox™ предлагают автоматическую настройку гиперпараметра через байесовскую оптимизацию, поиск по сетке или случайный поиск. Однако основная функция, используемая для реализации байесовской оптимизации, bayesopt, достаточно гибкий для использования в других приложениях. См. Рабочий процесс Байесовской оптимизации.

Для интерпретации классификационной модели можно использовать lime, shapley, и plotPartialDependence.

Приложения

Classification LearnerОбучите модели классифицировать данные с помощью машинного обучения с учителем

Функции

расширить все

fscchi2Рейтинг одномерных функций для классификации с использованием тестов хи-квадрат
fscmrmrОцените функции для классификации, используя алгоритм максимальной релевантности минимальной избыточности (MRMR)
fscncaВыбор признаков с помощью анализа соседних компонентов для классификации
oobPermutedPredictorImportanceОценки важности предиктора путем сочетания наблюдений предиктора вне мешка для случайного леса деревьев классификации
predictorImportanceОценки предикторной важности для дерева классификации
predictorImportanceОценки предикторной важности для классификационного ансамбля деревьев решений
sequentialfsПоследовательный выбор признаков с использованием пользовательского критерия
relieffОцените важность предикторов, использующих алгоритм ReliefF или RReliefF
gencfeaturesВыполните автоматизированное проектирование функций для классификации
describeОпишите сгенерированные функции
transformПреобразуйте новые данные, используя сгенерированные функции
fitcautoАвтоматический выбор классификационной модели с оптимизированными гиперпараметрами
bayesoptВыберите оптимальные гиперпараметры машинного обучения с помощью байесовской оптимизации
hyperparametersОписание переменных для оптимизации функции аппроксимации
optimizableVariableОписание переменной для bayesopt или другие оптимизаторы
crossvalОцените потери с помощью перекрестной проверки
cvpartitionДанные секционирования для перекрестной проверки
repartitionДанные о перераспределении для перекрестной проверки
testТестовые индексы для перекрестной проверки
trainingИндексы обучения для перекрестной проверки

Интерпретируемая модель-агностические объяснения (LIME)

limeЛокальные интерпретируемые модели-агностические объяснения (LIME)
fitПодгонка простой модели локальных интерпретируемых объяснений модели-агностики (LIME)
plotПостроение графиков результатов локальных интерпретируемых объяснений модели-агностики (LIME)

Значения Шепли

shapleyЗначения Shapley
fitВычислите значения Shapley для точки запроса
plotГрафическое изображение значений Шепли

Частичная зависимость

partialDependenceВычисление частичной зависимости
plotPartialDependenceСоздайте график частичной зависимости (PDP) и отдельные графики условного ожидания (ICE)
confusionchartСоздайте матричный график неточностей для задачи классификации
confusionmatВычислите матрицу неточностей для задачи классификации
perfcurveКривая рабочей характеристики приемника (ROC) или другая кривая эффективности для вывода классификатора
testcholdoutСравните прогнозирующие точности двух классификационных моделей
testckfoldСравните точности двух классификационных моделей путем повторной перекрестной валидации

Объекты

расширить все

FeatureSelectionNCAClassificationВыбор признаков для классификации с помощью анализа компонентов окрестностей (NCA)
FeatureTransformerСгенерированные преобразования функций
BayesianOptimizationБайесовские результаты оптимизации

Темы

Приложение Classification Learner

Обучите классификационные модели в приложении Classification Learner

Рабочий процесс для обучения, сравнения и улучшения классификационных моделей, включая автоматизированное, ручное и параллельное обучение.

Оценка эффективности классификатора в Classification Learner

Сравните счета точности модели, визуализируйте результаты путем построения предсказаний классов и проверяйте эффективность по классам в Матрице Неточностей.

Выбор признаков и преобразование функций с помощью приложения Classification Learner

Идентифицируйте полезные предикторы с помощью графиков, вручную выбирайте функции для включения и преобразуйте функции с помощью PCA в Classification Learner.

Выбор признаков

Введение в выбор признаков

Узнайте об алгоритмах выбора признаков и исследуйте функции, доступные для выбора объектов.

Последовательный выбор признаков

В этом разделе описывается последовательный выбор признаков и приводится пример, который выбирает функции последовательно с помощью пользовательского критерия и sequentialfs функция.

Анализ компонентов по соседству (NCA) Выбора признаков

Анализ компонента окрестности (NCA) является непараметрическим методом для выбора функций с целью максимизации точности предсказания алгоритмов регрессии и классификации.

Настройте параметр регуляризации, чтобы обнаружить функции, используя NCA для классификации

В этом примере показано, как настроить параметр регуляризации в fscnca использование перекрестной валидации.

Упорядочение классификатора дискриминантного анализа

Создайте более устойчивую и более простую модель путем удаления предикторов, не ставя под угрозу прогнозирующую степень модели.

Выбор функций для классификации высоко-размерных данных

В этом примере показано, как выбрать функции для классификации высоко-размерных данных.

Проектирование функций

Автоматизированное проектирование функций для классификации

Использовать gencfeatures чтобы спроектировать новые возможности перед обучением классификационной модели. Прежде чем делать предсказания на новые данные, примените те те же преобразования функций к новому набору данных.

Автоматический выбор модели

Автоматический выбор классификатора с байесовской оптимизацией

Использовать fitcauto чтобы автоматически попробовать выбор типов классификационной модели с различными значениями гиперзначений параметров, учитывая обучающие данные предиктора и отклика.

Гипероптимизация параметров управления

Рабочий процесс Байесовской оптимизации

Выполните байесовскую оптимизацию с помощью функции аппроксимации или путем вызова bayesopt непосредственно.

Переменные для байесовской оптимизации

Создайте переменные для байесовской оптимизации.

Байесовские целевые функции оптимизации

Создайте целевую функцию для байесовской оптимизации.

Ограничения в байесовской оптимизации

Установите различные типы ограничений для байесовской оптимизации.

Оптимизируйте перекрестно проверенный классификатор SVM с помощью bayesopt

Минимизируйте потери перекрестной валидации с помощью Bayesian Optimization.

Оптимизируйте классификатор SVM Подгонки используя байесовскую оптимизацию

Минимизируйте потери перекрестной валидации с помощью OptimizeParameters Пара "имя-значение" в функции аппроксимации.

Байесовские Функции построения графика оптимизации

Визуально контролируйте байесовскую оптимизацию.

Байесовские выходные функции оптимизации

Отслеживайте байесовскую оптимизацию.

Байесовский алгоритм оптимизации

Осмыслите базовые алгоритмы байесовской оптимизации.

Параллельная байесовская оптимизация

Как байесовская оптимизация работает параллельно.

Интерпретация модели

Интерпретируйте модели машинного обучения

Объясните предсказания модели с помощью lime, shapley, и plotPartialDependence.

Значения Shapley для модели машинного обучения

Вычислите значения Шепли для модели машинного обучения с помощью двух алгоритмов: kernelSHAP и расширения до kernelSHAP.

Перекрестная валидация

Реализуйте перекрестную валидацию с помощью параллельных вычислений

Ускорите перекрестную валидацию с помощью параллельных вычислений.

Оценка эффективности классификации

Кривая эффективность

Исследуйте эффективность алгоритма классификации на определенном наборе тестовых данных с помощью приемника кривой рабочей характеристики.