Построение моделей и оценка

Выбор признаков, разработка функции, выбор модели, гипероптимизация параметров управления, перекрестная проверка, прогнозирующая оценка результатов деятельности и тесты сравнения точности классификации

При создавании высококачественной, прогнозирующей модели классификации важно выбрать правильные функции (или предикторы) и гиперпараметры мелодии (параметры модели, которые не оцениваются).

Выбор признаков и настройка гиперпараметра могут дать к многоуровневым моделям. Можно выдержать сравнение, k - сворачивают misclassification уровни, кривые рабочей характеристики приемника (ROC) или матрицы беспорядка среди моделей. Или, проведите статистический тест, чтобы обнаружить, превосходит ли модель классификации значительно другого по характеристикам.

К новым возможностям инженера перед обучением модель классификации использовать gencfeatures.

Чтобы создать и оценить модели классификации в интерактивном режиме, используйте  приложение Classification Learner.

Чтобы автоматически выбрать модель настроенными гиперпараметрами, использовать fitcauto. Эта функция пробует выбор типов модели классификации с различными гиперзначениями параметров и возвращает итоговую модель, которая, как ожидают, выполнит хорошо на новых данных. Использование fitcauto когда вы не уверены, который вводит классификатор, лучше всего удовлетворяют вашим данным.

Чтобы настроить гиперпараметры определенной модели, выберите гиперзначения параметров и перекрестный подтвердите модель с помощью тех значений. Например, чтобы настроить модель SVM, выберите набор ограничений поля и шкал ядра, и затем перекрестный подтвердите модель для каждой пары значений. Определенные функции классификации Statistics and Machine Learning Toolbox™ предлагают автоматический гиперпараметр, настраивающийся посредством Байесовой оптимизации, поиска сетки или случайного поиска. Однако основная функция раньше реализовывала Байесовую оптимизацию, bayesopt, достаточно гибко для использования в других приложениях. Смотрите Байесов Рабочий процесс Оптимизации.

Чтобы интерпретировать модель классификации, можно использовать lime, shapley, и plotPartialDependence.

Приложения

Classification LearnerОбучите модели классифицировать данные с помощью машинного обучения с учителем

Функции

развернуть все

fscchi2Одномерная функция, занимающая место для классификации с помощью тестов хи-квадрата
fscmrmrОтранжируйте признаки для классификации с помощью алгоритма минимальной уместности максимума сокращения (MRMR)
fscncaВыбор признаков с помощью анализа компонента окружения для классификации
oobPermutedPredictorImportanceВажность предиктора оценивает сочетанием наблюдений предиктора из сумки для случайного леса деревьев классификации
predictorImportanceОценки важности предиктора для дерева классификации
predictorImportanceОценки важности предиктора для ансамбля классификации деревьев решений
sequentialfsПоследовательный выбор признаков с помощью пользовательского критерия
relieffОцените важность использования предикторов алгоритм RReliefF или ReliefF
gencfeaturesВыполните автоматизированную разработку функции для классификации
describeОпишите генерированные признаки
transformПреобразуйте новые данные, использующие генерированные признаки
fitcautoАвтоматически выберите модель классификации оптимизированными гиперпараметрами
bayesoptВыберите оптимальные гиперпараметры машинного обучения с помощью Байесовой оптимизации
hyperparametersОписания переменной для оптимизации подходящей функции
optimizableVariableОписание переменной для bayesopt или другие оптимизаторы
crossvalОцените потерю с помощью перекрестной проверки
cvpartitionДанные о разделе для перекрестной проверки
repartitionДанные о повторном разделении для перекрестной проверки
testПротестируйте индексы на перекрестную проверку
trainingУчебные индексы для перекрестной проверки

Локальные поддающиеся толкованию объяснения модели агностические (LIME)

limeЛокальные поддающиеся толкованию объяснения модели агностические (LIME)
fitПодбирайте простую модель локальных поддающихся толкованию объяснений модели агностических (LIME)
plotПостройте результаты локальных поддающихся толкованию объяснений модели агностических (LIME)

Шепли оценивает

shapleyШепли оценивает
fitВычислите значения Шепли для точки запроса
plotПостройте значения Шепли

Частичная зависимость

partialDependenceВычислите частичную зависимость
plotPartialDependenceСоздайте графики отдельного условного ожидания (ICE) и частичный график зависимости (PDP)
confusionchartСоздайте матричный график беспорядка для проблемы классификации
confusionmatВычислите матрицу беспорядка для проблемы классификации
perfcurveКривая рабочей характеристики приемника (ROC) или другая кривая производительности для классификатора выводятся
testcholdoutСравните прогнозирующую точность двух моделей классификации
testckfoldСравните точность двух моделей классификации повторной перекрестной проверкой

Объекты

развернуть все

FeatureSelectionNCAClassificationВыбор признаков для классификации с помощью анализа компонента окружения (NCA)
FeatureTransformerСгенерированные преобразования функции
BayesianOptimizationБайесовы результаты оптимизации

Темы

Приложение Classification Learner

Обучите модели классификации в приложении Classification Learner

Рабочий процесс для обучения, выдерживая сравнение и улучшая модели классификации, включая автоматизированное, ручное, и параллельное обучение.

Оцените эффективность классификатора в Classification Learner

Сравните баллы точности модели, визуализируйте результаты путем графического вывода предсказаний класса и проверяйте эффективность в классе в Матрице Беспорядка.

Выбор признаков и преобразование функции Используя приложение Classification Learner

Идентифицируйте полезные предикторы с помощью графиков, вручную избранные функции, чтобы включать, и преобразовать функции с помощью PCA в Classification Learner.

Выбор признаков

Введение в выбор признаков

Узнайте об алгоритмах выбора признаков и исследуйте функции, доступные для выбора признаков.

Последовательный выбор признаков

Эта тема вводит последовательному выбору признаков и обеспечивает пример, который выбирает функции последовательно с помощью пользовательского критерия и sequentialfs функция.

Выбор признаков Анализа компонента окружения (NCA)

Анализ компонента окружения (NCA) является непараметрическим методом для выбора функций с целью максимизации точности предсказания алгоритмов регрессии и классификации.

Настройте параметр регуляризации, чтобы обнаружить функции Используя NCA для классификации

В этом примере показано, как настроить параметр регуляризации в fscnca использование перекрестной проверки.

Упорядочите классификатор дискриминантного анализа

Сделайте более устойчивую и более простую модель путем удаления предикторов, не ставя под угрозу предсказательную силу модели.

Выбор функций классификации высоко-размерных данных

В этом примере показано, как выбрать функции классификации высоко-размерных данных.

Разработка функции

Автоматизированная разработка функции для классификации

Использование gencfeatures к новым возможностям инженера перед обучением модель классификации. Прежде, чем сделать предсказания на новых данных, примените те же преобразования функции к новому набору данных.

Автоматизированный выбор модели

Автоматизированный выбор классификатора с байесовой оптимизацией

Использование fitcauto автоматически попробовать выбор типов модели классификации с различными гиперзначениями параметров, учитывая учебный предиктор и данные об ответе.

Гипероптимизация параметров управления

Байесов рабочий процесс оптимизации

Выполните Байесовую оптимизацию с помощью подходящей функции или путем вызова bayesopt непосредственно.

Переменные для байесовой оптимизации

Создайте переменные для Байесовой оптимизации.

Байесовы целевые функции оптимизации

Создайте целевую функцию для Байесовой оптимизации.

Ограничения в байесовой оптимизации

Установите различные типы ограничений для Байесовой оптимизации.

Оптимизируйте перекрестный Подтвержденный Классификатор SVM Используя bayesopt

Минимизируйте потерю перекрестной проверки с помощью Байесовой Оптимизации.

Оптимизируйте подгонку классификатора SVM Используя байесовую оптимизацию

Минимизируйте потерю перекрестной проверки с помощью OptimizeParameters пара "имя-значение" в подходящей функции.

Байесовы функции построения графика оптимизации

Визуально контролируйте Байесовую оптимизацию.

Байесовы выходные функции оптимизации

Контролируйте Байесовую оптимизацию.

Байесов алгоритм оптимизации

Изучите базовые алгоритмы для Байесовой оптимизации.

Найдите что-либо подобное байесовой оптимизации

Как Байесова оптимизация работает параллельно.

Интерпретация модели

Интерпретируйте модели машинного обучения

Объясните предсказания модели с помощью lime, shapley, и plotPartialDependence.

Шепли оценивает за модель машинного обучения

Вычислите значения Шепли для машинного обучения, моделируют использование двух алгоритмов: kernelSHAP и расширение kernelSHAP.

Перекрестная проверка

Реализуйте перекрестную проверку Используя параллельные вычисления

Ускорьте перекрестную проверку с помощью параллельных вычислений.

Оценка результатов деятельности классификации

Кривые производительности

Исследуйте эффективность алгоритма классификации на определенном наборе тестовых данных с помощью кривой рабочей характеристики приемника.