Документация

Выбор типа классификатора

Можно использовать Classification Learner для автоматического обучения выбора различных классификационных моделей в данных. Используйте автоматизированное обучение, чтобы быстро попробовать выбрать типы моделей, а затем изучить перспективные модели в интерактивном режиме. Для начала выполните следующие действия:

См. раздел Обучение автоматическому классификатору.

Если нужно исследовать классификаторы по одному или вы уже знаете, какой тип классификатора вы хотите, можно выбрать отдельные модели или обучить группу одного типа. Для просмотра всех доступных параметров классификатора на вкладке «Классификатор» щелкните стрелку в разделе «Тип модели», чтобы развернуть список классификаторов. Неоптимизируемые опции модели в галерее Тип модели (Model Type) являются предварительно заданными начальными точками с различными настройками, подходящими для различных проблем классификации. Сведения об использовании параметров оптимизируемой модели и автоматической настройке гиперпараметров модели см. в разделе Оптимизация гиперпараметров в приложении Classification Learner App.

Для получения справки по выбору наилучшего типа классификатора для вашей проблемы см. таблицу, показывающую типичные характеристики различных алгоритмов обучения под наблюдением. Используйте таблицу в качестве руководства для окончательного выбора алгоритмов. Выберите необходимый компромисс в скорости, использовании памяти, гибкости и интерпретируемости. Наилучший тип классификатора зависит от ваших данных.

Характеристики типов классификаторов

Классификатор	Скорость прогнозирования	Использование памяти	Интерпретируемость
Деревья принятия решений	Быстро	Маленький	Легкий
Дискриминантный анализ	Быстро	Малый для линейных, большой для квадратичных	Легкий
Логистическая регрессия	Быстро	Среда	Легкий
Наивные байесовские классификаторы	Средний для простых дистрибутивов Медленный для распределений ядра или высокоразмерных данных	Малый для простых дистрибутивов Носитель для распределения ядра или высокоразмерных данных	Легкий
Поддержка векторных машин	Среда для линейного Медленный для других	Среда для линейных. Все остальные: средний для мультикласса, большой для бинарного.	Простота для линейного SVM. Трудно для всех других типов ядра.
Классификаторы ближайших соседей	Медленный для кубических Средний для других	Среда	Трудно
Классификаторы ансамблей	Быстрый и средний в зависимости от выбора алгоритма	От низкого до высокого в зависимости от выбора алгоритма	Трудно
Классификаторы нейронных сетей	Быстро	Среда	Трудно

Таблицы на этой странице описывают общие характеристики скорости и использования памяти для всех неоптимизируемых предварительно установленных классификаторов. Классификаторы были протестированы с различными наборами данных (до 7000 наблюдений, 80 предикторов и 50 классов), и результаты определяют следующие группы:

Скорость

Память

Эти таблицы содержат общее руководство. Результаты зависят от данных и скорости машины.

Чтобы прочитать описание каждого классификатора в Classification Learner, перейдите к ракурсу подробных данных.

Инструкции по работе см. в разделе Модели классификации поездов в приложении Classification Learner App.

Деревья принятия решений

Деревья принятия решений легко интерпретировать, быстро подгонять и прогнозировать и недостаточно использовать память, но они могут иметь низкую точность прогнозирования. Старайтесь выращивать более простые деревья, чтобы предотвратить переоборудование. Управление глубиной осуществляется с помощью параметра Максимальное количество разбиений (Maximum number of splits).

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Гибкость модели
Грубое дерево	Быстро	Маленький	Легкий	Низко Мало листьев для проведения грубых различий между классами (максимальное количество расщеплений - 4).
Среднее дерево	Быстро	Маленький	Легкий	Среда Среднее количество листьев для более тонких различий между классами (максимальное количество делений - 20).
Тонкое дерево	Быстро	Маленький	Легкий	Высоко Многие оставляют много тонких различий между классами (максимальное количество расщеплений - 100).

Вы обучаете деревья классификации предсказывать ответы на данные. Чтобы предсказать ответ, следуйте решениям в дереве от корневого (начального) узла до конечного узла. Конечный узел содержит ответ. Деревья Toolbox™ статистики и машинного обучения являются двоичными. Каждый шаг в прогнозе включает в себя проверку значения одного предсказателя (переменной). Например, вот простое дерево классификации:

Это дерево предсказывает классификации на основе двух предикторов, x1 и x2. Чтобы предсказать, начните с верхнего узла. При каждом решении проверьте значения предикторов, чтобы решить, за какой ветвью следует. Когда ветви достигают конечного узла, данные классифицируются как тип 0 или 1.

Модель дерева решений можно визуализировать, экспортировав модель из приложения и введя следующие данные:

view(trainedModel.ClassificationTree,'Mode','graph') 

Дискриминантный анализ

Дискриминантный анализ является популярным первым алгоритмом классификации, который нужно попробовать, потому что он быстрый, точный и простой в интерпретации. Дискриминантный анализ хорош для широких наборов данных.

Дискриминантный анализ предполагает, что различные классы генерируют данные на основе различных гауссовых распределений. Для обучения классификатора аппроксимирующая функция оценивает параметры гауссова распределения для каждого класса.

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Гибкость модели
Линейный дискриминант	Быстро	Маленький	Легкий	Низко Создание линейных границ между классами.
Квадратичный дискриминант	Быстро	Большой	Легкий	Низко Создает нелинейные границы между классами (эллипс, парабола или гипербола).

Логистическая регрессия

Если у вас есть 2 класса, логистическая регрессия является популярным простым алгоритмом классификации, чтобы попытаться, потому что это легко интерпретировать. Классификатор моделирует вероятности классов как функцию линейной комбинации предикторов.

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Гибкость модели
Логистическая регрессия	Быстро	Среда	Легкий	Низко Изменение параметров для управления гибкостью модели невозможно.

Логистическая регрессия в Classification Learner использует fitglm функция. В приложении нельзя задать параметры этого классификатора.

Наивные байесовские классификаторы

Наивные байесовские классификаторы легко интерпретировать и полезны для мультиклассовой классификации. Наивный алгоритм Байеса использует теорему Байеса и делает предположение, что предикторы условно независимы, учитывая класс. Используйте эти классификаторы, если это предположение о независимости справедливо для предикторов в данных. Однако алгоритм все еще работает хорошо, когда предположение о независимости недействительно.

Для наивных классификаторов Bayes ядра можно управлять более плавным типом ядра с помощью параметра Kernel Type и управлять поддержкой плотности сглаживания ядра с помощью параметра Support.

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Гибкость модели
Гауссов Наивный Байес	Среда Медленный для высокоразмерных данных	Маленький Носитель для высокоразмерных данных	Легкий	Низко Изменение параметров для управления гибкостью модели невозможно.
Кернел наивный Байес	Медленный	Среда	Легкий	Среда Можно изменить настройки типа ядра и поддержки, чтобы управлять тем, как классификатор моделирует распределения предикторов.

Наивный Байес в классификации ученик использует fitcnb функция.

Поддержка векторных машин

В Classification Learner можно обучать SVM, если данные имеют два или более класса.

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Гибкость модели
Линейный SVM	Двоичный: Быстрый Мультикласс: Средний	Среда	Легкий	Низко Выполняет простое линейное разделение между классами.
Квадратичный SVM	Двоичный: Быстрый Мультикласс: Медленно	Двоичный: Средний Мультикласс: Большой	Трудно	Среда
Кубический SVM	Двоичный: Быстрый Мультикласс: Медленно	Двоичный: Средний Мультикласс: Большой	Трудно	Среда
Тонкий гауссов SVM	Двоичный: Быстрый Мультикласс: Медленно	Двоичный: Средний Мультикласс: Большой	Трудно	Высокий - уменьшается при установке масштаба ядра. Проводит детальное различие между классами, при этом для шкалы ядра установлено значение sqrt(P)/4.
Средний гауссов SVM	Двоичный: Быстрый Мультикласс: Медленно	Двоичный: Средний Мультикласс: Большой	Трудно	Среда Средние различия, для шкалы ядра установлено значение sqrt(P).
Крупный гауссов SVM	Двоичный: Быстрый Мультикласс: Медленно	Двоичный: Средний Мультикласс: Большой	Трудно	Низко Делает грубые различия между классами, при этом для шкалы ядра установлено значение sqrt(P)*4, где P - количество предикторов.

SVM классифицирует данные, находя лучшую гиперплоскость, которая отделяет точки данных одного класса от точек данных другого класса. Лучшая гиперплоскость для SVM означает гиперплоскость с наибольшим запасом между двумя классами. Поле означает максимальную ширину перекрытия, параллельного гиперплоскости, не имеющей внутренних точек данных.

Векторы поддержки являются точками данных, ближайшими к разделительной гиперплоскости; эти точки находятся на границе перекрытия. На следующем рисунке показаны эти определения с + указывающими точками данных типа 1 и - указывающими точками данных типа -1.

SVM также могут использовать мягкое поле, что означает гиперплоскость, разделяющую многие, но не все точки данных.

Пример см. в разделе Подготовка векторных машин поддержки с помощью приложения Classification Learner App.

Классификаторы ближайших соседей

Ближайшие соседние классификаторы обычно имеют хорошую точность прогнозирования в малых измерениях, но могут не иметь высоких измерений. Они имеют высокое использование памяти, и их нелегко интерпретировать.

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Гибкость модели
Тонкая КНН	Среда	Среда	Трудно	Тонко детализированные различия между классами. Число соседей равно 1.
Среднее KNN	Среда	Среда	Трудно	Средние различия между классами. Число соседей устанавливается равным 10.
Грубый KNN	Среда	Среда	Трудно	Грубые различия между классами. Количество соседей устанавливается равным 100.
Косинус KNN	Среда	Среда	Трудно	Средние различия между классами с использованием метрики расстояния косинуса. Число соседей устанавливается равным 10.
Кубический KNN	Медленный	Среда	Трудно	Средние различия между классами с использованием кубической метрики расстояния. Число соседей устанавливается равным 10.
Взвешенный KNN	Среда	Среда	Трудно	Средние различия между классами с использованием веса расстояния. Число соседей устанавливается равным 10.

Что такое k-ближайшая соседняя классификация? Категоризация точек запроса на основе их расстояния до точек (или соседей) в обучающем наборе данных может быть простым, но эффективным способом классификации новых точек. Для определения расстояния можно использовать различные метрики. Учитывая набор X из n точек и функцию расстояния, поиск k-ближайшего соседа (kNN) позволяет найти k ближайших точек в X к точке запроса или набору точек. Алгоритмы на основе kNN широко используются в качестве эталонных правил машинного обучения.

Пример см. в разделе Обучение классификаторов ближайших соседей с помощью приложения Classification Learner App.

Классификаторы ансамблей

Классификаторы ансамблей слили результаты от многих слабых учеников в одну качественную модель ансамбля. Качества зависят от выбора алгоритма.

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Метод ансамбля	Гибкость модели
Усиленные деревья	Быстро	Низко	Трудно	AdaBoost, с Decision Tree ученики	Среднее или высокое - увеличивается с помощью параметра Количество учащихся или Максимальное количество разделений. Совет Улучшенные деревья обычно могут работать лучше, чем пакетированные, но могут потребовать настройки параметров и большего количества учеников
Фасованные деревья	Среда	Высоко	Трудно	Случайный лес Bag, с Decision Tree ученики	High - увеличивается с установкой количества обучающихся. Совет Сначала попробуйте использовать этот классификатор.
Дискриминант подпространства	Среда	Низко	Трудно	Subspace, с Discriminant ученики	Средний - увеличивается с настройкой Количество обучающихся. Хорошо для многих предикторов
Подпространство KNN	Среда	Среда	Трудно	Subspace, с Nearest Neighbor ученики	Средний - увеличивается с настройкой Количество обучающихся. Хорошо для многих предикторов
Деревья RUSBoost	Быстро	Низко	Трудно	RUSBoost, с Decision Tree ученики	Среднее - увеличивается с помощью параметра Количество учащихся или Максимальное количество разделений. Хорошо подходит для искаженных данных (с большим количеством наблюдений 1 класса)
GentleBoost или LogitBoost - недоступны в коллекции типов моделей. При наличии данных 2 классов выберите вручную.	Быстро	Низко	Трудно	GentleBoost или LogitBoost, с Decision Tree ученики Выбирать Boosted Trees и изменить на GentleBoost способ.	Среднее - увеличивается с помощью параметра Количество учащихся или Максимальное количество разделений. Только для двоичной классификации

Фасованные деревья используют Breiman's 'random forest' алгоритм. Для справки см. Breiman, L. Random Forests. Машинное обучение 45, стр. 5-32, 2001.

Совет

Пример см. в разделе Классификаторы составов поездов с помощью приложения Classification Learner.

Классификаторы нейронных сетей

Модели нейронных сетей обычно имеют хорошую точность прогнозирования и могут использоваться для мультиклассовой классификации; однако их нелегко интерпретировать.

Гибкость модели увеличивается с размером и количеством полностью соединенных слоев в нейронной сети.

Тип классификатора	Скорость прогнозирования	Использование памяти	Интерпретируемость	Гибкость модели
Узкая нейронная сеть	Быстро	Среда	Трудно	Средний - увеличивается с размером каждого полностью подключенного слоя
Средненейронная сеть	Быстро	Среда	Трудно	Средний - увеличивается с размером каждого полностью подключенного слоя
Широкая нейронная сеть	Быстро	Среда	Трудно	Средний - увеличивается с размером каждого полностью подключенного слоя
Билайерная нейронная сеть	Быстро	Среда	Трудно	Высокий - увеличивается с размером каждого полностью подключенного слоя
Трилайерная нейронная сеть	Быстро	Среда	Трудно	Высокий - увеличивается с размером каждого полностью подключенного слоя

Каждая модель является прямой, полностью связанной нейронной сетью для классификации. Первый полностью связанный уровень нейронной сети имеет соединение от сетевого входа (данные предиктора), а каждый последующий уровень имеет соединение от предыдущего уровня. Каждый полностью связанный слой умножает входной сигнал на весовую матрицу и затем добавляет вектор смещения. За каждым полностью подключенным уровнем следует функция активации. Конечный полностью подключенный уровень и последующая функция активации softmax дают выход сети, а именно оценки классификации (апостериорные вероятности) и предсказанные метки. Дополнительные сведения см. в разделе Структура нейронной сети.

Пример см. в разделе Подготовка классификаторов нейронных сетей с помощью приложения Classification Learner App.