Документация

Проверяйте эффективность в панели моделей

После обучения модели в Classification Learner проверьте панель Models, чтобы увидеть, какая модель имеет лучшую общую точность в процентах. Лучший счет <reservedrangesplaceholder0> подсвечивается в кубе. Этот счет является точностью валидации. Счет точности валидации оценивает эффективность модели по новым данным по сравнению с обучающими данными. Используйте счет, чтобы помочь вам выбрать лучшую модель.

Лучший общий счет может быть не лучшей моделью для вашего гола. Модель с немного меньшей общей точностью может быть лучшим классификатором для вашей цели. Для примера, ложные срабатывания в конкретном классе могут быть важны для вас. Вы, возможно, захотите исключить некоторые предикторы, где набор данных является дорогим или трудным.

Чтобы узнать, как классификатор выполнял в каждом классе, исследуйте матрицу неточностей.

Просмотр и сравнение метрик модели

Можно просмотреть метрики модели на панели Current Model Summary и использовать эти метрики для оценки и сравнения моделей. Метрики Training Results вычисляются на наборе валидации. Метрики Test Results, если они отображаются, вычисляются на импортированном тестовом наборе. Для получения дополнительной информации смотрите Оценка производительности модели набора тестов.

Чтобы скопировать информацию на панели Current Model Summary, щелкните правой кнопкой мыши на панели и выберите Copy text.

Можно отсортировать модели на основе различных метрик модели. Чтобы выбрать метрику для сортировки модели, используйте список Sort by в верхней части панели Models.

Можно также удалить нежелательные модели, перечисленные на панели Models. Выберите модель, которую вы хотите удалить, и нажмите кнопку Delete selected model в правом верхнем углу панели или щелкните правой кнопкой мыши модель и выберите Delete model. Вы не можете удалить последнюю оставшуюся модель на панели Models.

Результаты классификатора графиков

На графике поля точек просмотрите результаты классификатора. После обучения классификатора графика поля точек переключается с отображения данных на отображение предсказаний модели. Если вы используете holdout или перекрестную валидацию, то эти предсказания являются предсказаниями на удержанных (валидационных) наблюдениях. Другими словами, каждое предсказание получается с использованием модели, которая была обучена, не используя соответствующее наблюдение. Чтобы исследовать результаты, используйте элементы управления справа. Вы можете:

Смотрите также Исследуйте Функции в График поля точек.

Чтобы экспортировать графики поля точек, созданные в приложении, в фигуры, смотрите Экспорт Графиков в Classification Learner App.

Проверяйте эффективность по классам в матрице неточностей

Используйте матричный график неточностей, чтобы понять, как в настоящее время выбранный классификатор выполнялся в каждом классе. Чтобы просмотреть матрицу неточностей после обучения модели, нажмите Confusion Matrix и выберите Validation Data в Plots разделе вкладки Classification Learner. Матрица неточностей помогает вам идентифицировать области, где классификатор выполнял плохо.

Когда вы открываете график, строки показывают истинный класс, а столбцы показывают предсказанный класс. Если вы используете holdout или перекрестную валидацию, то матрица неточностей вычисляется с помощью предсказаний на удержанных (валидационных) наблюдениях. Диагональные камеры показывают, где совпадают истинный класс и предсказанный класс. Если эти диагональные камеры синего цвета, классификатор имеет классифицированные наблюдения этого истинного класса, классифицируются правильно.

Представление по умолчанию показывает количество наблюдений в каждой камере.

Чтобы увидеть, как классификатор выполнялся по классам, в разделе Plot выберите True Positive Rates (TPR) False Negative Rates (FNR) опцию. TPR является долей правильно классифицированных наблюдений на истинный класс. FNR является долей неправильно классифицированных наблюдений на истинный класс. В график показаны сводные данные по true классу в последних двух столбцах справа.

В этом примере, который использует carsmall набор данных, во второй строке сверху показаны все автомобили с истинным классом Германия. В столбцах показаны предсказанные классы. 22,2% автомобилей из Германии классифицированы правильно, поэтому 22.2% истинная положительная ставка для правильно классифицированных точек в этом классе, показанная в синей камере в TPR столбце.

Другие автомобили в строку Германии неправильно классифицируются: 55,6% автомобилей неправильно классифицируются как из Японии, а 22,2% классифицируются как из США. Ложноотрицательная частота для неправильно классифицированных точек в этом классе 77.8%, показана в оранжевой камере в столбце FNR.

Если вы хотите увидеть количество наблюдений (автомобили, в этом примере) вместо процентов, под Plot выберите Number of observations.

Если ложные срабатывания важны в вашей задаче классификации, постройте график результатов по предсказанному классу (вместо истинного класса), чтобы исследовать частоты ложных открытий. Чтобы увидеть результаты по предсказанному классу, в разделе Plot выберите Positive Predictive Values (PPV) False Discovery Rates (FDR) опцию. PPV является долей правильно классифицированных наблюдений на предсказанный класс. FDR является долей неправильно классифицированных наблюдений на предсказанный класс. При выборе этой опции матрица неточностей теперь включает сводные строки под таблицей. Положительные прогнозирующие значения показаны синим цветом для правильно предсказанных точек в каждом классе, а скорости ложных открытий показаны оранжевым цветом для неправильно предсказанных точек в каждом классе.

Если вы решили, что в интересующих классах слишком много неправильно классифицированных точек, попробуйте изменить настройки классификатора или выбор признаков, чтобы найти лучшую модель.

Чтобы экспортировать матричные графики неточностей, созданные в приложении, в рисунки, смотрите Экспорт Графиков в Приложении Classification Learner.

Проверьте кривую ROC

Чтобы просмотреть кривую ROC после обучения модели, на вкладке Classification Learner, в разделе Plots, нажмите ROC Curve и выберите Validation Data. Просмотрите кривую рабочей характеристики приемника (ROC), показывающую истинные и ложноположительные скорости. Кривая ROC показывает истинную положительную скорость по сравнению с ложноположительной частотой для выбранного на данный момент обученного классификатора. Для построения графика можно выбрать различные классы.

Маркер на графике показывает эффективность выбранного классификатора. Маркер показывает значения ложноположительной скорости (FPR) и истинной положительной скорости (TPR) для выбранного классификатора. Для примера ложноположительная частота (FPR) 0,2 указывает, что текущий классификатор неправильно присваивает 20% наблюдений положительному классу. Истинная положительная скорость 0,9 указывает, что текущий классификатор правильно присваивает 90% наблюдений положительному классу.

Идеальным результатом без неправильной классификации точек является правый угол в верхней левой части графика. Плохим результатом, который не лучше случайного, является линия при 45 степенях. Номер Area Under Curve является мерой общего качества классификатора. Большие значения Area Under Curve указывают на лучшую эффективность классификатора. Сравните классы и обученные модели, чтобы увидеть, работают ли они по-разному в кривой ROC.

Для получения дополнительной информации см. perfcurve.

Чтобы экспортировать кривые ROC, созданные в приложении, в рисунки, смотрите Графики экспорта в Приложении Classification Learner.

Оцените производительность модели тестового набора

После обучения модели в Classification Learner можно оценить производительность модели на тестовом наборе в приложении. Этот процесс позволяет вам проверить, обеспечивает ли точность валидации хорошую оценку производительности модели на новых данных.

Например, смотрите Check Classfier Эффективности Using Test Set in Classification Learner App.Для примера, который использует метрики тестового набора в гипероптимизацию параметров управления рабочем процессе оптимизации, смотрите Train Classfier Using Гипероптимизации параметров управления Optimization in Classification Learner App.