Оцените производительность модели в Regression Learner

После учебных моделей регрессии в Regression Learner можно сравнить модели на основе статистики модели, визуализировать результаты в графике отклика или путем графического вывода фактического по сравнению с предсказанным ответом и оценить модели с помощью остаточного графика.

Если вы используете перекрестную проверку k-сгиба, то приложение вычисляет статистику модели с помощью наблюдений в k валидации, сворачивает и сообщает о средних значениях. Это делает предсказания на наблюдениях в сгибах валидации, и графики показывают эти предсказания. Это также вычисляет остаточные значения наблюдений в сгибах валидации.
Примечание
Когда вы импортируете данные в приложение, если вы принимаете значения по умолчанию, приложение автоматически использует перекрестную проверку. Чтобы узнать больше, смотрите, Выбирают Validation Scheme.
Если вы используете валидацию затяжки, приложение вычисляет статистику модели с помощью наблюдений в сгибе валидации и делает предсказания на этих наблюдениях. Приложение использует эти предсказания в графиках и также вычисляет остаточные значения на основе предсказаний.
Если вы используете валидацию перезамены, баллы являются статистикой модели перезамены на основе всех обучающих данных, и предсказания являются предсказаниями перезамены.

Проверяйте эффективность в панель моделей

После обучения модель в Regression Learner проверяйте панель Models, чтобы видеть, какая модель имеет лучшую общую оценку. Лучший RMSE (Validation) подсвечен в поле. Этот счет является среднеквадратической ошибкой (RMSE) на наборе валидации. Счет оценивает эффективность обученной модели на новых данных. Используйте счет, чтобы помочь вам выбрать лучшую модель.

Для перекрестной проверки счет является RMSE на всех наблюдениях, считая каждое наблюдение, когда это был в затяжке (валидация) сгиб.
Для валидации затяжки счет является RMSE на протянутых наблюдениях.
Для валидации перезамены счет является перезаменой RMSE на всех обучающих данных.

Лучшая общая оценка не может быть лучшей моделью для вашей цели. Иногда модель с немного более низкой общей оценкой является лучшей моделью для вашей цели. Вы не хотите сверхсоответствовать, и вы можете хотеть исключить некоторые предикторы, где сбор данных является дорогим или трудным.

Просмотрите и сравните статистику модели

Можно просмотреть статистику модели в панели Current Model Summary и использовать эти статистические данные, чтобы оценить и сравнить модели. Статистические данные Training Results вычисляются на набор валидации. Статистические данные Test Results, если отображено, вычисляются на импортированный набор тестов. Для получения дополнительной информации смотрите, Оценивают Производительность модели Набора тестов.

Sample Current Model Summary pane

Чтобы скопировать информацию в панели Current Model Summary, щелкните правой кнопкой по панели и выберите Copy text.

Статистика модели

Статистическая величина	Описание	Совет
RMSE	Среднеквадратическая ошибка. RMSE всегда положителен, и его модули совпадают с модулями вашего ответа.	Ищите меньшие значения RMSE.
R-Squared	Коэффициент детерминации. R-squared всегда меньше, чем 1 и обычно больше, чем 0. Это сравнивает обученную модель с моделью, где ответ является постоянным и равняется среднему значению учебного ответа. Если ваша модель хуже, чем эта постоянная модель, то R-Squared отрицателен.	Ищите R-Squared близко к 1.
MSE	Среднеквадратическая ошибка. MSE является квадратом RMSE.	Ищите меньшие значения MSE.
MAE	Средняя абсолютная погрешность. MAE всегда положителен и похож на RMSE, но менее чувствителен к выбросам.	Ищите меньшие значения MAE.

Можно отсортировать модели на основе различной статистики модели. Чтобы выбрать статистическую величину для сортировки модели, используйте список Sort by наверху панели Models.

Можно также удалить нежелательные модели, перечисленные в панели Models. Выберите модель, вы хотите удалить и нажать кнопку Delete selected model в верхнем правом углу панели, или щелкнуть правой кнопкой по модели и выбрать Delete model. Вы не можете удалить последнюю остающуюся модель в панели Models.

Исследуйте данные, и результаты в ответ строят

Просмотрите результаты модели регрессии при помощи графика отклика, который отображает предсказанный ответ по сравнению с номером записи. После того, как вы обучите модель регрессии, приложение автоматически открывает график отклика для той модели. Если вы обучаете модель "All", приложение открывает график отклика для первой модели только. Чтобы просмотреть график отклика для другой модели, выберите модель в панели Models. На вкладке Regression Learner, в разделе Plots, кликают по стреле, чтобы открыть галерею, и затем нажать Response в группе Validation Results. Если вы используете затяжку или перекрестную проверку, то предсказанные значения отклика являются предсказаниями на протянутом (валидация) наблюдения. Другими словами, каждое предсказание получено с помощью модели, которая была обучена, не используя соответствующее наблюдение.

Чтобы исследовать ваши результаты, используйте средства управления справа. Вы можете:

Постройте предсказанные и/или истинные ответы. Используйте флажки под Plot, чтобы сделать ваш выбор.
Покажите ошибки предсказания, чертившие как вертикальные линии между предсказанными и истинными ответами, путем установки флажка Errors.
Выберите переменную, чтобы построить на x - ось под X-axis. Можно выбрать номер записи или один из переменных предикторов.
Постройте ответ как маркеры, или как диаграмма под Style. Можно выбрать Box plot только, когда переменная на x - ось имеет немного уникальных значений.
Диаграмма отображает типичные значения ответа и любых возможных выбросов. Центральная метка указывает на медиану, и нижняя часть и верхние края поля являются 25-ми и 75-ми процентилями, соответственно. Вертикальные линии, названные контактными усиками, расширяют от полей до самых экстремальных точек данных, которые не рассматриваются выбросами. Выбросы построены индивидуально с помощью '+' символ. Для получения дополнительной информации о диаграммах, смотрите boxplot.

Чтобы экспортировать графики отклика, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

График, предсказанный по сравнению с фактическим ответом

Используйте Предсказанный по сравнению с Фактическим графиком проверять производительность модели. Используйте этот график изучить, как хорошо модель регрессии делает предсказания для различных значений отклика. Чтобы просмотреть Предсказанный по сравнению с Фактическим графиком после обучения модель, на вкладке Regression Learner, в разделе Plots, кликают по стреле, чтобы открыть галерею, и затем нажать Predicted vs. Actual (Validation) в группе Validation Results.

Когда вы открываете график, предсказанный ответ вашей модели построен против фактического, истинного ответа. Совершенная модель регрессии имеет предсказанный ответ, равный истинному ответу, таким образом, все точки лежат на диагональной линии. Вертикальное расстояние от линии до любой точки является ошибкой предсказания для той точки. Хорошая модель имеет небольшие ошибки, что означает, что предсказания рассеиваются около линии.

Plot of the predicted response versus the true response for a regression model

Обычно хорошая модель имеет точки, рассеянные примерно симметрично вокруг диагональной линии. Если вы видите какие-либо ясные шаблоны в графике, вероятно, что можно улучшить модель. Попробуйте обучение различный тип модели или то, чтобы заставлять вашу текущую модель ввести более гибкое использование опций Advanced в разделе Model Type. Если вы не можете улучшить свою модель, возможно, что вам нужно больше данных, или что вы пропускаете важный предиктор.

Чтобы экспортировать Предсказанный по сравнению с Фактическими графиками, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

Оцените модель Используя график остаточных значений

Используйте график остаточных значений проверять производительность модели. Чтобы просмотреть график остаточных значений после обучения модель, на вкладке Regression Learner, в разделе Plots, кликают по стреле, чтобы открыть галерею, и затем нажать Residuals (Validation) в группе Validation Results. График остаточных значений отображает различие между предсказанными и истинными ответами. Выберите переменную, чтобы построить на x - ось под X-axis. Выберите истинный ответ, предсказанный ответ, номер записи или один из ваших предикторов.

Plot of the residuals for a regression model

Обычно хорошей модели рассеивали остаточные значения примерно симметрично приблизительно 0. Если вы видите какие-либо ясные шаблоны в остаточных значениях, вероятно, что можно улучшить модель. Ищите эти шаблоны:

Остаточные значения симметрично не распределяются приблизительно 0.
Остаточные значения значительно изменяются в размере слева направо в графике.
Выбросы происходят, то есть, остаточные значения, которые намного больше, чем остальная часть остаточных значений.
Ясный, нелинейный шаблон появляется в остаточных значениях.

Попробуйте обучение различный тип модели или то, чтобы заставлять вашу текущую модель ввести более гибкое использование опций Advanced в разделе Model Type. Если вы не можете улучшить свою модель, возможно, что вам нужно больше данных, или что вы пропускаете важный предиктор.

Чтобы экспортировать графики остаточных значений, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

Сравните графики модели путем изменения размещения

Визуализируйте результаты моделей, обученных в Regression Learner при помощи опций графика в разделе Plots вкладки Regression Learner. Можно перестроить размещение графиков сравнить результаты через многоуровневые модели: используйте опции в кнопке Layout, перетащите мышью графики или выберите возможности, предоставленные стрелой Действий Документа, расположенной справа от вкладок графика модели.

Например, после обучения две модели в Regression Learner, отобразите график для каждой модели и измените размещение графика, чтобы сравнить графики при помощи одной из этих процедур:

Нажмите Layout и выберите Compare models в разделе Plots вкладки Regression Learner.
Кликните по второму имени вкладки модели, и затем перетащите мышью вторую вкладку модели направо.
Кликните по стреле Действий Документа, расположенной справа вкладок графика модели. Выберите Tile All опция и задает 1 2 размещение.

Обратите внимание на то, что можно нажать кнопку опций графика Hide в правых верхних из графиков сделать больше комнаты для графиков.

Оцените производительность модели набора тестов

После обучения модель в Regression Learner можно оценить производительность модели на наборе тестов в приложении. Этот процесс позволяет вам проверять, обеспечивают ли метрики валидации хорошие оценки для производительности модели на новых данных.

Импортируйте набор тестовых данных в Regression Learner.
- Если набор тестовых данных находится в MATLAB^® рабочая область, затем в разделе Testing по вкладке Regression Learner, нажимает Test Data и выбирает From Workspace.
- Если набор тестовых данных находится в файле, то в разделе Testing, нажмите Test Data и выберите From File. Выберите тип файла в списке, таком как электронная таблица, текстовый файл или разделенные от запятой значения (.csv) файл, или выбирают All Files, чтобы просмотреть другие типы файлов, такие как .dat.
В диалоговом окне Import Test Data выберите набор тестовых данных из списка Test Data Set Variable. Набор тестов должен иметь те же переменные как предикторы, импортированные для обучения и валидации.
Вычислите метрики набора тестов.
- Чтобы вычислить тестовые метрики для одной модели, выберите обученную модель в панели Models. На вкладке Regression Learner, в разделе Testing, нажимают Test All и выбирают Test Selected.
- Чтобы вычислить тестовые метрики для всех обученных моделей, нажмите Test All и выберите Test All в разделе Testing.
Приложение вычисляет эффективность набора тестов каждой модели, обученной на полном наборе данных, включая данные об обучении и валидации.
Сравните метрики валидации с тестовыми метриками.
В панели Current Model Summary, отображения приложения метрики валидации и тестовые метрики под разделом Training Results и разделом Test Results, соответственно. Можно проверять, дают ли метрики валидации хорошие оценки для тестовых метрик.
Можно также визуализировать результаты испытаний с помощью графиков.
- Отобразите предсказанный по сравнению с фактическим графиком. В разделе Plots по вкладке Regression Learner кликните по стреле, чтобы открыть галерею, и затем нажать Predicted vs. Actual (Test) в группе Test Results.
- Отобразите график остаточных значений. В разделе Plots кликните по стреле, чтобы открыть галерею, и затем нажать Residuals (Test) в группе Test Results.

Для примера смотрите, что Производительность модели Проверки Использует Набор тестов в Приложении Regression Learner. Для примера, который использует метрики набора тестов в рабочем процессе гипероптимизации параметров управления, смотрите, Обучают Модель Регрессии Используя Гипероптимизацию параметров управления в Приложении Regression Learner.

Документация