Оцените производительность модели в Regression Learner

После учебных моделей регрессии в Regression Learner можно сравнить модели на основе статистики модели, визуализировать результаты, в ответ строят, или путем графического вывода фактический по сравнению с предсказанным ответом, и оценивают модели с помощью остаточного графика.

Если вы используете перекрестную проверку k-сгиба, то приложение вычисляет статистику модели с помощью наблюдений в k валидации, сворачивает и сообщает о средних значениях. Это делает прогнозы на наблюдениях в сгибах валидации, и графики показывают эти прогнозы. Это также вычисляет остаточные значения наблюдений в сгибах валидации.
Примечание
Когда вы импортируете данные в приложение, если вы принимаете значения по умолчанию, приложение автоматически использует перекрестную проверку. Чтобы узнать больше, смотрите, Выбирают Validation Scheme.
Если вы используете валидацию затяжки, приложение вычисляет баллы точности с помощью наблюдений в сгибе валидации и делает прогнозы на этих наблюдениях. Приложение использует эти прогнозы в графиках и также вычисляет остаточные значения на основе прогнозов.
Если вы принимаете решение не использовать схему валидации, счет является точностью перезамены на основе всех обучающих данных, и прогнозы являются прогнозами перезамены.

Проверяйте производительность в список предыстории

После обучения модель в Regression Learner проверяйте Список предыстории, чтобы видеть, какая модель имеет лучшую общую оценку. Лучший счет подсвечен в поле. Этот счет является среднеквадратичной ошибкой (RMSE) на наборе валидации. Счет оценивает производительность обученной модели на новых данных. Используйте счет, чтобы помочь вам выбрать лучшую модель.

Для перекрестной проверки счет является RMSE на всех наблюдениях, считая каждое наблюдение, когда это было в протянутом сгибе.
Для валидации затяжки счет является RMSE на протянутых наблюдениях.
Ни для какой валидации счет является перезаменой RMSE на всех обучающих данных.

Лучшая общая оценка не может быть лучшей моделью для вашей цели. Иногда модель с немного более низкой общей оценкой является лучшей моделью для вашей цели. Вы не хотите сверхсоответствовать, и вы можете хотеть исключить некоторые предикторы, где сбор данных является дорогим или трудным.

Просмотрите статистику модели в окне текущей модели

Можно просмотреть статистику модели в окне Current Model и использовать эти статистические данные, чтобы оценить и сравнить модели. Статистические данные вычисляются на набор валидации.

Статистика модели

Статистическая величина	Описание	Совет
RMSE	Среднеквадратичная ошибка. RMSE всегда положителен, и его модули совпадают с модулями вашего ответа.	Ищите меньшие значения RMSE.
R-Squared	Коэффициент детерминации. R-squared всегда меньше, чем 1 и обычно больше, чем 0. Это сравнивает обученную модель с моделью, где ответ является постоянным и равняется среднему значению учебного ответа. Если ваша модель хуже, чем эта постоянная модель, то R-Squared отрицателен.	Ищите R-Squared близко к 1.
MSE	Среднеквадратическая ошибка. MSE является квадратом RMSE.	Ищите меньшие значения MSE.
MAE	Средняя абсолютная погрешность. MAE всегда положителен и похож на RMSE, но менее чувствителен к выбросам.	Ищите меньшие значения MAE.

Исследуйте данные, и результаты в ответ строят

В графике отклика просмотрите результаты модели регрессии. После того, как вы обучите модель регрессии, график отклика отображает предсказанный ответ по сравнению с номером записи. Если вы используете затяжку или перекрестную проверку, то эти прогнозы являются прогнозами на протянутых наблюдениях. Другими словами, каждый прогноз получен с помощью модели, которая была обучена, не используя соответствующее наблюдение. Чтобы исследовать ваши результаты, используйте средства управления справа. Вы можете:

Постройте предсказанные и/или истинные ответы. Используйте флажки под Plot, чтобы сделать ваш выбор.
Покажите ошибки прогноза, чертившие как вертикальные линии между предсказанными и истинными ответами, путем установки флажка Errors.
Выберите переменную, чтобы построить на x - ось под X-axis. Можно выбрать или номер записи или один из переменных предикторов.
Постройте ответ как маркеры, или как диаграмма под Style. Можно только выбрать Box plot, когда переменная на x - ось имеет немного уникальных значений.
Диаграмма отображает типичные значения ответа и любых возможных выбросов. Центральная метка указывает на медиану, и нижняя часть и верхние края поля являются 25-ми и 75-ми процентилями, соответственно. Вертикальные линии, названные контактными усиками, расширяют от полей до самых экстремальных точек данных, которые не рассматриваются выбросами. Выбросы построены индивидуально с помощью '+' символ. Для получения дополнительной информации о диаграммах, смотрите boxplot.

Чтобы экспортировать графики отклика, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

График, предсказанный по сравнению с фактическим ответом

Используйте Предсказанный по сравнению с Фактическим графиком проверять производительность модели. Используйте этот график изучить, как хорошо модель регрессии делает прогнозы для различных значений ответа. Чтобы просмотреть Предсказанный по сравнению с Фактическим графиком после обучения модель, на вкладке Regression Learner, в разделе Plots, нажимают Predicted vs. Actual Plot .

Когда вы открываете график, предсказанный ответ вашей модели построен против фактического, истинного ответа. Совершенная модель регрессии имеет предсказанный ответ, равный истинному ответу, таким образом, все точки лежат на диагональной линии. Вертикальное расстояние от линии до любой точки является ошибкой прогноза для той точки. Хорошая модель имеет небольшие ошибки, и таким образом, прогнозы рассеиваются около линии.

Обычно хорошая модель имеет точки, рассеянные примерно симметрично вокруг диагональной линии. Если вы видите какие-либо ясные шаблоны в графике, вероятно, что можно улучшить модель. Попробуйте обучение различный тип модели или то, чтобы заставлять вашу текущую модель ввести более гибкое использование опций Advanced в разделе Model Type. Если вы не можете улучшить свою модель, возможно, что вам нужно больше данных, или что вы пропускаете важный предиктор.

Чтобы экспортировать Предсказанный по сравнению с Фактическими графиками, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

Оцените модель Используя график остаточных значений

Используйте график остаточных значений проверять производительность модели. Чтобы просмотреть график остаточных значений после обучения модель, на вкладке Regression Learner, в разделе Plots, нажимают Residuals Plot . График остаточных значений отображает различие между предсказанными и истинными ответами. Выберите переменную, чтобы построить на x - ось под X-axis. Выберите или истинный ответ, предсказанный ответ, номер записи или один из ваших предикторов.

Обычно хорошей модели рассеивали остаточные значения примерно симметрично приблизительно 0. Если вы видите какие-либо ясные шаблоны в остаточных значениях, вероятно, что можно улучшить модель. Ищите эти шаблоны:

Остаточные значения симметрично не распределяются приблизительно 0.
Остаточные значения значительно изменяются в размере слева направо в графике.
Выбросы происходят, то есть, остаточные значения, которые намного больше, чем остальная часть остаточных значений.
Очиститесь, нелинейный шаблон появляется в остаточных значениях.

Попробуйте обучение различный тип модели или то, чтобы заставлять вашу текущую модель ввести более гибкое использование опций Advanced в разделе Model Type. Если вы не можете улучшить свою модель, возможно, что вам нужно больше данных, или что вы пропускаете важный предиктор.

Чтобы экспортировать графики остаточных значений, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

Документация