Оцените производительность модели в Regression Learner

После учебных моделей регрессии в Regression Learner можно сравнить модели на основе образцовой статистики, визуализировать результаты, в ответ строят, или путем графического вывода фактический по сравнению с предсказанным ответом, и оценивают модели с помощью остаточного графика.

Если вы используете перекрестную проверку k-сгиба, то приложение вычисляет образцовую статистику с помощью наблюдений в k валидации, сворачивает и сообщает о средних значениях. Это делает прогнозы на наблюдениях в сгибах валидации, и графики показывают эти прогнозы. Это также вычисляет невязки на наблюдениях в сгибах валидации.
Примечание
Когда вы импортируете данные в приложение, если вы принимаете значения по умолчанию, приложение автоматически использует перекрестную проверку. Чтобы узнать больше, смотрите, Выбирают Validation Scheme.
Если вы используете валидацию затяжки, приложение вычисляет очки точности с помощью наблюдений в сгибе валидации и делает прогнозы на этих наблюдениях. Приложение использует эти прогнозы в графиках и также вычисляет невязки на основе прогнозов.
Если вы принимаете решение не использовать схему валидации, счет является точностью перезамены на основе всех данных тренировки, и прогнозы являются прогнозами перезамены.

Проверяйте производительность в список предыстории

После обучения модель в Regression Learner проверяйте Список предыстории, чтобы видеть, какая модель имеет лучшую общую оценку. Лучший счет подсвечен в поле. Этот счет является среднеквадратичной ошибкой (RMSE) на наборе валидации. Счет оценивает производительность обученной модели на новых данных. Используйте счет, чтобы помочь вам выбрать лучшую модель.

Для перекрестной проверки счет является RMSE на всех наблюдениях, считая каждое наблюдение, когда это было в протянутом сгибе.
Для валидации затяжки счет является RMSE на протянутых наблюдениях.
Ни для какой валидации счет является перезаменой RMSE на всех данных тренировки.

Лучшая общая оценка не может быть лучшей моделью для вашей цели. Иногда модель с немного более низкой общей оценкой является лучшей моделью для вашей цели. Вы не хотите сверхсоответствовать, и вы можете хотеть исключить некоторые предикторы, где сбор данных является дорогим или трудным.

Просмотрите образцовую статистику в окне текущей модели

Можно просмотреть образцовую статистику в окне Current Model и использовать эти статистические данные, чтобы оценить и сравнить модели. Статистические данные вычисляются на набор валидации.

Образцовая статистика

Статистическая величина	Описание	Совет
RMSE	Среднеквадратичная ошибка. RMSE всегда положителен, и его модули совпадают с модулями вашего ответа.	Ищите меньшие значения RMSE.
R-Squared	Коэффициент детерминации. R-squared всегда меньше, чем 1 и обычно больше, чем 0. Это сравнивает обученную модель с моделью, где ответ является постоянным и равняется среднему значению учебного ответа. Если ваша модель хуже, чем эта постоянная модель, то R-Squared отрицателен.	Ищите R-Squared близко к 1.
MSE	Среднеквадратическая ошибка. MSE является квадратом RMSE.	Ищите меньшие значения MSE.
MAE	Средняя абсолютная погрешность. MAE всегда положителен и подобен RMSE, но менее чувствителен к выбросам.	Ищите меньшие значения MAE.

Исследуйте данные, и результаты в ответ строят

В графике ответа просмотрите результаты модели регрессии. После того, как вы обучите модель регрессии, график ответа отображает предсказанный ответ по сравнению с номером записи. Если вы используете затяжку или перекрестную проверку, то эти прогнозы являются прогнозами на протянутых наблюдениях. Другими словами, каждый прогноз получен с помощью модели, которая была обучена, не используя соответствующее наблюдение. Чтобы исследовать ваши результаты, используйте средства управления справа. Вы можете:

Постройте предсказанные и/или истинные ответы. Используйте флажки под Plot, чтобы сделать ваш выбор.
Покажите ошибки прогноза, чертившие как вертикальные строки между предсказанными и истинными ответами, путем установки флажка Errors.
Выберите переменную, чтобы построить на x - ось под X-axis. Можно выбрать или номер записи или одну из переменных прогноза.
Постройте ответ как маркеры, или как диаграмма под Style. Можно только выбрать Box plot, когда переменная на x - ось имеет немного уникальных значений.
Диаграмма отображает типичные значения ответа и любых возможных выбросов. Центральная метка указывает на медиану, и нижняя часть и верхние края поля являются 25-ми и 75-ми процентилями, соответственно. Вертикальные строки, названные контактными усиками, расширяют от полей до самых экстремальных точек данных, которые не рассматриваются выбросами. Выбросы построены индивидуально с помощью символа '+'. Для получения дополнительной информации о диаграммах, смотрите boxplot.

Чтобы экспортировать графики ответа, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

График, предсказанный по сравнению с фактическим ответом

Используйте Предсказанный по сравнению с Фактическим графиком проверять производительность модели. Используйте этот график понять, как хорошо модель регрессии делает прогнозы для различных значений ответа. Чтобы просмотреть Предсказанный по сравнению с Фактическим графиком после обучения модель, на вкладке Regression Learner, в разделе Plots, нажимают Predicted vs. Actual Plot .

Когда вы открываете график, предсказанный ответ вашей модели построен против фактического, истинного ответа. Совершенная модель регрессии имеет предсказанный ответ, равный истинному ответу, таким образом, все точки лежат на диагональной строке. Вертикальное расстояние от строки до любой точки является ошибкой прогноза для той точки. Хорошая модель имеет небольшие ошибки, и таким образом, прогнозы рассеиваются около строки.

Обычно хорошая модель имеет точки, рассеянные примерно симметрично вокруг диагональной строки. Если вы видите какие-либо ясные шаблоны в графике, вероятно, что можно улучшить модель. Попробуйте обучение различный тип модели или то, чтобы заставлять вашу текущую модель ввести более гибкое использование опций Advanced в разделе Model Type. Если вы не можете улучшить свою модель, возможно, что вам нужно больше данных, или что вы пропускаете важный предиктор.

Чтобы экспортировать Предсказанный по сравнению с Фактическими графиками, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

Оцените модель Используя график невязок

Используйте график невязок проверять производительность модели. Чтобы просмотреть график невязок после обучения модель, на вкладке Regression Learner, в разделе Plots, нажимают Residuals Plot . График невязок отображает различие между предсказанными и истинными ответами. Выберите переменную, чтобы построить на x - ось под X-axis. Выберите или истинный ответ, предсказанный ответ, номер записи или один из ваших предикторов.

Обычно хорошей модели рассеивали невязки примерно симметрично приблизительно 0. Если вы видите какие-либо ясные шаблоны в невязках, вероятно, что можно улучшить модель. Ищите эти шаблоны:

Невязки симметрично не распределяются приблизительно 0.
Невязки значительно изменяются в размере слева направо в графике.
Выбросы происходят, то есть, невязки, которые намного больше, чем остальная часть невязок.
Очиститесь, нелинейный шаблон появляется в невязках.

Попробуйте обучение различный тип модели или то, чтобы заставлять вашу текущую модель ввести более гибкое использование опций Advanced в разделе Model Type. Если вы не можете улучшить свою модель, возможно, что вам нужно больше данных, или что вы пропускаете важный предиктор.

Чтобы экспортировать графики невязок, вы создаете в приложении фигурам, видите Графики Экспорта в Приложении Regression Learner.

Документация