Проверяйте производительность модели Используя набор тестов в приложении Regression Learner
В этом примере показано, как обучить многоуровневые модели в Regression Learner и определить лучше всего выполняющие модели на основе их метрик валидации. Проверяйте тестовые метрики на лучше всего выполняющие модели, обученные на полном наборе данных, включая данные об обучении и валидации.
В MATLAB® Командное окно, загрузите
carbigнабор данных, и составляет таблицу, содержащую большинство переменных. Разделите таблицу на наборы обучающих данных и наборы тестов.load carbig cartable = table(Acceleration,Cylinders,Displacement, ... Horsepower,Model_Year,Weight,Origin,MPG); rng('default') % For reproducibility of the data split n = length(MPG); partition = cvpartition(n,'Holdout',0.15); idxTrain = training(partition); % Indices for the training set cartableTrain = cartable(idxTrain,:); cartableTest = cartable(~idxTrain,:);
Открытый Regression Learner. Кликните по вкладке Apps, и затем кликните по стреле справа от раздела Apps, чтобы открыть галерею Apps. В группе Machine Learning and Deep Learning нажмите Regression Learner.
На вкладке Regression Learner, в разделе File, нажимают New Session и выбирают From Workspace.
В диалоговом окне New Session from Workspace выберите
cartableTrainтаблица из списка Data Set Variable.Как показано в диалоговом окне, приложение выбирает переменные отклика и переменные предикторы. Переменной отклика по умолчанию является
MPG. Чтобы защитить от сверхподбора кривой, опция валидации по умолчанию является 5-кратной перекрестной проверкой. В данном примере не изменяйте настройки по умолчанию.
Чтобы принять опции по умолчанию и продолжиться, нажмите Start Session.
Обучите все предварительно установленные модели. На вкладке Regression Learner, в разделе Model Type, кликают по стреле, чтобы открыть галерею. В группе Get Started нажмите All. В разделе Training нажмите Train. Приложение обучает один из каждого предварительно установленного типа модели и отображает модели в панели Models.
Совет
Если у вас есть Parallel Computing Toolbox™, можно обучить все модели (All) одновременно путем нажатия кнопки Use Parallel в разделе Training перед нажатием Train. После того, как вы нажимаете Train, диалоговое окно Opening Parallel Pool открывается и остается открытым, в то время как приложение открывает параллельный пул рабочих. В это время вы не можете взаимодействовать с программным обеспечением. После того, как пул открывается, приложение обучает модели одновременно.
Сортировка обученных моделей на основе среднеквадратической ошибки (RMSE) валидации. В панели Models откройте список Sort by и выберите
RMSE (Validation).В панели Models кликните по значкам звезды рядом с этими тремя моделями с самой низкой валидацией RMSE. Приложение подсвечивает самую низкую валидацию RMSE путем выделения его в поле. В этом примере обученная модель Rational Quadratic GPR имеет самую низкую валидацию RMSE.
Отображения приложения график отклика для первой модели (модель 1.1). Синие точки являются истинными значениями, и желтые точки являются ожидаемыми значениями. Панель Models слева показывает валидации RMSE для каждой модели.
Примечание
Валидация вводит некоторую случайность в результаты. Ваши результаты проверки допустимости модели могут варьироваться от результатов, показанных в этом примере.
Проверяйте эффективность набора тестов лучше всего выполняющих моделей. Начните путем импорта тестовых данных в приложение.
На вкладке Regression Learner, в разделе Testing, нажимают Test Data и выбирают From Workspace.
В диалоговом окне Import Test Data выберите
cartableTestтаблица из списка Test Data Set Variable.Как показано в диалоговом окне, приложение идентифицирует переменные отклика и переменные предикторы.
Нажмите Import.
Вычислите RMSE лучших предварительно установленных моделей на
cartableTestданные. Для удобства вычислите набор тестов RMSE для всех моделей целиком. На вкладке Regression Learner, в разделе Testing, нажимают Test All и выбирают Test All. Приложение вычисляет эффективность набора тестов модели, обученной на полном наборе данных, включая данные об обучении и валидации.Сортировка моделей на основе набора тестов RMSE. В панели Models откройте список Sort by и выберите
RMSE (Test). Приложение все еще обрисовывает в общих чертах метрику для модели с самой низкой валидацией RMSE, несмотря на отображение теста RMSE.Визуально проверяйте эффективность набора тестов моделей. Для каждой звездообразной модели выберите модель в панели Models. На вкладке Regression Learner, в разделе Plots, кликают по стреле, чтобы открыть галерею, и затем нажать Predicted vs. Actual (Test) в группе Test Results.
Перестройте размещение графиков лучше сравнить их. Во-первых, закройте график отклика для Model 1.1. Затем кликните по стреле Действий Документа, расположенной справа вкладок графика модели. Выберите
Tile Allопция и задает 1 3 размещение. Нажмите кнопку опций графика Hide
в правых верхних из графиков сделать больше комнаты для графиков.В этом примере обученный Medium Gaussian SVM выполняет лучше на данных о наборе тестов, чем другие две звездообразных модели.
Чтобы возвратиться к первоначальному макету, можно нажать кнопку Layout в разделе Plots и выбрать Single model (Default).
Сравните валидацию и протестируйте RMSE на обученную модель Medium Gaussian SVM. В панели Current Model Summary сравните значение RMSE (Validation) под Training Results к значению RMSE (Test) под Test Results. В этом примере эти два значения близки, который указывает, что валидация RMSE является хорошей оценкой теста RMSE для этой модели.