В этом примере показано, как обучить несколько моделей в модуле Regression Learner и определить наиболее эффективные модели на основе их метрик проверки. Проверьте метрики теста для наиболее эффективных моделей, обученных полному набору данных, включая данные обучения и проверки.
В окне команд MATLAB ® загрузите carbig и создайте таблицу, содержащую большинство переменных. Разделите таблицу на учебные и тестовые наборы.
load carbig cartable = table(Acceleration,Cylinders,Displacement, ... Horsepower,Model_Year,Weight,Origin,MPG); rng('default') % For reproducibility of the data split n = length(MPG); partition = cvpartition(n,'Holdout',0.15); idxTrain = training(partition); % Indices for the training set cartableTrain = cartable(idxTrain,:); cartableTest = cartable(~idxTrain,:);
Открыть обучающегося регрессии. Перейдите на вкладку Приложения и щелкните стрелку справа от раздела Приложения, чтобы открыть галерею приложений. В группе Machine Learning and Deep Learning выберите Regression Learner.
На вкладке Обучающийся регрессии (Regression Learner) в разделе Файл (File) щелкните Создать сеанс (New Session) и выберите Из рабочей области (From Workspace).
В диалоговом окне «Новая сессия из рабочей области» выберите cartableTrain из списка «Переменная набора данных».
Как показано в диалоговом окне, приложение выбирает переменные ответа и предиктора. Переменная ответа по умолчанию: MPG. Для защиты от переоборудования по умолчанию используется пятикратная перекрестная проверка. В этом примере не изменяйте параметры по умолчанию.
Чтобы принять параметры по умолчанию и продолжить, щелкните Начать сеанс (Start Session).
Обучение всех предустановленных моделей. На вкладке Обучающийся регрессии (Regression Learner) в разделе Тип модели (Model Type) щелкните стрелку, чтобы открыть галерею. В группе Начало работы щелкните Все. В разделе Обучение щелкните Обучение. Приложение обучает один из предустановленных типов моделей и отображает модели на панели Модели.
Совет
При наличии Toolbox™ Параллельные вычисления (Parallel Computing) можно одновременно обучить все модели (Все), нажав кнопку Использовать параллельные (Use Parallel) в разделе Обучение (Training), прежде чем нажать кнопку Поезд (Train). После нажатия кнопки Обучить открывается диалоговое окно Открытие параллельного пула, которое остается открытым, пока приложение открывает параллельный пул работников. В течение этого времени взаимодействие с программным обеспечением невозможно. После открытия пула приложение одновременно обучает модели.
Сортируйте обученные модели на основе среднеквадратичной ошибки (RMSE). На панели Модели (Models) откройте список Сортировать по (Sort by) и выберите RMSE (Validation).
На панели Модели (Models) щелкните звездообразные значки рядом с тремя моделями с наименьшей проверкой RMSE. Приложение выделяет самый низкий RMSE проверки, указывая его в рамке. В этом примере обученная модель Rational Quadratic GPR имеет самый низкий RMSE проверки.
Приложение отображает график ответа на данные автомобиля. Синие точки являются истинными значениями, а желтые - прогнозируемыми значениями. На панели Модели (Models) слева отображается RMSE проверки для каждой модели.
Примечание
Проверка вносит некоторую случайность в результаты. Результаты проверки модели могут отличаться от результатов, показанных в этом примере.
Проверьте производительность тестового набора наиболее эффективных моделей. Начните с импорта тестовых данных в приложение.
На вкладке Обучающийся регрессии в разделе Тестирование щелкните Тестовые данные и выберите Из рабочей области.
В диалоговом окне Import Test Data выберите cartableTest из списка Test Data Set Variable.
Как показано в диалоговом окне, приложение идентифицирует переменные ответа и предиктора.
Щелкните Импорт (Import).
Вычислите RMSE лучших предустановленных моделей на cartableTest данные. Для удобства вычислите набор тестов RMSE для всех моделей одновременно. На вкладке Regression Learner в разделе Testing нажмите Test All и выберите Test All. Приложение вычисляет производительность тестового набора модели, обученной на полном наборе данных, включая данные обучения и проверки.
Сортируйте модели на основе тестового набора RMSE. На панели Модели (Models) откройте список Сортировать по (Sort by) и выберите RMSE (Test). Приложение по-прежнему описывает метрику для модели с самым низким RMSE проверки, несмотря на отображение тестового RMSE.
Визуально проверьте характеристики тестового набора моделей. На вкладке Обучающийся регрессии (Regression Learner) в разделе Графики (Plots) щелкните Прогнозируемые и фактические (Predicted vs. Actual) и выберите Тестовые данные (Test Data). Можно переключаться между моделями для сравнения их производительности.
В этом примере обученный Medium Gaussian SVM работает с данными тестового набора лучше, чем две другие модели.
Сравните данные проверки и тестирования RMSE для обученной модели среднего гауссова SVM. На панели Сводка по текущей модели (Current Model Summary) сравните значение RMSE (Проверка) в разделе Результаты обучения (Training Results) со значением RMSE (Test) в разделе Результаты тестирования (Test Results). В этом примере два значения близки, что указывает на то, что проверка RMSE является хорошей оценкой тестового RMSE для этой модели.