В этом примере показано, как обучить многоуровневые модели в Classification Learner и определить лучше всего выполняющие модели на основе их точности валидации. Проверяйте тестовую точность на лучше всего выполняющие модели, обученные на полном наборе данных, включая данные об обучении и валидации.
В Командном окне MATLAB® загрузите ionosphere набор данных, и составляет таблицу, содержащую данные. Разделите таблицу на наборы обучающих данных и наборы тестов.
load ionosphere tbl = array2table(X); tbl.Y = Y; rng('default') % For reproducibility of the data split partition = cvpartition(Y,'Holdout',0.15); idxTrain = training(partition); % Indices for the training set tblTrain = tbl(idxTrain,:); tblTest = tbl(~idxTrain,:);
Открытый Classification Learner. Кликните по вкладке Apps, и затем кликните по стреле справа от раздела Apps, чтобы открыть галерею Apps. В группе Machine Learning and Deep Learning нажмите Classification Learner.
На вкладке Classification Learner, в разделе File, нажимают New Session и выбирают From Workspace.
В диалоговом окне New Session from Workspace выберите tblTrain таблица из списка Data Set Variable.
Как показано в диалоговом окне, приложение выбирает переменные отклика и переменные предикторы. Переменной отклика по умолчанию является Y. Чтобы защитить от сверхподбора кривой, опция валидации по умолчанию является 5-кратной перекрестной проверкой. В данном примере не изменяйте настройки по умолчанию.
Чтобы принять опции по умолчанию и продолжиться, нажмите Start Session.
Обучите все предварительно установленные модели. На вкладке Classification Learner, в разделе Model Type, кликают по стреле, чтобы открыть галерею. В группе Get Started нажмите All. В разделе Training нажмите Train. Приложение обучает один из каждого предварительно установленного типа модели и отображает модели в панели Models.
Совет
Если у вас есть Parallel Computing Toolbox™, можно обучить все модели (All) одновременно путем нажатия кнопки Use Parallel в разделе Training перед нажатием Train. После того, как вы нажимаете Train, диалоговое окно Opening Parallel Pool открывается и остается открытым, в то время как приложение открывает параллельный пул рабочих. В это время вы не можете взаимодействовать с программным обеспечением. После того, как пул открывается, приложение обучает модели одновременно.
Сортировка обученных моделей на основе точности валидации. В панели Models откройте список Sort by и выберите Accuracy (Validation).
В панели Models кликните по значкам звезды рядом с этими тремя моделями с самой высокой точностью валидации. Приложение подсвечивает самую высокую точность валидации путем выделения его в поле. В этом примере обученная модель Medium Gaussian SVM имеет самую высокую точность валидации.
Отображения приложения график рассеивания ionosphere данные. Правильно классифицированные точки отмечены O, и неправильно классифицировали точки, отмечены X. Панель Models слева показывает точность валидации для каждой модели.
Примечание
Валидация вводит некоторую случайность в результаты. Ваши результаты проверки допустимости модели могут варьироваться от результатов, показанных в этом примере.
Проверяйте эффективность набора тестов лучше всего выполняющих моделей. Начните путем импорта тестовых данных в приложение.
На вкладке Classification Learner, в разделе Testing, нажимают Test Data и выбирают From Workspace.
В диалоговом окне Import Test Data выберите tblTest таблица из списка Test Data Set Variable.
Как показано в диалоговом окне, приложение идентифицирует переменные отклика и переменные предикторы.
Нажмите Import.
Вычислите точность лучших предварительно установленных моделей на tblTest данные. Для удобства вычислите точность набора тестов для всех моделей целиком. На вкладке Classification Learner, в разделе Testing, нажимают Test All и выбирают Test All. Приложение вычисляет эффективность набора тестов модели, обученной на полном наборе данных, включая данные об обучении и валидации.
Сортировка моделей на основе точности набора тестов. В панели Models откройте список Sort by и выберите Accuracy (Test). Приложение все еще обрисовывает в общих чертах метрику для модели с самой высокой точностью валидации, несмотря на отображение тестовой точности.
Визуально проверяйте эффективность набора тестов моделей. На вкладке Classification Learner, в разделе Plots, нажимают Confusion Matrix и выбирают Test Data. Можно переключиться между моделями, чтобы сравнить их эффективность.
В этом примере обученный Medium Gaussian SVM остается одна из лучше всего выполняющих моделей на данных о наборе тестов.
Сравните валидацию и протестируйте точность на обученную модель Medium Gaussian SVM. В панели Current Model Summary сравните значение Accuracy (Validation) под Training Results к значению Accuracy (Test) под Test Results. В этом примере эти два значения близки, который указывает, что точность валидации является хорошей оценкой тестовой точности для этой модели.
