Гипероптимизация параметров управления в приложении Regression Learner

После того, как вы выберете конкретный тип модели, чтобы обучаться, например, дерево решений или машина опорных векторов (SVM), можно настроить модель путем выбора различных расширенных настроек. Например, можно изменить минимальный листовой размер дерева решений или ограничение поля SVM. Некоторые из этих опций являются внутренними параметрами модели или гиперпараметрами, которые могут строго влиять на ее производительность. Вместо того, чтобы вручную выбрать эти опции, можно использовать гипероптимизацию параметров управления в рамках приложения Regression Learner, чтобы автоматизировать выбор гиперзначений параметров. Для данного типа модели приложение пробует различные комбинации гиперзначений параметров при помощи схемы оптимизации, которая стремится минимизировать среднеквадратическую ошибку (MSE) модели и возвращает модель оптимизированными гиперпараметрами. Можно использовать получившуюся модель, когда вы были бы любая другая обученная модель.

Примечание

Поскольку гипероптимизация параметров управления может привести к сверхподобранной модели, рекомендуемый подход должен создать отдельный набор тестов прежде, чем импортировать ваши данные в приложение Regression Learner. После того, как вы обучаете свою optimizable модель, можно экспортировать ее из приложения и видеть, как она выполняет на наборе тестов. Для примера смотрите, Обучают Модель Регрессии Используя Гипероптимизацию параметров управления в Приложении Regression Learner.

Чтобы выполнить гипероптимизацию параметров управления в Regression Learner, выполните эти шаги:

Выберите тип модели и решите который гиперпараметры оптимизировать. Смотрите Избранные Гиперпараметры, чтобы Оптимизировать.
Примечание
Гипероптимизация параметров управления не поддержана для моделей линейной регрессии.
(Необязательно) Задайте, как оптимизация выполняется. Для получения дополнительной информации см. Опции Оптимизации.
Обучите свою модель. Используйте Минимальный График MSE отследить результаты оптимизации.
Смотрите свою обученную модель. Смотрите Результаты оптимизации.

Выберите Hyperparameters to Optimize

В приложении Regression Learner, в разделе Model Type вкладки Regression Learner, кликают по стреле, чтобы открыть галерею. Галерея включает optimizable модели, что можно обучить гипероптимизацию параметров управления использования.

После того, как вы выбираете optimizable модель, можно выбрать, какой из ее гиперпараметров вы хотите оптимизировать. В разделе Model Type выберите Advanced > Advanced. Приложение открывает диалоговое окно, в котором можно установить флажки Optimize для гиперпараметров, которые вы хотите оптимизировать. Под Values задайте фиксированные значения для гиперпараметров, которые вы не хотите оптимизировать или которые не optimizable.

Эта таблица описывает гиперпараметры, которые можно оптимизировать для каждого типа модели и поисковой области значений каждого гиперпараметра. Это также включает дополнительные гиперпараметры, для которых можно задать фиксированные значения.

Модель	Гиперпараметры Optimizable	Дополнительные гиперпараметры	Примечания
Optimizable Tree	Minimum leaf size – Программное обеспечение ищет среди целых чисел, масштабируемых журналом в области значений `[1,max(2,floor(n/2))]`, где `n` количество наблюдений.	Surrogate decision splits Maximum surrogates per node	Для получения дополнительной информации см. Усовершенствованные Опции Дерева Регрессии.
Optimizable SVM	Kernel function – Программное обеспечение ищет среди `Gaussian`, `Linear`, `Quadratic`, и `Cubic`. Box constraint – Программное обеспечение ищет среди положительных значений, масштабируемых журналом в области значений `[0.001,1000]`. Kernel scale – Программное обеспечение ищет среди положительных значений, масштабируемых журналом в области значений `[0.001,1000]`. \epsilon Программное обеспечение ищет среди положительных значений, масштабируемых журналом в области значений `[0.001,100]iqr(Y)/1.349`, где `Y` переменная отклика. Standardize data* – Программное обеспечение ищет между `true` и `false`.		Box constraint optimizable гиперпараметр комбинирует Box constraint mode и расширенные настройки Manual box constraint предварительно установленных моделей SVM. Kernel scale optimizable гиперпараметр комбинирует Kernel scale mode и расширенные настройки Manual kernel scale предварительно установленных моделей SVM. Можно оптимизировать Kernel scale optimizable гиперпараметр только, когда значением Kernel function является `Gaussian`. Если вы не задаете значение для Kernel scale путем снятия флажка Optimize, приложение использует значение Manual `1` по умолчанию, когда Kernel function имеет значение кроме `Gaussian`. Epsilon optimizable гиперпараметр комбинирует Epsilon mode и расширенные настройки Manual epsilon предварительно установленных моделей SVM. Для получения дополнительной информации см. Усовершенствованные Опции SVM.
Optimizable GPR	Basis function – Программное обеспечение ищет среди `Zero`, `Constant`, и `Linear`. Kernel function – Программное обеспечение ищет среди: `Nonisotropic Rational Quadratic` `Isotropic Rational Quadratic` `Nonisotropic Squared Exponential` `Isotropic Squared Exponential` `Nonisotropic Matern 5/2` `Isotropic Matern 5/2` `Nonisotropic Matern 3/2` `Isotropic Matern 3/2` `Nonisotropic Exponential` `Isotropic Exponential` Kernel scale – Программное обеспечение ищет среди действительных значений в области значений `[0.001,1]XMaxRange`, где `XMaxRange = max(max(X) – min(X))` и `X` данные о предикторе. \sigma* Программное обеспечение ищет среди действительных значений в области значений `[0.0001,max(0.001,10std(Y))]`, где `Y` переменная отклика. Standardize* – Программное обеспечение ищет между `true` и `false`.	Signal standard deviation Optimize numeric parameters	Kernel function optimizable гиперпараметр комбинирует Kernel function и расширенные настройки Use isotropic kernel предварительной установки Гауссовы модели процессов. Kernel scale optimizable гиперпараметр комбинирует Kernel mode и расширенные настройки Kernel scale предварительной установки Гауссовы модели процессов. Sigma optimizable гиперпараметр комбинирует Sigma mode и расширенные настройки Sigma предварительной установки Гауссовы модели процессов. Когда вы оптимизируете Kernel scale изотропных функций ядра, только шкала ядра оптимизирована, не стандартное отклонение сигнала. Можно или задать значение Signal standard deviation или использовать его значение по умолчанию. Вы не можете оптимизировать Kernel scale неизотропных функций ядра. Для получения дополнительной информации см. Усовершенствованные Гауссовы Опции Регрессии Процесса.
Optimizable Ensemble	Ensemble method – Программное обеспечение ищет среди `Bag` и `LSBoost`. Minimum leaf size – Программное обеспечение ищет среди целых чисел, масштабируемых журналом в области значений `[1,max(2,floor(n/2))]`, где `n` количество наблюдений. Number of learners – Программное обеспечение ищет среди целых чисел, масштабируемых журналом в области значений `[10,500]`. Learning rate – Программное обеспечение ищет среди действительных значений, масштабируемых журналом в области значений `[0.001,1]`. Number of predictors to sample – Программное обеспечение ищет среди целых чисел в области значений `[1,max(2,p)]`, где `p` количество переменных предикторов.		`Bag` значение Ensemble method optimizable гиперпараметр задает модель Bagged Trees. Точно так же `LSBoost` Значение Ensemble method задает модель Boosted Trees. Number of predictors to sample optimizable гиперпараметр не доступен в расширенных настройках предварительно установленных моделей ансамбля. Для получения дополнительной информации см. Усовершенствованные Опции Ансамбля.

Опции оптимизации

По умолчанию приложение Regression Learner выполняет гиперпараметр, настраивающийся при помощи Байесовой оптимизации. Цель Байесовой оптимизации и оптимизации в целом, состоит в том, чтобы найти точку, которая минимизирует целевую функцию. В контексте гиперпараметра, настраивающего приложение, точка является набором гиперзначений параметров, и целевая функция является функцией потерь или среднеквадратической ошибкой (MSE). Для получения дополнительной информации об основах Байесовой оптимизации смотрите Байесов Рабочий процесс Оптимизации.

Можно задать, как настройка гиперпараметра выполняется. Например, можно изменить метод оптимизации в поиск сетки или ограничить учебное время. На вкладке Regression Learner, в разделе Model Type, выбирают Advanced > Optimizer Options. Приложение открывает диалоговое окно, в котором можно выбрать опции оптимизации.

Эта таблица описывает доступные опции оптимизации и их значения по умолчанию.

Опция	Описание
Optimizer	Значения оптимизатора: `Bayesopt` (значение по умолчанию) – Использование Байесова оптимизация. Внутренне, приложение вызывает `bayesopt` функция. `Grid search` – Используйте поиск сетки с количеством значений на размерность, определенную значением Number of grid divisions. Приложение ищет в произвольном порядке, с помощью универсальной выборки без замены от сетки. `Random search` – Поиск наугад среди точек, где число точек соответствует значению Iterations.
Acquisition function	Когда приложение выполняет Байесовую оптимизацию для настройки гиперпараметра, это использует функцию приобретения, чтобы определить следующий набор гиперзначений параметров, чтобы попробовать. Значения функции приобретения: `Expected improvement per second plus` (значение по умолчанию) `Expected improvement` `Expected improvement plus` `Expected improvement per second` `Lower confidence bound` `Probability of improvement` Для получения дополнительной информации о том, как эти функции приобретения работают в контексте Байесовой оптимизации, смотрите Типы Функции Приобретения.
Iterations	Каждая итерация соответствует комбинации гиперзначений параметров, которые пробует приложение. Когда вы используете Байесовую оптимизацию или случайный поиск, задаете положительное целое число, которое определяет номер итераций. Значением по умолчанию является `30`. Когда вы используете поиск сетки, приложение игнорирует значение Iterations и оценивает потерю в каждой точке в целой сетке. Можно установить учебное ограничение по времени останавливать процесс оптимизации преждевременно.
Training time limit	Чтобы установить учебное ограничение по времени, выберите эту опцию и установите опцию Maximum training time in seconds. По умолчанию приложение не имеет учебного ограничения по времени.
Maximum training time in seconds	Установите учебное ограничение по времени в секундах как положительное вещественное число. Значением по умолчанию является `300`. Время выполнения может превысить учебное ограничение по времени, потому что этот предел не прерывает оценку итерации.
Number of grid divisions	Когда вы используете поиск сетки, устанавливаете положительное целое число как количество значений попытки приложения каждого числового гиперпараметра. Приложение игнорирует это значение для категориальных гиперпараметров. Значением по умолчанию является `10`.

Минимальный график MSE

После определения, который гиперпараметры модели оптимизировать и устанавливающий любые дополнительные (дополнительные) опции оптимизации, обучите свою optimizable модель. На вкладке Regression Learner, в разделе Training, нажимают Train. Приложение создает Minimum MSE Plot, который оно обновляет, когда оптимизация запускает.

Примечание

Когда вы обучаете optimizable модель, приложение отключает кнопку Use Parallel. После того, как обучение завершено, приложение делает кнопку доступной снова, когда вы выбираете nonoptimizable модель. Кнопка прочь по умолчанию.

Минимальный график среднеквадратической ошибки (MSE) отображает следующую информацию:

Estimated minimum MSE – Каждая голубая точка соответствует оценке минимального MSE, вычисленного процессом оптимизации при считании всех наборов гиперзначений параметров попробованными до сих пор, включая текущую итерацию.
Оценка основана на верхнем доверительном интервале текущей объективной модели MSE, как упомянуто в описании Bestpoint hyperparameters.
Если вы используете сетку поисковый или случайный поиск, чтобы выполнить гипероптимизацию параметров управления, приложение не отображает эти голубые точки.
Observed minimum MSE – Каждая темно-синяя точка соответствует наблюдаемому минимальному MSE, вычисленному до сих пор процессом оптимизации. Например, в третьей итерации, синяя точка соответствует минимуму MSE, наблюдаемого в первых, вторых, и третьих итерациях.
Bestpoint hyperparameters – Красный квадрат указывает на итерацию, которая соответствует оптимизированным гиперпараметрам. Можно найти значения оптимизированных гиперпараметров перечисленными в верхнем правом углу графика под Optimization Results.
Оптимизированные гиперпараметры не всегда обеспечивают наблюдаемый минимальный MSE. Когда приложение выполняет гиперпараметр, настраивающийся при помощи Байесовой оптимизации (см. Опции Оптимизации для краткого введения), это выбирает набор гиперзначений параметров, который минимизирует верхний доверительный интервал объективной модели MSE, а не набор, который минимизирует MSE. Для получения дополнительной информации смотрите 'Criterion','min-visited-upper-confidence-interval' аргумент пары "имя-значение" bestPoint.
Minimum error hyperparameters – Желтая точка указывает на итерацию, которая соответствует гиперпараметрам, которые дают к наблюдаемому минимальному MSE.
Для получения дополнительной информации смотрите 'Criterion','min-observed' аргумент пары "имя-значение" bestPoint.
Если вы используете поиск сетки, чтобы выполнить гипероптимизацию параметров управления, Bestpoint hyperparameters и Minimum error hyperparameters являются тем же самым.

Упускающая суть в графике соответствует NaN минимальные значения MSE.

Результаты оптимизации

Когда приложение закончило настраивать гиперпараметры модели, оно возвращает модель, обученную с оптимизированными гиперзначениями параметров (Bestpoint hyperparameters). Метрики модели, отображенные графики и экспортируемая модель соответствуют этой обученной модели с фиксированными гиперзначениями параметров.

Чтобы смотреть результаты оптимизации обученной optimizable модели, выберите модель в History, перечисляют и смотрят на панель Current Model.

Панель Current Model включает эти разделы:

Results – Показывает производительность optimizable модели. Статистика Модели Вида на море в Окне Текущей модели
Model Type – Отображает тип optimizable модели и перечисляет любые фиксированные гиперзначения параметров
Optimized Hyperparameters – Перечисляет значения оптимизированных гиперпараметров
Hyperparameter Search Range – Отображает поисковые области значений для оптимизированных гиперпараметров
Optimizer Options – Показывает выбранные варианты оптимизатора

Когда вы выполняете настройку гиперпараметра с помощью Байесовой оптимизации, и вы экспортируете обученную optimizable модель в рабочую область как структура, структура включает BayesianOptimization объект в HyperParameterOptimizationResult поле . Объект содержит результаты оптимизации, выполняемой в приложении.

Когда вы генерируете код MATLAB^® из обученной optimizable модели, сгенерированный код использует фиксированные и оптимизированные гиперзначения параметров модели, чтобы обучаться на новых данных. Сгенерированный код не включает процесс оптимизации. Для получения информации о том, как выполнить Байесовую оптимизацию, когда вы используете подходящую функцию, смотрите, что Байесова Оптимизация Использует Подходящую Функцию.

Документация