Оптимизация, в ее самой общей форме, является процессом определения местоположения точки, которая минимизирует действительную функцию, названную objective function. Байесова оптимизация является именем одного такого процесса. Байесова оптимизация внутренне обеспечивает Гауссову модель процесса целевой функции и использует оценки целевой функции, чтобы обучить модель. Инновациями в Байесовой оптимизации является использование acquisition function, который использование алгоритма определить следующий вопрос, чтобы оценить. Функция приобретения может сбалансировать выборку в точках, которые низко смоделировали целевые функции и области исследования, которые еще не были смоделированы хорошо. Для получения дополнительной информации см. Байесов Алгоритм Оптимизации.
Байесова оптимизация является частью Statistics and Machine Learning Toolbox™, потому что это является подходящим к оптимизации hyperparameters алгоритмов регрессии и классификации. Гиперпараметр является внутренним параметром классификатора или функции регрессии, такой как ограничение поля машины опорных векторов или скорость обучения устойчивого ансамбля классификации. Эти параметры могут строго влиять на производительность классификатора или регрессора, и все же это обычно затрудняет или длительно, чтобы оптимизировать их. Смотрите Байесовы Характеристики Оптимизации.
Как правило, оптимизация гиперпараметров означает, что вы пытаетесь минимизировать потерю перекрестной проверки классификатора или регрессии.
Можно выполнить Байесовую оптимизацию несколькими способами:
fitcauto — Передайте предиктор и данные об ответе к fitcauto функция, чтобы оптимизировать через выбор типов классификатора и гиперзначений параметров. В отличие от других подходов, с помощью fitcauto не требует, чтобы вы задали одну модель перед оптимизацией; выбор модели является частью процесса оптимизации. Оптимизация минимизирует потерю перекрестной проверки, которая моделируется с помощью multi-TreeBagger ансамбль для регрессии, не Гауссова процесса, как используется в других подходах. Смотрите Байесовую Оптимизацию.
Classification Learner и приложения Regression Learner — модели Choose Optimizable в приложениях машинного обучения и автоматически настраивают их гиперзначения параметров при помощи Байесовой оптимизации. Оптимизация минимизирует потерю модели на основе выбранных опций валидации. Этот подход имеет меньше настраивающихся опций, чем использование подходящей функции, но позволяет вам выполнять Байесовую оптимизацию непосредственно в приложениях. Смотрите Гипероптимизацию параметров управления в Приложении Classification Learner и Гипероптимизацию параметров управления в Приложении Regression Learner.
Подходящая функция — Включает OptimizeHyperparameters пара "имя-значение" во многих подходящих функциях, чтобы применить Байесовую оптимизацию автоматически. Оптимизация минимизирует потерю перекрестной проверки. Этот подход дает вам меньше настраивающихся опций, чем использование bayesopt, но позволяет вам выполнить Байесовую оптимизацию более легко. Смотрите, что Байесова Оптимизация Использует Подходящую Функцию.
bayesopt — Осуществите большую часть контроля своей оптимизацией путем вызова bayesopt непосредственно. Этот подход требует, чтобы вы записали целевую функцию, которая не должна представлять потерю перекрестной проверки. Смотрите, что Байесова Оптимизация Использует bayesopt.
Чтобы минимизировать ошибку в перекрестном подтвержденном ответе через Байесовую оптимизацию, выполните эти шаги.
Выберите свою классификацию или решатель регрессии среди fitcdiscr, fitcecoc, fitcensemble, fitckernel, fitcknn, fitclinear, fitcnb, fitcsvm, fitctree, fitrensemble, fitrgp, fitrkernel, fitrlinear, fitrsvm, или fitrtree.
Выберите гиперпараметры, чтобы оптимизировать, и передать их в OptimizeHyperparameters пара "имя-значение". Для каждой подходящей функции можно выбрать из набора гиперпараметров. Смотрите Имеющие право Гиперпараметры для Подходящих Функций или используйте hyperparameters функция, или консультируются с подходящей страницей ссылки на функцию.
Можно передать массив ячеек названий параметра. Можно также установить 'auto' как OptimizeHyperparameters значение, которое выбирает типичный набор гиперпараметров, чтобы оптимизировать, или 'all' оптимизировать все доступные параметры.
Поскольку ансамбль соответствует функциям fitcecoc, fitcensemble, и fitrensemble, также включайте параметры слабых учеников в OptimizeHyperparameters cellArray.
Опционально, создайте структуру опций для HyperparameterOptimizationOptions пара "имя-значение". См. Опции Гипероптимизации параметров управления для Подходящих Функций.
Вызовите подходящую функцию с соответствующими парами "имя-значение".
Для примеров смотрите, Оптимизируют Подгонку Классификатора SVM Используя Байесовую Оптимизацию и Оптимизируют Повышенный Ансамбль Регрессии. Кроме того, каждая подходящая страница ссылки на функцию содержит Байесов пример оптимизации.
bayesoptВыполнять Байесовую оптимизацию с помощью bayesopt, выполните эти шаги.
Подготовьте свои переменные. Смотрите Переменные для Байесовой Оптимизации.
Создайте свою целевую функцию. Смотрите Байесовы Целевые функции Оптимизации. При необходимости создайте ограничения, также. Смотрите Ограничения в Байесовой Оптимизации. Чтобы включать дополнительные параметры в целевую функцию, смотрите Функции Параметризации (MATLAB).
Выберите опции, означая bayseopt Name,Value пары. Вы не обязаны передавать любые опции bayesopt но вы обычно делаете, особенно при попытке улучшить решение.
Вызовите bayesopt.
Исследуйте решение. Можно решить возобновить оптимизацию при помощи resume, или перезапустите оптимизацию, обычно с модифицированными опциями.
Для примера смотрите, Оптимизируют перекрестный Подтвержденный Классификатор SVM Используя bayesopt.
Байесовы алгоритмы оптимизации подходят лучше всего для этих проблемных типов.
| Характеристика | Детали |
|---|---|
| Низкая размерность | Байесова оптимизация работает лучше всего в небольшом числе размерностей, обычно 10 или меньше. В то время как Байесова оптимизация может решить некоторые задачи с несколькими дюжинами переменных, она не рекомендуется для размерностей выше, чем приблизительно 50. |
| Дорогая цель | Байесова оптимизация спроектирована для целевых функций, которые не спешат оценивать. Это имеет значительные издержки, обычно несколько секунд для каждой итерации. |
| Низкая точность | Байесова оптимизация не обязательно дает очень точные результаты. Если у вас есть детерминированная целевая функция, можно иногда улучшать точность путем запуска стандартного алгоритма оптимизации с |
| Глобальное решение | Байесова оптимизация является глобальным методом. В отличие от многих других алгоритмов, чтобы искать глобальное решение вы не должны запускать алгоритм с различных начальных точек. |
| Гиперпараметры | Байесова оптимизация является подходящей к оптимизации hyperparameters другой функции. Гиперпараметр является параметром, который управляет поведением функции. Например, |
Имеющие право гиперпараметры для подходящих функций
При оптимизации использования подходящей функции вы имеете эти опции в наличии в HyperparameterOptimizationOptions пара "имя-значение". Дайте значение как структуру. Все поля в структуре являются дополнительными.
| Имя поля | Значения | Значение по умолчанию |
|---|---|---|
Optimizer |
| 'bayesopt' |
AcquisitionFunctionName |
Приобретение функционирует, чьи имена включают | 'expected-improvement-per-second-plus' |
MaxObjectiveEvaluations | Максимальное количество оценок целевой функции. | 30'bayesopt' или 'randomsearch', и целая сетка для 'gridsearch' |
MaxTime | Ограничение по времени в виде положительного действительного. Ограничение по времени находится в секундах, как измерено | Inf |
NumGridDivisions | Для 'gridsearch', количество значений в каждой размерности. Значение может быть вектором положительных целых чисел, дающих количество значений для каждой размерности или скаляр, который применяется ко всем размерностям. Это поле проигнорировано для категориальных переменных. | 10 |
ShowPlots | Логическое значение, указывающее, показать ли графики. Если true, это поле строит лучшее значение целевой функции против номера итерации. Если существуют один или два параметра оптимизации, и если Optimizer 'bayesopt', затем ShowPlots также строит модель целевой функции против параметров. | true |
SaveIntermediateResults | Логическое значение, указывающее, сохранить ли результаты когда Optimizer 'bayesopt'. Если true, это поле перезаписывает переменную рабочей области под названием 'BayesoptResults' в каждой итерации. Переменной является BayesianOptimization объект. | false |
Verbose | Отобразитесь к командной строке.
Для получения дополнительной информации смотрите | 1 |
UseParallel | Логическое значение, указывающее, запустить ли Байесовую оптимизацию параллельно, которая требует Parallel Computing Toolbox™. Из-за невоспроизводимости синхронизации параллели, параллельная Байесова оптимизация не обязательно приводит к восстанавливаемым результатам. Для получения дополнительной информации смотрите Параллельную Байесовую Оптимизацию. | false |
Repartition | Логическое значение, указывающее, повторно разделить ли перекрестную проверку в каждой итерации. Если
| false |
| Используйте не больше, чем одни из следующих трех имен полей. | ||
CVPartition | cvpartition объект, как создано cvpartition. | 'Kfold',5 если вы не задаете поля перекрестной проверки |
Holdout | Скаляр в области значений (0,1) представление части затяжки. | |
Kfold | Целое число, больше, чем 1. | |
BayesianOptimization | bayesopt