rlSimulationOptions

Опции для симуляции сред обучения с подкреплением

Описание

пример

simOpts = rlSimulationOptions возвращает опции по умолчанию для симуляции среды обучения с подкреплением против агента. Вы используете опции симуляции, чтобы задать параметры о симуляции, такие как максимальное количество шагов, чтобы запуститься на симуляцию и количество симуляций, чтобы запуститься. После того, как вы сконфигурируете опции, используйте simOpts как входной параметр для sim.

пример

simOpts = rlSimulationOptions(Name,Value) создает набор опции для симуляции с помощью заданных пар "имя-значение", чтобы заменить значения опции по умолчанию.

Примеры

свернуть все

Создайте набор опций для симуляции среды обучения с подкреплением. Определите номер шагов, чтобы симулировать к 1 000 и сконфигурировать опции, чтобы запустить три симуляции.

Можно определить опции с помощью Имени, пар Значения, когда вы создаете набор опций. Любые опции, которые вы явным образом не устанавливаете, имеют свои значения по умолчанию.

simOpts = rlSimulationOptions(...
    'MaxSteps',1000,...
    'NumSimulations',3)
simOpts = 
  rlSimulationOptions with properties:

                  MaxSteps: 1000
            NumSimulations: 3
               StopOnError: "on"
               UseParallel: 0
    ParallelizationOptions: [1x1 rl.option.ParallelSimulation]

В качестве альтернативы создайте набор опций по умолчанию и используйте запись через точку, чтобы изменить некоторые значения.

simOpts = rlSimulationOptions;
simOpts.MaxSteps = 1000;
simOpts.NumSimulations = 3;

simOpts
simOpts = 
  rlSimulationOptions with properties:

                  MaxSteps: 1000
            NumSimulations: 3
               StopOnError: "on"
               UseParallel: 0
    ParallelizationOptions: [1x1 rl.option.ParallelSimulation]

Входные параметры

свернуть все

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'MaxSteps',1000,'StopOnError',"On"

Количество шагов, чтобы запустить симуляцию, заданную как разделенная запятой пара, состоящая из 'MaxSteps' и положительное целое число. В общем случае вы задаете условия завершения эпизода в среде. Это значение является максимальным количеством шагов, чтобы запуститься в симуляции, если те условия завершения не соблюдают.

Пример: 'MaxSteps',1000

Количество симуляций, чтобы запуститься, заданный как разделенная запятой пара, состоящая из 'NumSimulations' и положительное целое число. В начале каждой симуляции, sim сбрасывает среду. Вы задаете то, что происходит на сбросе среды, когда вы создаете среду. Например, сброс среды в начале каждого эпизода может включать значения начального состояния рандомизации, если вы конфигурируете свою среду, чтобы сделать так. В этом случае выполнение нескольких симуляций позволяет вам подтверждать производительность обученного агента в области значений начальных условий.

Пример: 'NumSimulations',10

Остановите симуляцию, когда ошибка произойдет, заданная как "off" или "on". Когда этой опцией является "off", ошибки зафиксированы и возвращены в SimulationInfo выход sim, и симуляция продолжается.

Отметьте для использования параллельной симуляции, заданной как разделенная запятой пара, состоящая из 'UseParallel' и любой true или false. Установка этой опции к true конфигурирует моделирование, чтобы использовать параллельные вычисления. Чтобы задать опции для параллельной симуляции, используйте ParallelizationOptions свойство.

Используя параллельные вычисления требует программного обеспечения Parallel Computing Toolbox™.

Для получения дополнительной информации об обучении с помощью параллельных вычислений, смотрите, Обучают Агентов Обучения с подкреплением.

Пример: 'UseParallel',true

Опции распараллеливания, чтобы управлять параллельной симуляцией, заданной как разделенная запятой пара, состоящая из 'ParallelizationOptions' и ParallelTraining объект. Для получения дополнительной информации об обучении с помощью параллельных вычислений, смотрите, Обучают Агентов Обучения с подкреплением.

ParallelTraining объект имеет следующие свойства, которые можно изменить запись через точку использования после создания rlTrainingOptions объект.

Инициализация Randomizer для рабочих, заданных как один следующее:

  • –1 — Присвойте уникальный случайный seed каждому рабочему. Значение seed является ID рабочего.

  • –2 — Не присваивайте случайный seed рабочим.

  • Вектор — Вручную указывает, что случайный seed для каждого работает. Число элементов в векторе должно совпадать с количеством рабочих.

Отправьте переменные и рабочей области модели, чтобы быть параллельными рабочим, заданным как "on" или "off". Когда опцией является "on", хост отправляет переменные, используемые в моделях и заданные в основной рабочей области MATLAB® рабочим.

Дополнительные файлы, чтобы присоединить к параллельному пулу, заданному как массив строк или массив строк.

Функция, чтобы запуститься перед симуляцией запускается, заданный как указатель на функцию, имеющую входные параметры. Эта функция запущена однажды на рабочего, прежде чем симуляция начнется. Запишите эту функцию, чтобы выполнить любую обработку, в которой вы нуждаетесь до симуляции.

Функция, чтобы выполняться после концов симуляции, заданных как указатель на функцию, имеющую входные параметры. Можно записать эту функцию, чтобы очистить рабочую область или выполнить другую обработку после того, как симуляция завершит работу.

Выходные аргументы

свернуть все

Набор опции для симуляции сред обучения с подкреплением, возвращенных как rlSimulationOptions объект. Значения свойств simOpts инициализируются к значениям по умолчанию или к значениям, которые вы задаете с Name,Value пары. Можно далее изменить значения свойств с помощью записи через точку. Используйте набор опций в качестве входного параметра с sim когда вы симулируете среду обучения с подкреплением против агента.

Смотрите также

Введенный в R2019a