Exponenta Banner

rlSimulationOptions

Опции для симуляции агента обучения с подкреплением в среде

расширьте все на странице

Описание

Используйте rlSimulationOptions объект задать опции симуляции для симуляции агента обучения с подкреплением в среде. Чтобы выполнить симуляцию, используйте sim.

Для получения дополнительной информации об обучении агентов и симуляции, смотрите, Обучают Агентов Обучения с подкреплением.

Создание

Синтаксис

simOpts = rlSimulationOptions
opt = rlSimulationOptions(Name,Value)

Описание

simOpts = rlSimulationOptions возвращает опции по умолчанию для симуляции среды обучения с подкреплением против агента. Используйте опции симуляции, чтобы задать параметры о симуляции, такие как максимальное количество шагов, чтобы запуститься на симуляцию и количество симуляций, чтобы запуститься. После конфигурирования опций используйте simOpts как входной параметр для sim.

пример

opt = rlSimulationOptions(Name,Value) создает набор опций симуляции с заданными Свойствами с помощью одного или нескольких аргументов пары "имя-значение".

Свойства

развернуть все

Количество шагов, чтобы запустить симуляцию в виде разделенной запятой пары, состоящей из 'MaxSteps' и положительное целое число. В общем случае вы задаете условия завершения эпизода в среде. Это значение является максимальным количеством шагов, чтобы запуститься в симуляции, если те условия завершения не соблюдают.

Пример: 'MaxSteps',1000

Количество симуляций, чтобы запуститься в виде разделенной запятой пары, состоящей из 'NumSimulations' и положительное целое число. В начале каждой симуляции, sim сбрасывает среду. Вы задаете то, что происходит на сбросе среды, когда вы создаете среду. Например, сброс среды в начале каждого эпизода может включать значения начального состояния рандомизации, если вы конфигурируете свою среду, чтобы сделать так. В этом случае выполнение нескольких симуляций позволяет вам подтверждать производительность обученного агента в области значений начальных условий.

Пример: 'NumSimulations',10

Остановите симуляцию, когда ошибка произойдет в виде "off" или "on". Когда этой опцией является "off", ошибки зафиксированы и возвращены в SimulationInfo выход sim, и симуляция продолжается.

Отметьте для использования параллельной симуляции в виде разделенной запятой пары, состоящей из 'UseParallel' и любой true или false. Установка этой опции к true конфигурирует моделирование, чтобы использовать параллельные вычисления. Чтобы задать опции для параллельной симуляции, используйте ParallelizationOptions свойство.

Используя параллельные вычисления требует программного обеспечения Parallel Computing Toolbox™.

Для получения дополнительной информации об обучении с помощью параллельных вычислений, смотрите, Обучают Агентов Обучения с подкреплением.

Пример: 'UseParallel',true

Опции распараллеливания, чтобы управлять параллельной симуляцией в виде разделенной запятой пары, состоящей из 'ParallelizationOptions' и ParallelTraining объект. Для получения дополнительной информации об обучении с помощью параллельных вычислений, смотрите, Обучают Агентов Обучения с подкреплением.

ParallelTraining объект имеет следующие свойства, которые можно изменить запись через точку использования после создания rlTrainingOptions объект.

Инициализация Randomizer для рабочих в виде одного следующее:

  • –1 — Присвойте уникальный случайный seed каждому рабочему. Значение seed является ID рабочего.

  • –2 — Не присваивайте случайный seed рабочим.

  • Вектор — Вручную указывает, что случайный seed для каждого работает. Число элементов в векторе должно совпадать с количеством рабочих.

Отправьте переменные и рабочей области модели, чтобы быть параллельными рабочим в виде "on" или "off". Когда опцией является "on", хост отправляет переменные, используемые в моделях и заданные в основной рабочей области MATLAB® рабочим.

Дополнительные файлы, чтобы присоединить к параллельному пулу в виде массива строк или массива строк.

Функция, чтобы запуститься перед симуляцией запускается в виде указателя на функцию, имеющую входные параметры. Эта функция запущена однажды на рабочего, прежде чем симуляция начнется. Запишите эту функцию, чтобы выполнить любую обработку, в которой вы нуждаетесь до симуляции.

Функция, чтобы выполняться после концов симуляции в виде указателя на функцию, имеющую входные параметры. Можно записать эту функцию, чтобы очистить рабочую область или выполнить другую обработку после того, как симуляция завершит работу.

Функции объекта

simСимулируйте обученного агента обучения с подкреплением в заданной среде

Примеры

свернуть все

Скрипт Open Live Script

Создайте набор опций для симуляции среды обучения с подкреплением. Определите номер шагов, чтобы симулировать к 1 000 и сконфигурировать опции, чтобы запустить три симуляции.

Можно определить опции с помощью Имени, пар Значения, когда вы создаете набор опций. Любые опции, которые вы явным образом не устанавливаете, имеют свои значения по умолчанию.

simOpts = rlSimulationOptions(...
    'MaxSteps',1000,...
    'NumSimulations',3)
simOpts = 
  rlSimulationOptions with properties:

                  MaxSteps: 1000
            NumSimulations: 3
               StopOnError: "on"
               UseParallel: 0
    ParallelizationOptions: [1x1 rl.option.ParallelSimulation]

В качестве альтернативы создайте набор опций по умолчанию и используйте запись через точку, чтобы изменить некоторые значения.

simOpts = rlSimulationOptions;
simOpts.MaxSteps = 1000;
simOpts.NumSimulations = 3;

simOpts
simOpts = 
  rlSimulationOptions with properties:

                  MaxSteps: 1000
            NumSimulations: 3
               StopOnError: "on"
               UseParallel: 0
    ParallelizationOptions: [1x1 rl.option.ParallelSimulation]

Смотрите также

Темы

Введенный в R2019a

Документация Reinforcement Learning Toolbox
Поддержка