Моделирование среды обучения усилению с помощью агента, настроенного для этой среды. В этом примере загрузите среду и агент, которые уже настроены. Среда представляет собой дискретную среду типа cart-pole, созданную с помощью rlPredefinedEnv. Агент является градиентом политики (rlPGAgent) агент. Дополнительные сведения о среде и агенте, используемых в этом примере, см. в разделе Подготовка агента PG к балансировке системы Cart-Pole.

rng(0) % for reproducibility
load RLSimExample.mat
env

env = 
  CartPoleDiscreteAction with properties:

                  Gravity: 9.8000
                 MassCart: 1
                 MassPole: 0.1000
                   Length: 0.5000
                 MaxForce: 10
                       Ts: 0.0200
    ThetaThresholdRadians: 0.2094
               XThreshold: 2.4000
      RewardForNotFalling: 1
        PenaltyForFalling: -5
                    State: [4x1 double]

agent

agent = 
  rlPGAgent with properties:

    AgentOptions: [1x1 rl.option.rlPGAgentOptions]

Как правило, агент обучается с помощью train и моделируют среду для проверки эффективности обучаемого агента. В этом примере смоделируйте среду с помощью загруженного агента. Настройте параметры моделирования, указав, что моделирование выполняется в течение 100 шагов.

simOpts = rlSimulationOptions('MaxSteps',100);

Для предварительно определенной среды cart-pole, используемой в этом примере. вы можете использовать plot для создания визуализации системы тележек. При моделировании среды этот график обновляется автоматически, что позволяет наблюдать за развитием системы во время моделирования.

plot(env)

Моделирование среды.

experience = sim(env,agent,simOpts)

experience = struct with fields:
       Observation: [1x1 struct]
            Action: [1x1 struct]
            Reward: [1x1 timeseries]
            IsDone: [1x1 timeseries]
    SimulationInfo: [1x1 struct]

Структура вывода experience записывает наблюдения, собранные из среды, действие и вознаграждение, а также другие данные, собранные во время моделирования. Каждое поле содержит timeseries объект или структура timeseries объекты данных. Например, experience.Action является timeseries содержащий действие, оказываемое агентом на систему тележек на каждом этапе моделирования.

experience.Action

ans = struct with fields:
    CartPoleAction: [1x1 timeseries]

Смоделировать среду, созданную для модели Simulink ®, используемой в примере Обучение нескольких агентов выполнению совместной задачи, используя агентов, обученных этому примеру.

Загрузите агенты в рабочую область MATLAB ®.

load rlCollaborativeTaskAgents

Создание среды для rlCollaborativeTask Модель Simulink ®, которая имеет два блока агентов. Поскольку агенты используются двумя блоками (agentA и agentB) уже находятся в рабочей области, для создания среды не требуется передавать их спецификации наблюдения и действий.

env = rlSimulinkEnv('rlCollaborativeTask',["rlCollaborativeTask/Agent A","rlCollaborativeTask/Agent B"]);

Загрузите параметры, необходимые для rlCollaborativeTask Запускаемая модель Simulink ®.

rlCollaborativeTaskParams

Имитация агентов против окружающей среды, сохранение опыта в xpr.

xpr = sim(env,[agentA agentB]);

Постройте график действий обоих агентов.

subplot(2,1,1); plot(xpr(1).Action.forces)
subplot(2,1,2); plot(xpr(2).Action.forces)