Моделируйте среду обучения укрепления с агентом, сконфигурированным для той среды. В данном примере загрузите среду и агент, которые уже сконфигурированы. Среда является дискретной полюсной корзиной средой, созданной с rlPredefinedEnv. Агент является Градиентом политики (rlPGAgent) агент. Для получения дополнительной информации о среде и агенте, используемом в этом примере, смотрите Train Агент PG, чтобы Сбалансировать полюсную Корзиной Систему.

rng(0); % for reproducibility
load RLSimExample.mat
env

env = 
  CartPoleDiscreteAction with properties:

                  Gravity: 9.8000
                 MassCart: 1
                 MassPole: 0.1000
                   Length: 0.5000
                 MaxForce: 10
                       Ts: 0.0200
    ThetaThresholdRadians: 0.2094
               XThreshold: 2.4000
      RewardForNotFalling: 1
        PenaltyForFalling: -5
                    State: [4×1 double]

agent

agent = 
  rlPGAgent with properties:

    AgentOptions: [1×1 rl.option.rlPGAgentOptions]

Как правило, вы обучаете агент с помощью train и моделируете среду, чтобы проверить производительность обученного агента. В данном примере моделируйте среду с помощью агента, который вы загрузили. Сконфигурируйте опции симуляций, указывающие что симуляция, запущенная для 100 шагов..

simOpts = rlSimulationOptions('MaxSteps',100);

Для предопределенной полюсной корзиной среды, используемой в этом примере. можно использовать plot, чтобы сгенерировать визуализацию полюсной корзиной системы. Когда вы моделируете среду, этот график обновления автоматически так, чтобы можно было смотреть, что система развивается во время симуляции.

plot(env);

Моделируйте среду.

experience = sim(env,agent,simOpts)

experience = struct with fields:
       Observation: [1×1 struct]
            Action: [1×1 struct]
            Reward: [1×1 timeseries]
            IsDone: [1×1 timeseries]
    SimulationInfo: [1×1 struct]

Выходная структура experience записывает наблюдения, собранные из среды, действия и вознаграждения и других данных, собранных во время симуляции. Каждое поле содержит, timeseries или структура данных о timeseries. Например, experience.Action является timeseries, содержащим действие, наложенное на полюсную корзиной систему агентом на каждом шаге симуляции.

experience.Action

ans = struct with fields:
    CartPoleAction: [1×1 timeseries]