Сконфигурируйте учебные параметры и обучите агент изучения укрепления. Как правило, перед обучением, необходимо сконфигурировать среду и агент. В данном примере загрузите среду и агент, которые уже сконфигурированы. Среда является дискретной полюсной корзиной средой, созданной с rlPredefinedEnv. Агент является Градиентом политики (rlPGAgent) агент. Для получения дополнительной информации о среде и агенте, используемом в этом примере, смотрите Train Агент PG, чтобы Сбалансировать полюсную Корзиной Систему.

rng(0); % for reproducibility
load RLTrainExample.mat
env

env = 
  CartPoleDiscreteAction with properties:

                  Gravity: 9.8000
                 MassCart: 1
                 MassPole: 0.1000
                   Length: 0.5000
                 MaxForce: 10
                       Ts: 0.0200
    ThetaThresholdRadians: 0.2094
               XThreshold: 2.4000
      RewardForNotFalling: 1
        PenaltyForFalling: -5
                    State: [4×1 double]

agent

agent = 
  rlPGAgent with properties:

    AgentOptions: [1×1 rl.option.rlPGAgentOptions]

Чтобы обучить этот агент, необходимо сначала задать учебные параметры с помощью rlTrainingOptions. Эти параметры включают максимальное количество эпизодов, чтобы обучаться, максимальные шаги на эпизод и условия для завершения обучения. В данном примере используйте максимум 1 000 эпизодов и 500 шагов на эпизод. Сообщите обучению остановиться, когда среднее вознаграждение по предыдущим пяти эпизодам достигнет 500. Создайте набор опций по умолчанию и используйте запись через точку, чтобы изменить некоторые значения параметров.

trainOpts = rlTrainingOptions;

trainOpts.MaxEpisodes                = 1000;
trainOpts.MaxStepsPerEpisode         = 500;
trainOpts.StopTrainingCriteria       = "AverageReward";
trainOpts.StopTrainingValue          = 500;
trainOpts.ScoreAveragingWindowLength = 5;

Во время обучения команда train может сохранить агенты кандидата, которые дают хорошие результаты. Далее сконфигурируйте опции обучения, чтобы сохранить агент, когда вознаграждение эпизода превысит 500. Сохраните агент в папку под названием savedAgents.

trainOpts.SaveAgentCriteria  = "EpisodeReward";
trainOpts.SaveAgentValue     = 500;
trainOpts.SaveAgentDirectory = "savedAgents";

Наконец, выключите отображение командной строки. Включите Укрепление, Изучив менеджера по Эпизоду, таким образом, можно наблюдать учебный прогресс визуально.

trainOpts.Verbose = false;
trainOpts.Plots =   "training-progress";

Вы теперь готовы обучить агент PG. Для предопределенной полюсной корзиной среды, используемой в этом примере. можно использовать plot, чтобы сгенерировать визуализацию полюсной корзиной системы.

plot(env);

Когда вы запускаете этот пример, и эта визуализация и Укрепление, Узнавая, что менеджер по Эпизоду обновляет с каждым учебным эпизодом. Поместите их рядом на ваш экран, чтобы наблюдать прогресс и обучить агент. (Это вычисление может занять 20 минут или больше.)

trainingInfo = train(agent,env,trainOpts);

Менеджер по Эпизоду показывает, что обучение успешно достигает условия завершения вознаграждения 500 усредненных по предыдущим пяти эпизодам. В каждом учебном эпизоде train обновляет agent с параметрами, изученными в предыдущем эпизоде. Когда обучение останавливается, можно моделировать среду с обученным агентом, чтобы оценить его производительность. График среды обновляет во время симуляции, как это сделало во время обучения.

simOptions = rlSimulationOptions('MaxSteps',500);
experience = sim(env,agent,simOptions);

Во время обучения train сохраняет на диск любые агенты, которые удовлетворяют условию, заданному с trainOps.SaveAgentCritera и trainOpts.SaveAgentValue. Чтобы проверить производительность любого из тех агентов, можно загрузить данные из файлов данных в папке, вы задали использование trainOpts.SaveAgentDirectory, и моделируйте среду с тем агентом.