Количество шагов, которые агент взаимодействует со окружением, прежде чем учиться на своем опыте, заданное как положительное целое число.

The ExperienceHorizon значение должно быть больше или равно MiniBatchSize значение.

Коэффициент клипа для ограничения изменения на каждом шаге обновления политики, заданный как положительная скалярная величина меньше 1.

Вес потери энтропии, заданный как скалярное значение между 0 и 1. Более высокое значение веса потери способствует исследованию агента, применяя штраф за то, что он слишком уверен в том, какое действие предпринять. Это может помочь агенту выйти из локального оптимума.

Для этапа t эпизода функция потерь энтропии, которая добавляется к функции потерь для обновлений актёра, является:

Здесь:

Когда градиенты вычисляются во время обучения, дополнительный компонент градиента вычисляется для минимизации этой функции потерь.

Размер мини-пакета, используемый для каждой эпохи обучения, задается как положительное целое число. Когда агент использует рекуррентную нейронную сеть, MiniBatchSize рассматривается как длина обучающей траектории.

The MiniBatchSize значение должно быть меньше или равно ExperienceHorizon значение.

Количество эпох, для которых сети актёра и критика учатся из текущего набора переживаний, заданное как положительное целое число.

Метод оценки значений преимуществ, заданный как одно из следующего:

Для получения дополнительной информации об этих методах см. Информацию об алгоритме настройки в Prosimal Policy Optimization Agents.

Коэффициент сглаживания для обобщенной оценки преимущества, заданный как скалярное значение между 0 и 1, включительно. Эта опция применяется только тогда, когда AdvantageEstimateMethod опция "gae"

Опция возврата действия с максимальной вероятностью для симуляции и генерации политики, заданная как логическое значение. Когда UseDeterministicExploitation установлено в true, действие с максимальной вероятностью всегда используется в sim и generatePolicyFunction, что заставляет агента вести себя детерминированно.

Когда UseDeterministicExploitation установлено в falseагент отсчитывает действия из распределений вероятностей, что заставляет агента вести себя стохастически.

Шаг расчета агента, заданная как положительная скалярная величина.

В Simulink^® окружение, агент выполняется каждый SampleTime секунды времени симуляции.

В MATLAB^® окружение, агент выполняется каждый раз, когда окружение прогрессирует. Однако SampleTime - временной интервал между последовательными элементами в выходном опыте, возвращаемый sim или train.

Коэффициент дисконтирования, применяемый к будущим вознаграждениям во время обучения, задается как положительная скалярная величина, меньше или равная 1.