Количество шагов агент взаимодействует со средой перед учением из ее опыта в виде положительного целого числа.

ExperienceHorizon значение должно быть больше или быть равно MiniBatchSize значение.

Фактор клипа для ограничения изменения в каждой политике обновляет шаг в виде положительной скалярной величины меньше, чем 1.

Энтропийный вес потерь в виде скалярного значения между 0 и 1. Более высокое значение веса потерь способствует исследованию агента путем применения штрафа за то, что были слишком уверены в который действие взять. Выполнение так может помочь агенту переместиться из локальных оптимумов.

Поскольку эпизод продвигается t, энтропийная функция потерь, которая добавляется к функции потерь для обновлений агента:

Здесь:

Когда градиенты вычисляются во время обучения, дополнительный компонент градиента вычисляется для минимизации этой функции потерь.

Мини-пакетный размер используется в течение каждой эпохи изучения в виде положительного целого числа. Когда агент использует рекуррентную нейронную сеть, MiniBatchSize обработан как учебная длина траектории.

MiniBatchSize значение должно быть меньше чем или равно ExperienceHorizon значение.

Номер эпох, в течение которых агент и сети критика извлекают уроки из текущего набора опыта в виде положительного целого числа.

Метод для оценки значений преимущества в виде одного из следующего:

Для получения дополнительной информации об этих методах смотрите информацию об алгоритме настройки в Ближайших Агентах Оптимизации политики.

Коэффициент сглаживания для обобщенного средства оценки преимущества в виде скалярного значения между 0 и 1, включительно. Эта опция применяется только когда AdvantageEstimateMethod опцией является "gae"

Опция, чтобы возвратить действие с наибольшим правдоподобием для симуляции и генерации политики в виде логического значения. Когда UseDeterministicExploitation установлен в true, действие с наибольшим правдоподобием всегда используется в sim и generatePolicyFunction, какой casues агент, чтобы вести себя детерминировано.

Когда UseDeterministicExploitation установлен в false, демонстрационные действия агента от вероятностных распределений, который заставляет агента вести себя стохастическим образом.

Шаг расчета агента в виде положительной скалярной величины.

В среде Simulink^® агент выполняется каждый SampleTime секунды времени симуляции.

В среде MATLAB^® агент выполняется каждый раз усовершенствования среды. Однако SampleTime временной интервал между последовательными элементами в выходном опыте, возвращенном sim или train.

Коэффициент дисконтирования применился к будущим вознаграждениям во время обучения в виде положительной скалярной величины, меньше чем или равной 1.