Количество шагов, чтобы смотреть вперед в обучении модели в виде положительного целого числа. Для агентов AC количество шагов, чтобы смотреть вперед соответствует длине эпизода тренировки.

Энтропийный вес потерь в виде скалярного значения между 0 и 1, включительно. Более высокое значение веса потерь способствует исследованию агента путем применения штрафа за то, что были слишком уверены в который действие взять. Выполнение так может помочь агенту переместиться из локальных оптимумов.

Энтропийная функция потерь для шага эпизода t:

Здесь:

Когда градиенты вычисляются во время обучения, дополнительный компонент градиента вычисляется для минимизации этой функции потерь.

Шаг расчета агента в виде положительной скалярной величины.

Коэффициент дисконтирования применился к будущим вознаграждениям во время обучения в виде положительной скалярной величины, меньше чем или равной 1.