Шумовые опции модели в виде GaussianActionNoise возразите или OrnsteinUhlenbeckActionNoise объект. Для получения дополнительной информации о шумовых моделях см. Шумовые Модели.

Для агента с несколькими действиями, если действия имеют различные области значений и модули, вероятно, что каждое действие требует различных шумовых параметров модели. Если действия имеют подобные области значений и модули, можно установить шумовые параметры для всех действий к тому же значению.

Например, для агента с двумя действиями, устанавливает отклонение каждого действия к различному значению при использовании того же уровня затухания для обоих отклонений.

opt = rlTD3AgentOptions;
opt.ExplorationModel.Variance = [0.1 0.2];
opt.ExplorationModel.VarianceDecayRate = 1e-4;

Цель, сглаживающая шумовые опции модели в виде GaussianActionNoise объект. Эта модель помогает действиям использования политики с высокими оценками Q-значения. Для получения дополнительной информации о шумовых моделях см. Шумовые Модели.

Для агента с несколькими действиями, если действия имеют различные области значений и модули, вероятно, что каждое действие требует различных сглаживающих шумовых параметров модели. Если действия имеют подобные области значений и модули, можно установить шумовые параметры для всех действий к тому же значению.

Например, для агента с двумя действиями, устанавливает отклонение каждого действия к различному значению при использовании того же уровня затухания для обоих отклонений.

opt = rlTD3AgentOptions;
opt.TargetPolicySmoothModel.Variance = [0.1 0.2];
opt.TargetPolicySmoothModel.VarianceDecayRate = 1e-4;

Количество шагов между политикой обновляется в виде положительного целого числа.

Коэффициент сглаживания для целевого агента и критика обновляется в виде положительной скалярной величины, меньше чем или равной 1. Для получения дополнительной информации см. Целевые Методы Обновления.

Количество шагов между целевым агентом и критиком обновляется в виде положительного целого числа. Для получения дополнительной информации см. Целевые Методы Обновления.

Отметьте для очистки буфера опыта перед обучением в виде логического значения.

Отметьте для того, чтобы сохранить буферные данные об опыте при сохранении агента в виде логического значения. Эта опция применяется и при сохранении агентов кандидата во время обучения и при сохранении агентов с помощью save функция.

Для некоторых агентов, таких как те с большим опытом буферные и основанные на изображении наблюдения, память, требуемая для сохранения их буфера опыта, является большой. В таких случаях, чтобы не сохранить буферные данные об опыте, устанавливают SaveExperienceBufferWithAgent к false.

Если вы планируете далее обучить своего сохраненного агента, можно начать обучение с буфера предыдущего опыта как начальная точка. В этом случае установите SaveExperienceBufferWithAgent к true.

Размер случайного опыта мини-обрабатывает в пакетном режиме в виде положительного целого числа. Во время каждого эпизода тренировки агент случайным образом выборки испытывает от буфера опыта когда вычислительные градиенты для обновления свойств критика. Большие мини-пакеты уменьшают отклонение, когда вычислительные градиенты, но увеличивают вычислительное усилие.

Количество будущих вознаграждений раньше оценивало значение политики в виде положительного целого числа. См. [1], (Глава 7), для большего количества детали.

Испытайте buffer size в виде положительного целого числа. Во время обучения агент обновляет агента и критика, использующего мини-пакет событий, случайным образом произведенных от буфера.

Шаг расчета агента в виде положительной скалярной величины.

В окружении Simulink агент выполняется каждый SampleTime секунды времени симуляции.

В среде MATLAB агент выполняется каждый раз усовершенствования среды. Однако SampleTime временной интервал между последовательными элементами в выходном опыте, возвращенном sim или train.

Коэффициент дисконтирования применился к будущим вознаграждениям во время обучения в виде положительной скалярной величины, меньше чем или равной 1.