Опции для шума, заданного как разделенная запятой пара, состоящая из 'NoiseOptions' и OrnsteinUhlenbeckActionNoise объект, со следующими свойствами числового значения.

На каждом шаге шага расчета шумовая модель обновляется с помощью следующей формулы, где Ts шаг расчета агента.

x(k) = x(k-1) + MeanAttractionConstant.*(Mean - x(k-1)).*Ts
       + Variance.*randn(size(Mean)).*sqrt(Ts)

Чтобы задать шумовые опции, используйте запись через точку после создания rlDDPGAgentOptions объект. Например, установите шумовое среднее значение на 0.5.

opt = rlDDPGAgentOptions;
opt.NoiseModel.Mean = 0.5;

Для непрерывных сигналов действия важно установить шумовое отклонение соответственно поощрять исследование. Распространено иметь Variance*sqrt(Ts) будьте между 1% и 10% вашей области значений действия.

Если ваш агент сходится на локальных оптимумах слишком быстро, способствуйте исследованию агента путем увеличения количества шума; то есть, путем увеличения отклонения. Кроме того, чтобы увеличить исследование, можно уменьшать VarianceDecayRate.

Сглаживание фактора для целевого агента и обновлений критика, заданных как разделенная запятой пара, состоящая из 'TargetSmoothFactor' и двойное. Фактор сглаживания определяет, как целевые свойства обновляются когда TargetUpdateMethod "smoothing".

Количество эпизодов между целевым агентом и обновлениями критика, заданными как разделенная запятой пара, состоящая из 'TargetUpdateFrequency' и числовое целочисленное значение. Эта опция применяется только когда TargetUpdateMethod "periodic".

Стратегия обновления целевого агента и свойств критика с помощью значений от обученного агента и критика, заданного как разделенная запятой пара, состоящая из 'TargetUpdateMethod' и одно из следующего:

Отметьте для очистки буфера опыта перед обучением, заданным как разделенная запятой пара, состоящая из 'ResetExperienceBufferBeforeTraining' и логический true или false.

Отметьте для того, чтобы сохранить буферные данные об опыте при сохранении агента, заданного как разделенная запятой пара, состоящая из 'SaveExperienceBufferWithAgent' и логический true или false. Эта опция применяется и при сохранении агентов кандидата во время обучения и при сохранении агентов с помощью save функция.

Для некоторых агентов, таких как те с большим опытом буферные и основанные на изображении наблюдения, память, требуемая для сохранения их буфера опыта, является большой. В таких случаях, чтобы не сохранить буферные данные об опыте, устанавливают SaveExperienceBufferWithAgent к false.

Если вы планируете далее обучить своего сохраненного агента, можно запустить обучение с буфера предыдущего опыта как начальная точка. В этом случае установите SaveExperienceBufferWithAgent к true.

Размер случайного мини-пакета опыта, заданного как разделенная запятой пара, состоящая из 'MiniBatchSize' и положительное числовое значение. Во время каждого эпизода тренировки агент случайным образом выборки испытывает от буфера опыта когда вычислительные градиенты для обновления свойств критика. Большие мини-пакеты уменьшают отклонение, когда вычислительные градиенты, но увеличивают вычислительное усилие.

Количество шагов, чтобы смотреть вперед во время обучения, заданного как разделенная запятой пара, состоящая из 'NumStepsToLookAhead' и числовое положительное целочисленное значение.

Испытайте buffer size, заданный как разделенная запятой пара, состоящая из 'ExperienceBufferLength' и числовое положительное целочисленное значение. Во время обучения агент обновляет агента и критика, использующего мини-пакет событий, случайным образом произведенных от буфера.

Шаг расчета агента, заданного как разделенная запятой пара, состоящая из 'SampleTime' и числовое значение.

Коэффициент дисконтирования применился к будущим вознаграждениям во время обучения, заданного как разделенная запятой пара, состоящая из 'DiscountFactor' и положительное числовое значение, меньше чем или равное 1.