Опции для шума, заданного как пара, разделенная запятой, состоящая из 'NoiseOptions' и объекта OrnsteinUhlenbeckActionNoise, со следующими свойствами числового значения.

На каждом шаге шага расчета шумовая модель обновляется с помощью следующей формулы:

x(k) = x(k-1) + MeanAttractionConstant.*(Mean - x(k-1)).*SampleTime
       + Variance.*randn(size(Mean)).*sqrt(SampleTime)

Чтобы задать шумовые опции, используйте запись через точку после создания объекта rlDDPGAgentOptions. Например, установите шумовое среднее значение на 0.5.

opt = rlDDPGAgentOptions;
opt.NoiseModel.Mean = 0.5;

Для непрерывных сигналов действия важно установить шумовое отклонение правильно. Например, когда держащийся угол ограничен [-0.26,0.26] радианы, если вы установите шумовое отклонение на 0,5, затем агент ничего не изучит.

Если ваш агент сходится на локальных оптимумах слишком быстро, способствуйте исследованию агента путем увеличения количества шума.

Сглаживание фактора для целевого агента и обновлений критика, заданных как пара, разделенная запятой, состоящая из 'TargetSmoothFactor' и двойного. Фактор сглаживания определяет, как целевые свойства обновляются, когда TargetUpdateMethod является "smoothing".

Количество эпизодов между целевым агентом и обновлениями критика, заданными как пара, разделенная запятой, состоящая из 'TargetUpdateFrequency' и числового целочисленного значения. Эта опция применяется только, когда TargetUpdateMethod является "periodic".

Стратегия обновления целевого агента и свойств критика с помощью значений от обученного агента и критика, заданного как пара, разделенная запятой, состоящая из 'TargetUpdateMethod' и одно из следующего:

Отметьте для очистки буфера опыта перед обучением, заданным как пара, разделенная запятой, состоящая из 'ResetExperienceBufferBeforeTraining' и логического true или false.

Отметьте для того, чтобы сохранить буферные данные об опыте при сохранении агента, заданного как пара, разделенная запятой, состоящая из 'SaveExperienceBufferWithAgent' и логического true или false. Эта опция применяется и при сохранении агентов кандидата во время обучения и при сохранении агентов с помощью функции save.

Для некоторых агентов, таких как те с большим опытом буферные и основанные на изображении наблюдения, память, требуемая для сохранения их буфера опыта, является большой. В таких случаях, чтобы не сохранить буферные данные об опыте, устанавливают SaveExperienceBufferWithAgent на false.

Если вы планируете далее обучить свой сохраненный агент, можно запустить обучение с буфера предыдущего опыта как отправная точка. В этом случае установите SaveExperienceBufferWithAgent на true.

Размер случайного мини-пакета опыта, заданного как пара, разделенная запятой, состоящая из 'MiniBatchSize' и положительного числового значения. Во время каждого учебного эпизода агент случайным образом выборки испытывает от буфера опыта когда вычислительные градиенты для обновления свойств критика. Большие мини-пакеты уменьшают отклонение, когда вычислительные градиенты, но увеличивают вычислительное усилие.

Количество шагов, чтобы смотреть вперед во время обучения, заданного как пара, разделенная запятой, состоящая из 'NumStepsToLookAhead' и числового положительного целочисленного значения.

Испытайте buffer size, заданный как пара, разделенная запятой, состоящая из 'ExperienceBufferLength' и числового положительного целочисленного значения. Во время обучения агент обновляет агента и критика, использующего мини-пакет событий, случайным образом выбранных от буфера.

Шаг расчета агента, заданного как пара, разделенная запятой, состоящая из 'SampleTime' и числового значения.

Коэффициент дисконтирования применился к будущим вознаграждениям во время обучения, заданного как пара, разделенная запятой, состоящая из 'DiscountFactor' и положительного числового значения, меньше чем или равного 1.