Параметры шумовой модели, указанные как GaussianActionNoise объект или OrnsteinUhlenbeckActionNoise объект. Дополнительные сведения о шумовых моделях см. в разделе Шумовые модели.

Для агента с несколькими действиями, если действия имеют разные диапазоны и единицы измерения, вероятно, каждое действие требует различных параметров шумовой модели. Если действия имеют одинаковые диапазоны и единицы измерения, можно задать одинаковое значение параметров шума для всех действий.

Например, для агента с двумя действиями установите стандартное отклонение каждого действия в разное значение, используя одинаковую скорость затухания для обоих стандартных отклонений.

opt = rlTD3AgentOptions;
opt.ExplorationModel.StandardDeviation = [0.1 0.2];
opt.ExplorationModel.StandardDeviationDecayRate = 1e-4;

Параметры целевой модели сглаживания шума, указанные как GaussianActionNoise объект. Эта модель помогает политике использовать действия с высокими оценками Q-стоимости. Дополнительные сведения о шумовых моделях см. в разделе Шумовые модели.

Для агента с несколькими действиями, если действия имеют разные диапазоны и единицы измерения, вероятно, что каждое действие требует различных параметров модели сглаживания шума. Если действия имеют одинаковые диапазоны и единицы измерения, можно задать одинаковое значение параметров шума для всех действий.

Например, для агента с двумя действиями установите стандартное отклонение каждого действия в разное значение, используя одинаковую скорость затухания для обоих стандартных отклонений.

opt = rlTD3AgentOptions;
opt.TargetPolicySmoothModel.StandardDeviation = [0.1 0.2];
opt.TargetPolicySmoothModel.StandardDeviationDecayRate = 1e-4;

Число шагов между обновлениями политики, указанное как положительное целое число.

Коэффициент сглаживания для обновления целевого актера и критика, заданный как положительный скаляр, меньший или равный 1. Дополнительные сведения см. в разделе Методы целевого обновления.

Число шагов между обновлениями целевого исполнителя и критика, указанное как положительное целое число. Дополнительные сведения см. в разделе Методы целевого обновления.

Параметр очистки буфера опыта перед обучением, заданный как логическое значение.

Параметр сохранения данных буфера опыта при сохранении агента, указанный как логическое значение. Эта опция применяется как при сохранении агентов-кандидатов во время обучения, так и при сохранении агентов с помощью save функция.

Для некоторых агентов, таких как агенты с большим буфером опыта и наблюдениями на основе изображений, память, необходимая для сохранения их буфера опыта, велика. В таких случаях, чтобы не сохранять данные буфера опыта, установите SaveExperienceBufferWithAgent кому false.

Если планируется дальнейшее обучение сохраненного агента, можно начать обучение с использованием буфера предыдущего опыта в качестве отправной точки. В этом случае установить SaveExperienceBufferWithAgent кому true.

Максимальная длина пакетно-тренировочной траектории при использовании рекуррентной нейронной сети, заданная как положительное целое число. Это значение должно быть больше 1 при использовании рецидивирующей нейронной сети и 1 в противном случае.

Размер мини-пакета случайного опыта, указанный как положительное целое число. Во время каждого учебного эпизода агент случайным образом производит выборку опыта из буфера опыта при вычислении градиентов для обновления свойств критика. Большие мини-пакеты уменьшают дисперсию при вычислении градиентов, но увеличивают вычислительные усилия.

Количество будущих вознаграждений, используемых для оценки стоимости полиса, указанного как положительное целое число. Для получения дополнительной информации см. [1] (глава 7).

Количество будущих вознаграждений, используемых для оценки стоимости полиса, указанного как положительное целое число. Для получения дополнительной информации см. главу 7 [1].

Размер буфера опыта, указанный как положительное целое число. Во время обучения агент вычисляет обновления, используя мини-пакет опытов, случайным образом отобранных из буфера.

Время выборки агента, указанное как положительный скаляр.

В среде Simulink ® агент выполняется каждыйSampleTime секунды времени моделирования.

В среде MATLAB ® агент выполняется каждый раз при продвижении среды. Однако SampleTime - интервал времени между последовательными элементами в опыте вывода, возвращаемый sim или train.

Коэффициент дисконтирования, применяемый к будущим вознаграждениям во время обучения, определяемый как положительный скаляр, меньший или равный 1.