Флаг для использования двойного DQN для обновлений целевого объекта функции значений, указанный как логическое значение. Для большинства наборов приложений UseDoubleDQN кому "on". Дополнительные сведения см. в разделе Агенты Deep Q-Network.

Варианты эпсилон-жадной разведки, указанные как EpsilonGreedyExploration со следующими свойствами.

В конце каждого шага времени обучения, если Epsilon больше, чем EpsilonMin, затем он обновляется по следующей формуле.

Epsilon = Epsilon*(1-EpsilonDecay)

Если агент слишком быстро сходится на локальном оптимуме, вы можете способствовать исследованию агента, увеличивая Epsilon.

Чтобы задать опции исследования, используйте точечную нотацию после создания rlDQNAgentOptions объект opt. Например, задайте значение epsilon равным 0.9.

opt.EpsilonGreedyExploration.Epsilon = 0.9;

Максимальная длина траектории пакетной тренировки при использовании рекуррентной нейронной сети для критика, заданная как положительное целое число. Это значение должно быть больше 1 при использовании рецидивирующей нейронной сети для критика и 1 в противном случае.

Коэффициент сглаживания для обновлений целевого критика, заданный как положительный скаляр, меньший или равный 1. Дополнительные сведения см. в разделе Методы целевого обновления.

Число шагов между целевыми обновлениями критиков, указанное как положительное целое число. Дополнительные сведения см. в разделе Методы целевого обновления.

Параметр очистки буфера опыта перед обучением, заданный как логическое значение.

Параметр сохранения данных буфера опыта при сохранении агента, указанный как логическое значение. Эта опция применяется как при сохранении агентов-кандидатов во время обучения, так и при сохранении агентов с помощью save функция.

Для некоторых агентов, таких как агенты с большим буфером опыта и наблюдениями на основе изображений, память, необходимая для сохранения их буфера опыта, велика. В таких случаях, чтобы не сохранять данные буфера опыта, установите SaveExperienceBufferWithAgent кому false.

Если планируется дальнейшее обучение сохраненного агента, можно начать обучение с использованием буфера предыдущего опыта в качестве отправной точки. В этом случае установить SaveExperienceBufferWithAgent кому true.

Размер мини-пакета случайного опыта, указанный как положительное целое число. Во время каждого учебного эпизода агент случайным образом производит выборку опыта из буфера опыта при вычислении градиентов для обновления свойств критика. Большие мини-пакеты уменьшают дисперсию при вычислении градиентов, но увеличивают вычислительные усилия.

При использовании рекуррентной нейронной сети для критика, MiniBatchSize - количество траекторий опыта в партии, где каждая траектория имеет длину, равную SequenceLength.

Количество будущих вознаграждений, используемых для оценки стоимости полиса, указанного как положительное целое число. Для получения дополнительной информации см. главу 7 [1].

Обучение N-шагу Q не поддерживается при использовании рецидивирующей нейронной сети для критика. В этом случае NumStepsToLookAhead должно быть 1.

Размер буфера опыта, указанный как положительное целое число. Во время обучения агент вычисляет обновления, используя мини-пакет опытов, случайным образом отобранных из буфера.

Время выборки агента, указанное как положительный скаляр.

В среде Simulink ® агент выполняется каждыйSampleTime секунды времени моделирования.

В среде MATLAB ® агент выполняется каждый раз при продвижении среды. Однако SampleTime - интервал времени между последовательными элементами в опыте вывода, возвращаемый sim или train.

Коэффициент дисконтирования, применяемый к будущим вознаграждениям во время обучения, определяемый как положительный скаляр, меньший или равный 1.