Отметьте для использования двойного DQN для целевых обновлений функции значения, заданных как пара, разделенная запятой, состоящая из 'UseDoubleDQN' и логического true или false. Поскольку большая часть приложения установила UseDoubleDQN на "on". Для получения дополнительной информации смотрите Глубокие Агенты Q-сети.

Опции для жадного эпсилоном исследования, заданного как пара, разделенная запятой, состоящая из 'EpsilonGreedyExploration' и объекта EpsilonGreedyExploration со следующими свойствами числового значения.

Epsilon обновляется с помощью следующей формулы, когда это больше, чем EpsilonMin:

Epsilon = Epsilon*(1-EpsilonDecay)

Чтобы задать опции исследования, используйте запись через точку после создания объекта rlDQNAgentOptions. Например, установите значение эпсилона к 0.9.

opt = rlDQNAgentOptions;
opt.EpsilonGreedyExploration.Epsilon = 0.9;

Если ваш агент сходится на локальных оптимумах слишком быстро, способствуйте исследованию агента путем увеличения Epsilon.

Сглаживание фактора для целевых обновлений критика, заданных как пара, разделенная запятой, состоящая из 'TargetSmoothFactor' и двойного. Фактор сглаживания определяет, как целевые свойства критика обновляются, когда TargetUpdateMethod является "smoothing".

Количество эпизодов между целевыми обновлениями критика, заданными как пара, разделенная запятой, состоящая из 'TargetUpdateFrequency' и числового целочисленного значения. Эта опция применяется только, когда TargetUpdateMethod является "periodic".

Стратегия обновления целевых свойств критика с помощью значений от обученного агента и критика, заданного как пара, разделенная запятой, состоящая из 'TargetUpdateMethod' и одно из следующего:

Отметьте для очистки буфера опыта перед обучением, заданным как пара, разделенная запятой, состоящая из 'ResetExperienceBufferBeforeTraining' и логического true или false.

Отметьте для того, чтобы сохранить буферные данные об опыте при сохранении агента, заданного как пара, разделенная запятой, состоящая из 'SaveExperienceBufferWithAgent' и логического true или false. Эта опция применяется и при сохранении агентов кандидата во время обучения и при сохранении агентов с помощью функции save.

Для некоторых агентов, таких как те с большим опытом буферные и основанные на изображении наблюдения, память, требуемая для сохранения их буфера опыта, является большой. В таких случаях, чтобы не сохранить буферные данные об опыте, устанавливают SaveExperienceBufferWithAgent на false.

Если вы планируете далее обучить свой сохраненный агент, можно запустить обучение с буфера предыдущего опыта как отправная точка. В этом случае установите SaveExperienceBufferWithAgent на true.

Размер случайного мини-пакета опыта, заданного как пара, разделенная запятой, состоящая из 'MiniBatchSize' и положительного числового значения. Во время каждого учебного эпизода агент случайным образом выборки испытывает от буфера опыта когда вычислительные градиенты для обновления свойства критика и агент.

Количество шагов, чтобы смотреть вперед во время обучения, заданного как пара, разделенная запятой, состоящая из 'NumStepsToLookAhead' и числового положительного целочисленного значения.

Испытайте buffer size, заданный как пара, разделенная запятой, состоящая из 'ExperienceBufferLength' и числового положительного целочисленного значения. Во время обучения агент обновляет критика, использующего мини-пакет событий, случайным образом выбранных от буфера.

В целом агенты должны учиться и на хорошем и на неудачном опыте. Задайте buffer size опыта, который может сохранить достаточно опыта для изучения.

Шаг расчета агента, заданного как пара, разделенная запятой, состоящая из 'SampleTime' и числового значения.

Коэффициент дисконтирования применился к будущим вознаграждениям во время обучения, заданного как пара, разделенная запятой, состоящая из 'DiscountFactor' и положительного числового значения, меньше чем или равного 1.