Глубокие агенты Q-сети

Алгоритм глубокой Q-сети (DQN) является онлайновым, методом обучения с подкреплением вне политики без моделей. Агент DQN является основанным на значении агентом обучения с подкреплением, который обучает критика оценивать возврат или будущие вознаграждения. DQN является вариантом Q-изучения. Для получения дополнительной информации о Q-изучении смотрите Агентов Q-обучения.

Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Агентов Обучения с подкреплением.

Агенты DQN могут быть обучены в средах со следующим наблюдением и пространствами действий.

Пространство наблюденийПространство действий
Непрерывный или дискретныйДискретный

Во время обучения, агента:

  • Обновляет свойства критика на каждом временном шаге во время изучения.

  • Исследует пространство действий с помощью эпсилон-жадного исследования. Во время каждого контрольного интервала агент выбирает случайное действие с вероятностью ϵ, в противном случае это выбирает действие жадно относительно функции ценности с вероятностью 1-ϵ. Это жадное действие является действием, для которого функция ценности является самой большой.

  • Прошлый опыт хранилищ с помощью кругового буфера опыта. Агент обновляет критика на основе мини-пакета событий, случайным образом произведенных от буфера.

Функция критика

Для подсчёта функции ценности агент DQN обеспечивает две функциональных аппроксимации:

  • Критик Q (S, A) — критик берет наблюдение S и действие A как вводы и выводы соответствующее ожидание долгосрочного вознаграждения.

  • Предназначайтесь для критика Q' (S, A) — Чтобы улучшить устойчивость оптимизации, агент периодически обновляет целевого критика на основе последних значений параметров критика.

Оба Q (S, A) и Q' (S, A) имеет ту же структуру и параметризацию.

Для получения дополнительной информации о создании критиков для приближения функции ценности смотрите, Создают Представления Функции ценности и политика.

Когда обучение завершено, настроенная функциональная аппроксимация хранится в критике Q (S, A).

Создание агента

Создать агента DQN:

  1. Создайте критика, использующего rlQValueRepresentation объект.

  2. Задайте опции агента с помощью rlDQNAgentOptions объект.

  3. Создайте агента с помощью rlDQNAgent объект.

Агенты DQN поддерживают критиков, которые используют текущие глубокие нейронные сети в качестве аппроксимаций функций.

Алгоритм обучения

Агенты DQN используют следующий алгоритм настройки, в котором они обновляют свою модель критика на каждом временном шаге. Чтобы сконфигурировать алгоритм настройки, задайте опции с помощью rlDQNAgentOptions.

  • Инициализируйте критика Q (s, a) со случайными значениями параметров θQ, и инициализируйте целевого критика теми же значениями: θQ'=θQ.

  • Для каждого учебного временного шага:

    1. Для текущего наблюдения S выберите случайное действие A с вероятностью ϵ. В противном случае выберите действие, для которого функция ценности критика является самой большой.

      A=argmaxAQ(S,A|θQ)

      Чтобы задать ϵ и его уровень затухания, используйте EpsilonGreedyExploration опция.

    2. Выполните действие A. Наблюдайте вознаграждение R и следующее наблюдение S'.

    3. Сохраните опыт (S, A, R, S') в буфере опыта.

    4. Произведите случайный мини-пакет событий M (Si, Ai, Ri, S'i) от буфера опыта. Чтобы задать M, используйте MiniBatchSize опция.

    5. Если S'i является конечным состоянием, поставьте цель функции ценности yi к Ri. В противном случае установите его на:

      Amax=argmaxA'Q(Si',A'|θQ)yi=Ri+γQ'(Si',Amax|θQ')(doubleDQN)yi=Ri+γmaxA'Q'(Si',A'|θQ')(DQN)

      Чтобы установить коэффициент дисконтирования γ, используйте DiscountFactor опция. Чтобы использовать двойной DQN, установите UseDoubleDQN опция к true.

    6. Обновите параметры критика минимизацией с одним шагом потери L через все произведенные события.

      Lk=1Mi=1M(yiQ(Si,Ai|θQ))2

    7. Обновите целевые параметры критика в зависимости от целевого метода обновления Для получения дополнительной информации, см. Целевые Методы Обновления.

    8. Обновите порог вероятности ϵ для выбора случайного действия на основе уровня затухания, заданного в EpsilonGreedyExploration опция.

Целевые методы обновления

Агенты DQN обновляют свои целевые параметры критика с помощью одного из следующих целевых методов обновления.

  • Сглаживание — Обновление целевые параметры на каждом временном шаге с помощью коэффициента сглаживания τ. Чтобы задать коэффициент сглаживания, используйте TargetSmoothFactor опция.

    θQ'=τθQ+(1τ)θQ'

  • Периодический — Обновление целевые параметры периодически, не сглаживая (TargetSmoothFactor = 1). Чтобы задать период обновления, используйте TargetUpdateFrequency параметр.

  • Периодическое Сглаживание — Обновление целевые параметры периодически со сглаживанием.

Чтобы сконфигурировать целевой метод обновления, создайте rlDQNAgentOptions объект и набор TargetUpdateFrequency и TargetSmoothFactor параметры как показано в следующей таблице.

Метод UpdateTargetUpdateFrequencyTargetSmoothFactor
Сглаживание (значения по умолчанию)1Меньше, чем 1
ПериодическийБольше, чем 11
Периодическое сглаживаниеБольше, чем 1Меньше, чем 1

Ссылки

[1] В. Мних, К. Кэваккуоглу, D. Серебро, A. Могилы, я. Antonoglou, Д. Вирстра и М. Ридмиллер, “проигрывая Atari с глубоким обучением с подкреплением”, семинар глубокого обучения NIPS, 2013.

Смотрите также

|

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте