Доверительные агенты оптимизации политики области

Доверительная оптимизация политики области (TRPO) является без моделей, онлайн, на политике, алгоритмом обучения с подкреплением градиента политики. TRPO чередуется между выборкой данных через экологическое взаимодействие и обновлением параметров политики путем решения ограниченной задачи оптимизации. KL-расхождение между старой политикой и новой политикой используется в качестве ограничения во время оптимизации. В результате этот алгоритм предотвращает значительные отбрасывания эффективности по сравнению со стандартными градиентными методами политики путем хранения обновленной политики в доверительной области близко к текущей политике [1].

PPO является упрощенной версией TRPO. TRPO является более в вычислительном отношении дорогим, чем PPO, но TRPO имеет тенденцию быть более устойчивым, чем PPO, если динамика окружения детерминирована, и количество наблюдений является низким. Для получения дополнительной информации об агентах PPO смотрите Ближайших Агентов Оптимизации политики.

Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Агентов Обучения с подкреплением.

Агенты TRPO могут быть обучены в средах со следующим наблюдением и пространствами действий.

Пространство наблюдений	Пространство действий
Дискретный или непрерывный	Дискретный или непрерывный

Агенты TRPO используют следующие представления актёра и критика.

Критик	Агент
V критика функции ценности (S), который вы создаете использование `rlValueRepresentation`	Стохастический π агента политики (S), который вы создаете использование `rlStochasticActorRepresentation`

Во время обучения, агента TRPO:

Оценочные вероятности принятия каждых мер в пространстве действий и случайным образом выбирают действия на основе вероятностного распределения.
Взаимодействует со средой для нескольких шагов с помощью текущей политики перед использованием мини-пакетов, чтобы обновить агента и свойства критика за несколько эпох.

Если UseDeterministicExploitation опция в rlTRPOAgentOptions установлен в true действие с наибольшим правдоподобием всегда используется в sim и generatePolicyFunction. В результате симулированный агент и сгенерированная политика ведут себя детерминировано.

Агент и функции критика

Чтобы оценить политику и функцию ценности, агент TRPO обеспечивает две функциональных аппроксимации.

Агент π (S |θ) — агент, параметрами θ, берет наблюдение S и возвращается:
- Вероятности принятия каждых мер в пространстве действий, когда в S состояния (для дискретных пространств действий)
- Среднее и стандартное отклонение Гауссова вероятностного распределения для каждого действия (для непрерывных пространств действий)
Критик V (S) — Критик, параметрами ϕ, берет наблюдение S и возвращает соответствующее ожидание обесцененного долгосрочного вознаграждения.

Когда обучение завершено, обученная оптимальная политика хранится в агенте π (S).

Для получения дополнительной информации о создании агентов и критиков для приближения функций, смотрите, Создают Представления Функции ценности и политика.

Создание агента

Можно создать агента TRPO с представлениями актёра и критика по умолчанию на основе спецификаций наблюдений и спецификаций действия от среды. Для этого выполните следующие шаги.

Создайте спецификации наблюдений для своей среды. Если у вас уже есть объект интерфейса среды, можно получить эти технические требования использование getObservationInfo.
Технические требования действия по созданию для вашей среды. Если у вас уже есть объект интерфейса среды, можно получить эти технические требования использование getActionInfo.
В случае необходимости задайте количество нейронов в каждом learnable слое. Для этого создайте объект опций инициализации агента использование rlAgentInitializationOptions.
Задайте опции агента с помощью rlTRPOAgentOptions объект.
Создайте агента с помощью rlTRPOAgent объект.

В качестве альтернативы можно создать представления актёра и критика и использовать эти представления, чтобы создать агента. В этом случае гарантируйте, что размерности ввода и вывода представлений актёра и критика совпадают с соответствующим действием и спецификациями наблюдений среды.

Создайте агента с помощью rlStochasticActorRepresentation объект.
Создайте критика, использующего rlValueRepresentation объект.
В случае необходимости задайте опции агента с помощью rlTRPOAgentOptions объект.
Создайте агента с помощью rlTRPOAgent функция.

Агенты TRPO не поддерживают агентов и критиков, которые используют текущие глубокие нейронные сети в качестве функциональных аппроксимаций. Агенты TRPO также не поддерживают глубокие нейронные сети, которые используют quadraticLayer.

Доверительная оптимизация политики области

Доверительная оптимизация политики области находит параметры агента, которые минимизируют следующую функцию потерь агента.

$L_{a c t o r} (θ) = - \frac{1}{M} \sum_{i = 1}^{M} (\frac{π_{i} (S_{i} | θ)}{π_{i} (S_{i} | θ_{o l d})} D_{i} + w ℋ_{i} (θ, S_{i}))$

Здесь:

M является мини-пакетным размером.
_Di является функцией преимущества.
_πi (_Si |θ) является вероятностью принимающего меры _Ai после текущей политики. Это значение является определенным значением вероятности (дискретное действие) или функции плотности вероятности (непрерывное действие).
_πi (_Si |_θold) является вероятностью принимающего меры _Ai после старой политики.
w _ℋi (θ, _Si) является энтропийным термином потерь, где w является энтропийным весом потерь и _ℋi (θ, _Si) является энтропией. Для получения дополнительной информации смотрите Энтропийную Потерю.

Эта минимизация подвергается следующему ограничению.

$\frac{1}{M} \sum_{i = 1}^{M} D_{K L} (θ_{o l d}, θ, S_{i}) \leq δ$

Здесь:

_DKL (_θold, θ, _Si) является расхождением Kullback-Leibler (KL) между старой политикой π (_Si |_θold) и текущей политикой π (_Si |θ). _DKL измеряется, насколько вероятностные распределения старых и новых политик отличаются. _DKL является нулем, когда эти два распределения идентичны.
δ является пределом для _DKL и управляет, сколько новая политика может отклонить от старой политики.

Для агентов с дискретными пространствами действий _DKL вычисляется можно следующим образом, где P является количеством действий.

$D_{K L} (θ_{o l d}, θ, S_{i}) = \sum_{k = 1}^{P} π_{k} (S_{i} | θ_{o l d}) \ln (\frac{π_{k} (S_{i} | θ_{o l d})}{π_{k} (S_{i} | θ)})$

Для агентов с непрерывными пространствами действий _DKL вычисляется можно следующим образом.

$D_{K L} (θ_{o l d}, θ, S_{i}) = \frac{1}{P} \sum_{k = 1}^{P} (\ln (σ_{θ, k}) - \ln (σ_{θ o l d, k}) + \frac{σ_{θ o l d, k}^{2} + {(μ_{θ o l d, k} - μ_{θ, k})}^{2}}{2 σ_{θ, k}^{2}} - 0.5)$

Здесь:

_μθ,k и _σθ,k являются средним и стандартным отклонением для k th действие, выведенное текущей политикой агента π (_Si |θ).
_μθold,k и _σθold,k являются средним и стандартным отклонением для k th действие, выведенное старой политикой π (_Si |_θold).

Чтобы аппроксимировать эту задачу оптимизации, агент TRPO использует линейную аппроксимацию _Lactor (θ) и квадратичное приближение _DKL (_θold, θ, _Si). Приближения вычисляются путем взятия расширения Ряда Тейлора вокруг θ.

$\begin{array}{l} \min_{θ} L_{a c t o r} (θ) \approx {g (θ - θ_{o l d}) = \nabla_{θ} L_{a c t o r} (θ) |}_{θ = θ_{o l d}} \cdot (θ - θ_{o l d}) \\ s u b j e c t t o \frac{1}{2} {(θ_{o l d} - θ)}^{T} H (θ_{o l d} - θ) \leq δ \\ w h e r e H = \nabla_{θ}^{2} {\frac{1}{M} \sum_{i = 1}^{M} D_{K L} (θ_{o l d}, θ, S_{i}) |}_{θ = θ_{o l d}} \end{array}$

Аналитическое решение этой аппроксимированной задачи оптимизации следующие.

$θ = θ_{o l d} + α \sqrt{\frac{2 δ}{x^{T} H^{- 1} x}} x$

Здесь, x =H^-1g и α являются коэффициентом для обеспечения, что политика улучшает и удовлетворяет ограничению.

Алгоритм обучения

Агенты TRPO используют следующий алгоритм настройки. Чтобы сконфигурировать алгоритм настройки, задайте опции с помощью rlTRPOAgentOptions объект.

Инициализируйте агента π (S) со случайными значениями параметров θ.
Инициализируйте критика V (S) со случайными значениями параметров ϕ.
Сгенерируйте события N следующим текущая политика. Последовательность опыта
$S_{t s}, A_{t s}, R_{t s + 1}, S_{t s + 1}, \dots, S_{t s + N - 1}, A_{t s + N - 1}, R_{t s + N}, S_{t s + N}$
Здесь, _St является наблюдением состояния, _At является мерами, принятыми от того состояния, _St+1 является следующим состоянием, и _Rt+1 является вознаграждением, полученным для перемещения от _St до _St+1.
Когда в _St состояния, агент вычисляет вероятность принятия каждых мер в пространстве действий с помощью π (_St) и случайным образом выбирает действие _At на основе вероятностного распределения.
ts является шагом времени начала текущего набора событий N. В начале эпизода тренировки, ts = 1. Поскольку каждый последующий набор N испытывает в том же эпизоде тренировки, ts ← ts + N.
Для каждой последовательности опыта, которая не содержит конечное состояние, N равен ExperienceHorizon значение опции. В противном случае N меньше ExperienceHorizon и _SN является конечным состоянием.
Для каждого шага эпизода t = ts +1, ts +2, …, ts +N, вычисляет возврат и способствует функции с помощью метода, заданного AdvantageEstimateMethod опция.
- Конечный горизонт (AdvantageEstimateMethod = "finite-horizon") — Вычисляют возврат _Gt, который является суммой вознаграждения за тот шаг и обесцененного будущего вознаграждения [2].
  $G_{t} = \sum_{k = t}^{t s + N} (γ^{k - t} R_{k}) + b γ^{N - t + 1} V (S_{t s + N} | ϕ)$
  Здесь, b является 0 если _Sts+N является конечным состоянием и 1 в противном случае. Таким образом, если _Sts+N не является конечным состоянием, обесцененное будущее вознаграждение включает обесцененную функцию ценности состояния, вычисленное использование сети V критика.
  Вычислите функцию преимущества _Dt.
  $D_{t} = G_{t} - V (S_{t} | ϕ)$
- Обобщенное средство оценки преимущества (AdvantageEstimateMethod = "gae") — Вычисляют функцию преимущества _Dt, который является обесцененной суммой временных ошибок различия [3].
  $\begin{matrix} D_{t} = \sum_{k = t}^{t s + N - 1} {(γ λ)}^{k - t} δ_{k} \\ δ_{k} = R_{t} + b γ V (S_{t} | ϕ) \end{matrix}$
  Здесь, b является 0 если _Sts+N является конечным состоянием и 1 в противном случае. λ является заданным использованием коэффициента сглаживания GAEFactor опция.
  Вычислите возврат _Gt.
  $G_{t} = D_{t} + V (S_{t} | ϕ)$
Чтобы задать коэффициент дисконтирования γ для любого метода, используйте DiscountFactor опция.
Извлеките уроки из мини-пакетов событий за эпохи K. Чтобы задать K, используйте NumEpoch опция. В течение каждой эпохи изучения:
1. Произведите случайный мини-пакетный набор данных размера M от текущего набора событий. Чтобы задать M, используйте MiniBatchSize опция. Каждый элемент мини-пакетного набора данных содержит текущий опыт и соответствующий возврат и значения функции преимущества.
2. Обновите параметры критика путем минимизации потери _Lcritic через все произведенные мини-пакетные данные.
  $L_{c r i t i c} (ϕ) = \frac{1}{M} \sum_{i = 1}^{M} {(G_{i} - V (S_{i} | ϕ))}^{2}$
3. Нормируйте значения преимущества _Di на основе недавних ненормированных значений преимущества.
  - Если NormalizedAdvantageMethod опцией является 'none', не нормируйте значения преимущества.
    ${\hat{D}}_{i} \leftarrow D_{i}$
  - Если NormalizedAdvantageMethod опцией является 'current', нормируйте значения преимущества на основе ненормированных преимуществ в текущем мини-пакете.
    ${\hat{D}}_{i} \leftarrow \frac{D_{i} - m e a n (D_{1}, D_{2}, \dots, D_{M})}{s t d (D_{1}, D_{2}, \dots, D_{M})}$
  - Если NormalizedAdvantageMethod опцией является 'moving', нормируйте значения преимущества на основе ненормированных преимуществ для N новые преимущества, включая текущее значение преимущества. Чтобы задать размер окна N, используйте AdvantageNormalizingWindow опция.
    ${\hat{D}}_{i} \leftarrow \frac{D_{i} - m e a n (D_{1}, D_{2}, \dots, D_{N})}{s t d (D_{1}, D_{2}, \dots, D_{N})}$
4. Обновите параметры агента путем решения ограниченной задачи оптимизации.
  1. Вычислите градиент политики.
    $g = \nabla_{θ} L_{a c t o r} (θ) = \nabla_{θ} - \frac{1}{M} \sum_{i = 1}^{M} (\frac{π_{i} (S_{i} | θ)}{π_{i} (S_{i} | θ_{o l d})} {\hat{D}}_{i} + w ℋ_{i} (θ, S_{i}))$
  2. Примените метод метода сопряженных градиентов (CG), чтобы найти приближенное решение следующего уравнения, где H является Гессиан KL-расхождения между старыми и новыми политиками.
    $x \approx H^{- 1} g$
    Чтобы сконфигурировать условия завершения для алгоритма CG, используйте NumIterationsConjugateGradient и ConjugateGradientResidualTolerance опции. Чтобы стабилизировать численный расчет для алгоритма CG, используйте ConjugateGradientDamping опция.
  3. Используя алгоритм поиска линии, найдите самый большой α, который удовлетворяет следующим ограничениям.
    $\begin{array}{l} θ = θ_{o l d} + α \sqrt{\frac{2 δ}{x^{T} H^{- 1} x}} x \\ L_{a c t o r} (θ) - L_{a c t o r} (θ_{o l d}) < 0 \\ \frac{1}{M} \sum_{i = 1}^{M} D_{K L} (θ_{o l d}, θ, S_{i}) \leq δ \\ α \in {1, \frac{1}{2}, \frac{1}{2^{2}}, \dots, \frac{1}{2^{n - 1}}} \end{array}$
    Здесь, δ является пределом KL-расхождения, который вы устанавливаете использование KLDivergenceLimit опция. n является количеством итераций поиска линии, которые вы устанавливаете использование NumIterationsLineSearch опция.
  4. Если допустимое значение α существует, обновите параметры сети агента к θ. Если допустимое значение α не существует, не обновляйте параметры агента.
Повторите шаги 3 - 5, пока эпизод тренировки не достигнет конечного состояния.

Энтропийная потеря

Чтобы способствовать исследованию агента, можно добавить, что энтропийная потеря называет w _ℋi (θ, _Si) к функции потерь агента, где w является энтропийным весом потерь, и _ℋi (θ, _Si) является энтропией.

Энтропийное значение выше, когда агент более сомнителен в который действие взять затем. Поэтому максимизация энтропийного термина потерь (минимизирующий отрицательную энтропийную потерю) увеличивает неопределенность агента, таким образом ободрительное исследование. Чтобы способствовать дополнительному исследованию, которое может помочь агенту переместиться из локальных оптимумов, можно задать больший энтропийный вес потерь.

Для дискретного пространства действий агент использует следующее энтропийное значение. В этом случае агент выводит вероятность принятия каждых возможных дискретных мер.

$ℋ_{i} (θ, S_{i}) = - \sum_{k = 1}^{P} π_{k} (S_{i} | θ) \ln π_{k} (S_{i} | θ)$

Здесь:

P является количеством возможных дискретных действий.
_πk (_Si |θ) является вероятностью принимающего меры _Ak когда в _Si состояния после текущей политики.

Для непрерывного пространства действий агент использует следующее энтропийное значение. В этом случае агент выводит среднее и стандартное отклонение Распределения Гаусса для каждого непрерывного действия.

$ℋ_{i} (θ, S_{i}) = \frac{1}{2} \sum_{k = 1}^{C} \ln (2 π \cdot e \cdot σ_{k, i}^{2})$

Здесь:

C является количеством непрерывных действий, выведенных агентом.
_σk,i является стандартным отклонением для действия k когда в _Si состояния после текущей политики.

Ссылки

[1] Шульман, Джон, Сергей Левин, Питер Аббеель, Майкл Джордан и Филипп Мориц. "Доверительная Оптимизация политики области". Продолжения 32-й Международной конференции по вопросам Машинного обучения, стр 1889-1897. 2015.

[2] Mnih, Владимир, Adrià Puigdomènech Бадия, Мехди Мирза, Алекс Грэйвс, Тимоти П. Лилликрэп, Тим Харли, Дэвид Сильвер и Корей Кэваккуоглу. “Асинхронные методы для Глубокого Обучения с подкреплением”. ArXiv:1602.01783 [Cs], 4 февраля 2016. https://arxiv.org/abs/1602.01783.

[3] Шульман, Джон, Филипп Мориц, Сергей Левин, Майкл Джордан и Питер Аббеель. “Высоко-размерное Непрерывное Управление Используя Обобщенную Оценку Преимущества”. ArXiv:1506.02438 [Cs], 20 октября 2018. https://arxiv.org/abs/1506.02438.

Смотрите также

rlTRPOAgent | rlTRPOAgentOptions

Документация