Алгоритм градиента политики (PG) является онлайновым, методом обучения с подкреплением на политике без моделей. Агент PG является основанным на политике агентом обучения с подкреплением, который непосредственно вычисляет оптимальную политику, которая максимизирует долгосрочное вознаграждение.
Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Агентов Обучения с подкреплением.
Агенты PG могут быть обучены в средах со следующими пробелами наблюдения и действия.
| Пространство наблюдений | Пробел действия |
|---|---|
| Непрерывный или дискретный | Дискретный |
Во время обучения, агента PG:
Оценочные вероятности принятия каждых мер на пробеле действия и случайным образом выбирают действия на основе вероятностного распределения.
Завершает полный эпизод тренировки с помощью текущей политики перед учением из опыта и обновлением параметров политики.
Агенты PG представляют политику с помощью функции агента approximator μ (S). Агент берет наблюдение S и выводит вероятности принятия каждых мер на пробеле действия когда в S состояния.
Чтобы уменьшать отклонение во время оценки градиента, агенты PG могут использовать базовую функцию значения, которая оценивается с помощью функции критика approximator, V (S). Критик вычисляет функцию значения для данного состояния наблюдения.
Для получения дополнительной информации о создании агентов и критиков для приближения функций, смотрите, Создают политику и Представления Функции Значения.
Создать агента PG:
Создайте объект представления агента.
Если вы используете базовую функцию, создаете объект представления критика.
Задайте опции агента с помощью rlPGAgentOptions функция.
Создайте агента с помощью rlPGAgent функция.
Для получения дополнительной информации смотрите rlPGAgent и rlPGAgentOptions.
Агенты PG используют REINFORCE (градиент политики Монте-Карло) алгоритм или с или без базовой линии. Чтобы сконфигурировать учебный алгоритм, задайте опции с помощью rlPGAgentOptions.
Инициализируйте агента μ (S) со случайными значениями параметров θμ.
Для каждого эпизода тренировки сгенерируйте опыт эпизода следующей политикой агента μ (S). Чтобы выбрать действие, агент генерирует вероятности для каждого действия на пробеле действия, затем агент случайным образом выбирает действие на основе вероятностного распределения. Агент принимает меры, пока он не достигает терминального состояния, ST. Опыт эпизода состоит из последовательности:
Здесь, St является наблюдением состояния, At+1 является мерами, принятыми от того состояния, St+1 является следующим состоянием, и Rt+1 является вознаграждением, полученным для перемещения от St до St+1.
Для каждого состояния в последовательности эпизода; то есть, для t = 1, 2, …, T-1, вычисляют возврат Gt, который является обесцененным будущим вознаграждением.
Накопите градиенты для сети агента следующим градиент политики, чтобы максимизировать ожидаемое обесцененное вознаграждение. Если EntropyLossWeight опция больше нуля, затем дополнительные градиенты накапливаются, чтобы минимизировать энтропийную функцию потерь.
Обновите параметры агента путем применения градиентов.
Здесь, α является темпом обучения агента. Задайте темп обучения, когда вы создадите представление агента путем установки LearnRate опция в rlRepresentationOptions объект. Для простоты этот шаг показывает обновление градиента с помощью основного стохастического градиентного спуска. Фактический метод обновления градиента зависит от оптимизатора, заданного с помощью rlRepresentationOptions.
Повторите шаги 2 - 5 для каждого эпизода тренировки, пока обучение не будет завершено.
Инициализируйте агента μ (S) со случайными значениями параметров θμ.
Инициализируйте критика V (S) со случайными значениями параметров θQ.
Для каждого эпизода тренировки сгенерируйте опыт эпизода следующей политикой агента μ (S). Опыт эпизода состоит из последовательности:
Для t = 1, 2, …, T:
Вычислите возврат Gt, который является обесцененным будущим вознаграждением.
Вычислите функцию преимущества δt с помощью базовой оценки функции значения от критика.
Накопите градиенты для сети критика.
Накопите градиенты для сети агента. Если EntropyLossWeight опция больше нуля, затем дополнительные градиенты накапливаются, чтобы минимизировать энтропийную функцию потерь.
Обновите параметры критика θV.
Здесь, β является темпом обучения критика. Задайте темп обучения, когда вы создадите представление критика путем установки LearnRate опция в rlRepresentationOptions объект.
Обновите параметры агента θμ.
Повторите шаги 3 - 8 для каждого эпизода тренировки, пока обучение не будет завершено.
Для простоты этот агент и обновления критика в этом алгоритме показывают обновление градиента с помощью основного стохастического градиентного спуска. Фактический метод обновления градиента зависит от оптимизатора, заданного с помощью rlRepresentationOptions.
[1] Р. Дж. Уильямс, “Простые статистические следующие за градиентом алгоритмы для ассоциативного обучения с подкреплением", Машинное обучение, издание 8, выпуск 3-4, стр 229-256, 1992.
rlPGAgent | rlPGAgentOptions | rlRepresentation