Проксимальный агент обучения с подкреплением оптимизации политики
Проксимальная оптимизация политики (PPO) является онлайновым методом обучения с подкреплением без моделей и без политики. Этот алгоритм чередует данные выборки посредством взаимодействия с окружающей средой и оптимизации обрезанной суррогатной целевой функции с использованием стохастического градиентного спуска. Пространство действий может быть дискретным или непрерывным.
Для получения дополнительной информации об агентах PPO см. «Проксимальные агенты оптимизации политики». Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Reinforcement Learning Agents.
создает агента проксимальной оптимизации политики (PPO) для окружения с заданным наблюдением и спецификациями действия, используя опции инициализации по умолчанию. Представления актёра и критика в агенте используют глубокие нейронные сети по умолчанию, созданные из спецификации наблюдений agent
= rlPPOAgent(observationInfo
,actionInfo
)observationInfo
и спецификация действия actionInfo
.
создает агента PPO для окружения с заданным наблюдением и спецификаций действия. Агент использует сети по умолчанию, настроенные с помощью опций, заданных в agent
= rlPPOAgent(observationInfo
,actionInfo
,initOpts
)initOpts
объект. Агенты актёра-критика не поддерживают рекуррентные нейронные сети. Для получения дополнительной информации об опциях инициализации смотрите rlAgentInitializationOptions
.
создает агента PPO и устанавливает свойство AgentOptions на agent
= rlPPOAgent(___,agentOptions
)agentOptions
входной параметр. Используйте этот синтаксис после любого из входных параметров в предыдущих синтаксисах.
train | Обучите агентов обучения с подкреплением в заданном окружении |
sim | Симулируйте обученных агентов обучения с подкреплением в заданном окружении |
getAction | Получите действие от агента или представления актера заданных наблюдений окружения |
getActor | Получите представление актера от агента обучения с подкреплением |
setActor | Установите представление актера агента обучения с подкреплением |
getCritic | Получите представление критика от агента обучения с подкреплением |
setCritic | Установите представление критика агента обучения с подкреплением |
generatePolicyFunction | Создайте функцию, которая оценивает обученную политику агента обучения с подкреплением |
Для непрерывных пространств действий этот агент не применяет ограничения, заданные спецификацией действия. В этом случае необходимо применить ограничения пространства действий в окружении.
Deep Network Designer | rlAgentInitializationOptions
| rlPPOAgentOptions
| rlStochasticActorRepresentation
| rlValueRepresentation