Глубоко детерминированный агент обучения с подкреплением градиента политики
Алгоритм глубоко детерминированного градиента политики (DDPG) является критиком агента, онлайновый, метод обучения с подкреплением вне политики без моделей, который вычисляет оптимальную политику, которая максимизирует долгосрочное вознаграждение. Пространство действий может только быть непрерывным.
Для получения дополнительной информации смотрите Глубоко Детерминированных Агентов Градиента политики. Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Агентов Обучения с подкреплением.
agent = rlDDPGAgent(observationInfo,actionInfo)observationInfo и спецификация действия actionInfo.
agent = rlDDPGAgent(observationInfo,actionInfo,initOpts)initOpts объект. Для получения дополнительной информации об опциях инициализации смотрите rlAgentInitializationOptions.
agent = rlDDPGAgent(___,agentOptions)AgentOptions свойство к agentOptions входной параметр. Используйте этот синтаксис после любого из входных параметров в предыдущих синтаксисах.
train | Обучите агентов обучения с подкреплением в заданной среде |
sim | Симулируйте обученных агентов обучения с подкреплением в заданной среде |
getAction | Получите действие из агента или представления актера, данного наблюдения среды |
getActor | Получите представление актера от агента обучения с подкреплением |
setActor | Установите представление актера агента обучения с подкреплением |
getCritic | Получите представление критика от агента обучения с подкреплением |
setCritic | Установите представление критика агента обучения с подкреплением |
generatePolicyFunction | Создайте функцию, которая оценивает обученную политику агента обучения с подкреплением |
Создайте среду с непрерывным пространством действий и получите его спецификации наблюдений и спецификации действия. В данном примере загрузите среду, используемую в примере, Обучают Агента DDPG Управлять Двойной Системой Интегратора. Наблюдения средой являются вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, применился к массе, располагаясь постоянно от-2 к 2 Ньютон.
% load predefined environment env = rlPredefinedEnv("DoubleIntegrator-Continuous"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Функция создания агента инициализирует агента и сети критика случайным образом. Можно гарантировать воспроизводимость путем фиксации seed случайного генератора. Для этого не прокомментируйте следующую линию.
% rng(0)Создайте агента градиента политики из спецификаций наблюдений среды и спецификаций действия.
agent = rlDDPGAgent(obsInfo,actInfo);
Чтобы проверять вашего агента, используйте getAction возвратить действие в случайное наблюдение.
getAction(agent,{rand(obsInfo(1).Dimension)})ans = 1x1 cell array
{[0.0182]}
Можно теперь протестировать и обучить агента в среде.
Создайте среду с непрерывным пространством действий и получите его спецификации наблюдений и спецификации действия. В данном примере загрузите среду, используемую в примере, Обучают Агента DDPG к Swing и Маятнику Баланса с Наблюдением Изображений. Эта среда имеет два наблюдения: 50 50 полутоновое изображение и скаляр (скорость вращения маятника). Действие является скаляром, представляющим крутящий момент, располагающийся постоянно от-2 к 2 Nm.
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Continuous"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте объект опции инициализации агента, указав, что каждый скрытый полносвязный слой в сети должен иметь 128 нейроны (вместо номера по умолчанию, 256).
initOpts = rlAgentInitializationOptions('NumHiddenUnit',128);Функция создания агента инициализирует агента и сети критика случайным образом. Можно гарантировать воспроизводимость путем фиксации seed случайного генератора. Для этого не прокомментируйте следующую линию.
% rng(0)Создайте агента DDPG из спецификаций наблюдений среды и спецификаций действия.
agent = rlDDPGAgent(obsInfo,actInfo,initOpts);
Уменьшайте скорость обучения критика до 1e-3.
critic = getCritic(agent); critic.Options.LearnRate = 1e-3; agent = setCritic(agent,critic);
Извлеките глубокие нейронные сети и из агента агента и из критика.
actorNet = getModel(getActor(agent)); criticNet = getModel(getCritic(agent));
Отобразите слои сети критика и проверьте, что каждый скрытый полносвязный слой имеет 128 нейронов
criticNet.Layers
ans =
14x1 Layer array with layers:
1 'concat' Concatenation Concatenation of 3 inputs along dimension 3
2 'relu_body' ReLU ReLU
3 'fc_body' Fully Connected 128 fully connected layer
4 'body_output' ReLU ReLU
5 'input_1' Image Input 50x50x1 images
6 'conv_1' Convolution 64 3x3x1 convolutions with stride [1 1] and padding [0 0 0 0]
7 'relu_input_1' ReLU ReLU
8 'fc_1' Fully Connected 128 fully connected layer
9 'input_2' Image Input 1x1x1 images
10 'fc_2' Fully Connected 128 fully connected layer
11 'input_3' Image Input 1x1x1 images
12 'fc_3' Fully Connected 128 fully connected layer
13 'output' Fully Connected 1 fully connected layer
14 'RepresentationLoss' Regression Output mean-squared-error
Постройте сети критика и агент
plot(actorNet)
plot(criticNet)
Чтобы проверять вашего агента, используйте getAction возвратить действие в случайное наблюдение.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[-0.0364]}
Можно теперь протестировать и обучить агента в среде.
Создайте среду с непрерывным пространством действий и получите его спецификации наблюдений и спецификации действия. В данном примере загрузите среду, используемую в примере, Обучают Агента DDPG Управлять Двойной Системой Интегратора. Наблюдение средой является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, располагающуюся постоянно от-2 к 2 Ньютон.
% load predefined environment env = rlPredefinedEnv("DoubleIntegrator-Continuous"); % get observation and specification info obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте представление критика.
% create a network to be used as underlying critic approximator statePath = imageInputLayer([obsInfo.Dimension(1) 1 1], 'Normalization', 'none', 'Name', 'state'); actionPath = imageInputLayer([numel(actInfo) 1 1], 'Normalization', 'none', 'Name', 'action'); commonPath = [concatenationLayer(1,2,'Name','concat') quadraticLayer('Name','quadratic') fullyConnectedLayer(1,'Name','StateValue','BiasLearnRateFactor', 0, 'Bias', 0)]; criticNetwork = layerGraph(statePath); criticNetwork = addLayers(criticNetwork, actionPath); criticNetwork = addLayers(criticNetwork, commonPath); criticNetwork = connectLayers(criticNetwork,'state','concat/in1'); criticNetwork = connectLayers(criticNetwork,'action','concat/in2'); % set some options for the critic criticOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the critic based on the network approximator critic = rlQValueRepresentation(criticNetwork,obsInfo,actInfo,... 'Observation',{'state'},'Action',{'action'},criticOpts);
Создайте представление актера.
% create a network to be used as underlying actor approximator actorNetwork = [ imageInputLayer([obsInfo.Dimension(1) 1 1], 'Normalization', 'none', 'Name', 'state') fullyConnectedLayer(numel(actInfo), 'Name', 'action', 'BiasLearnRateFactor', 0, 'Bias', 0)]; % set some options for the actor actorOpts = rlRepresentationOptions('LearnRate',1e-04,'GradientThreshold',1); % create the actor based on the network approximator actor = rlDeterministicActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'state'},'Action',{'action'},actorOpts);
Задайте опции агента и создайте агента DDPG с помощью среды, агента и критика.
agentOpts = rlDDPGAgentOptions(... 'SampleTime',env.Ts,... 'TargetSmoothFactor',1e-3,... 'ExperienceBufferLength',1e6,... 'DiscountFactor',0.99,... 'MiniBatchSize',32); agent = rlDDPGAgent(actor,critic,agentOpts);
Чтобы проверять вашего агента, используйте getAction возвратить действие в случайное наблюдение.
getAction(agent,{rand(2,1)})ans = 1x1 cell array
{[-0.4719]}
Можно теперь протестировать и обучить агента в среде.
Deep Network Designer | rlAgentInitializationOptions | rlDDPGAgentOptions | rlDeterministicActorRepresentation | rlQValueRepresentation