Агент глубокого детерминированного градиента обучения с подкреплением политики
Алгоритм глубокого детерминированного градиента политики (DDPG) является онлайновым методом обучения с подкреплением без моделей и без политики, который вычисляет оптимальную политику, максимизирующую долгосрочное вознаграждение. Пространство действий может быть только непрерывным.
Для получения дополнительной информации см. «Глубокая детерминированная Политикой градиентные Агенты». Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Reinforcement Learning Agents.
agent = rlDDPGAgent(observationInfo,actionInfo)observationInfo и спецификация действия actionInfo.
agent = rlDDPGAgent(observationInfo,actionInfo,initOpts)initOpts объект. Для получения дополнительной информации об опциях инициализации смотрите rlAgentInitializationOptions.
agent = rlDDPGAgent(___,agentOptions)AgentOptions свойство для agentOptions входной параметр. Используйте этот синтаксис после любого из входных параметров в предыдущих синтаксисах.
train | Обучите агентов обучения с подкреплением в заданном окружении |
sim | Симулируйте обученных агентов обучения с подкреплением в заданном окружении |
getAction | Получите действие от агента или представления актера заданных наблюдений окружения |
getActor | Получите представление актера от агента обучения с подкреплением |
setActor | Установите представление актера агента обучения с подкреплением |
getCritic | Получите представление критика от агента обучения с подкреплением |
setCritic | Установите представление критика агента обучения с подкреплением |
generatePolicyFunction | Создайте функцию, которая оценивает обученную политику агента обучения с подкреплением |
Создайте окружение с непрерывным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение, используемую в примере Train DDPG Agent для управления системой Double Integrator System. Наблюдение от окружения является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, приложенную к массе, постоянно варьируясь от - 2 на 2 Ньютон.
% load predefined environment env = rlPredefinedEnv("DoubleIntegrator-Continuous"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Функция создания агента инициализирует сети актёра и критика случайным образом. Можно обеспечить воспроизводимость, зафиксировав seed случайного генератора. Для этого раскомментируйте следующую линию.
% rng(0)Создайте агент градиента политики из окружения наблюдений и спецификаций действия.
agent = rlDDPGAgent(obsInfo,actInfo);
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension)})ans = 1x1 cell array
{[0.0182]}
Теперь можно тестировать и обучать агента в окружении.
Создайте окружение с непрерывным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение, используемую в примере Train DDPG Agent to Swing Up and Balance Mendulum with Image Observation. Это окружение имеет два наблюдения: изображение полутонового цвета 50 на 50 и скаляр (скорость вращения маятника). Действие является скаляром, представляющим крутящий момент, постоянно варьирующийся от - 2 на 2 Нм.
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Continuous"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте объект опции инициализации агента, указав, что каждый скрытый полносвязный слой в сети должен иметь 128 нейроны (вместо числа по умолчанию 256).
initOpts = rlAgentInitializationOptions('NumHiddenUnit',128);Функция создания агента инициализирует сети актёра и критика случайным образом. Можно обеспечить воспроизводимость, зафиксировав seed случайного генератора. Для этого раскомментируйте следующую линию.
% rng(0)Создайте агента DDPG из окружения наблюдения и спецификаций действия.
agent = rlDDPGAgent(obsInfo,actInfo,initOpts);
Уменьшите скорость обучения критика до 1e-3.
critic = getCritic(agent); critic.Options.LearnRate = 1e-3; agent = setCritic(agent,critic);
Извлеките глубокие нейронные сети как от агента, так и от критика.
actorNet = getModel(getActor(agent)); criticNet = getModel(getCritic(agent));
Отобразите слои сети критика и проверьте, что каждый скрытый полностью соединенный слой имеет 128 нейронов
criticNet.Layers
ans =
14x1 Layer array with layers:
1 'concat' Concatenation Concatenation of 3 inputs along dimension 3
2 'relu_body' ReLU ReLU
3 'fc_body' Fully Connected 128 fully connected layer
4 'body_output' ReLU ReLU
5 'input_1' Image Input 50x50x1 images
6 'conv_1' Convolution 64 3x3x1 convolutions with stride [1 1] and padding [0 0 0 0]
7 'relu_input_1' ReLU ReLU
8 'fc_1' Fully Connected 128 fully connected layer
9 'input_2' Image Input 1x1x1 images
10 'fc_2' Fully Connected 128 fully connected layer
11 'input_3' Image Input 1x1x1 images
12 'fc_3' Fully Connected 128 fully connected layer
13 'output' Fully Connected 1 fully connected layer
14 'RepresentationLoss' Regression Output mean-squared-error
Сюжетные сети актёра и критика
plot(actorNet)
plot(criticNet)
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[-0.0364]}
Теперь можно тестировать и обучать агента в окружении.
Создайте окружение с непрерывным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение, используемую в примере Train DDPG Agent для управления системой Double Integrator System. Наблюдение от окружения является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, постоянно варьирующуюся от - 2 на 2 Ньютон.
env = rlPredefinedEnv("DoubleIntegrator-Continuous");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);Создайте представление критика.
% create a network to be used as underlying critic approximator statePath = imageInputLayer([obsInfo.Dimension(1) 1 1],'Normalization','none','Name','state'); actionPath = imageInputLayer([numel(actInfo) 1 1],'Normalization','none','Name','action'); commonPath = [concatenationLayer(1,2,'Name','concat') quadraticLayer('Name','quadratic') fullyConnectedLayer(1,'Name','StateValue','BiasLearnRateFactor', 0, 'Bias', 0)]; criticNetwork = layerGraph(statePath); criticNetwork = addLayers(criticNetwork, actionPath); criticNetwork = addLayers(criticNetwork, commonPath); criticNetwork = connectLayers(criticNetwork,'state','concat/in1'); criticNetwork = connectLayers(criticNetwork,'action','concat/in2'); % set some options for the critic criticOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the critic based on the network approximator critic = rlQValueRepresentation(criticNetwork,obsInfo,actInfo,... 'Observation',{'state'},'Action',{'action'},criticOpts);
Создайте представление актера.
% create a network to be used as underlying actor approximator actorNetwork = [ imageInputLayer([obsInfo.Dimension(1) 1 1],'Normalization','none','Name','state') fullyConnectedLayer(numel(actInfo),'Name','action','BiasLearnRateFactor',0,'Bias',0)]; % set some options for the actor actorOpts = rlRepresentationOptions('LearnRate',1e-04,'GradientThreshold',1); % create the actor based on the network approximator actor = rlDeterministicActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'state'},'Action',{'action'},actorOpts);
Задайте опции агента и создайте агента DDPG с помощью окружения, актёра и критика.
agentOpts = rlDDPGAgentOptions(... 'SampleTime',env.Ts,... 'TargetSmoothFactor',1e-3,... 'ExperienceBufferLength',1e6,... 'DiscountFactor',0.99,... 'MiniBatchSize',32); agent = rlDDPGAgent(actor,critic,agentOpts);
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(2,1)})ans = 1x1 cell array
{[-0.4719]}
Теперь можно тестировать и обучать агента в окружении.
В данном примере загружает окружение, используемую в примере Train DDPG Agent для управления системой Double Integrator System. Наблюдение от окружения является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, постоянно варьирующуюся от - 2 на 2 Ньютон.
env = rlPredefinedEnv("DoubleIntegrator-Continuous");Получите информацию о наблюдении и спецификации действия.
obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте представление критика. Чтобы создать рекуррентную нейронную сеть, используйте sequenceInputLayer в качестве входа слоя и включать lstmLayer как один из других слоев сети.
statePath = sequenceInputLayer(obsInfo.Dimension(1), 'Normalization', 'none', 'Name', 'myobs'); actionPath = sequenceInputLayer(numel(actInfo), 'Normalization', 'none', 'Name', 'myact'); commonPath = [concatenationLayer(1,2,'Name','concat') reluLayer('Name','relu') lstmLayer(8,'OutputMode','sequence','Name','lstm') fullyConnectedLayer(1,'Name','StateValue','BiasLearnRateFactor', 0, 'Bias', 0)]; criticNetwork = layerGraph(statePath); criticNetwork = addLayers(criticNetwork, actionPath); criticNetwork = addLayers(criticNetwork, commonPath); criticNetwork = connectLayers(criticNetwork,'myobs','concat/in1'); criticNetwork = connectLayers(criticNetwork,'myact','concat/in2');
Установите некоторые опции для критика.
criticOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1);
Создайте критика на основе сетевой аппроксимации.
critic = rlQValueRepresentation(criticNetwork,obsInfo,actInfo,... 'Observation',{'myobs'},'Action',{'myact'},criticOpts);
Создайте представление актера.
Поскольку у критика есть рецидивирующая сеть, у актёра должна быть и рецидивирующая сеть. Задайте рекуррентную нейронную сеть для актёра.
actorNetwork = [
sequenceInputLayer(obsInfo.Dimension(1), 'Normalization', 'none', 'Name', 'myobs')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
fullyConnectedLayer(numel(actInfo), 'Name', 'myact', 'BiasLearnRateFactor', 0, 'Bias', 0)];Установите опции актёра.
actorOpts = rlRepresentationOptions('LearnRate',1e-04,'GradientThreshold',1);
Создайте актёра.
actor = rlDeterministicActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'myobs'},'Action',{'myact'},actorOpts);
Задайте опции агента и создайте агента DDPG с помощью окружения, актёра и критика. Чтобы использовать агента DDPG с рекуррентными нейронными сетями, необходимо задать SequenceLength больше 1.
agentOpts = rlDDPGAgentOptions(... 'SampleTime',env.Ts,... 'TargetSmoothFactor',1e-3,... 'ExperienceBufferLength',1e6,... 'DiscountFactor',0.99,... 'SequenceLength',20,... 'MiniBatchSize',32); agent = rlDDPGAgent(actor,critic,agentOpts);
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{obsInfo.Dimension})ans = 1x1 cell array
{[-0.1483]}
Теперь можно тестировать и обучать агента в окружении.
Deep Network Designer | rlAgentInitializationOptions | rlDDPGAgentOptions | rlDeterministicActorRepresentation | rlQValueRepresentation