Агент обучения с подкреплением с градиентом политики
Алгоритм градиента политики (PG) является онлайновым методом обучения с подкреплением без моделей и без политики. Агент PG является агентом обучения с подкреплением на основе политики, который использует алгоритм REINFORCE, чтобы непосредственно вычислить оптимальную политику, которая максимизирует долгосрочное вознаграждение. Пространство действий может быть дискретным или непрерывным.
Дополнительные сведения об агентах PG и алгоритме REINFORCE см. в разделе Агенты градиента политики. Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Reinforcement Learning Agents.
agent = rlPGAgent(observationInfo,actionInfo)observationInfo и спецификация действия actionInfo.
agent = rlPGAgent(observationInfo,actionInfo,initOpts)initOpts объект. Агенты градиента политики не поддерживают рекуррентные нейронные сети. Для получения дополнительной информации об опциях инициализации смотрите rlAgentInitializationOptions.
agent = rlPGAgent(actor)UseBaseline свойство агента false в этом случае.
agent = rlPGAgent(___,agentOptions)AgentOptions свойство для agentOptions входной параметр. Используйте этот синтаксис после любого из входных параметров в предыдущих синтаксисах.
train | Обучите агентов обучения с подкреплением в заданном окружении |
sim | Симулируйте обученных агентов обучения с подкреплением в заданном окружении |
getAction | Получите действие от агента или представления актера заданных наблюдений окружения |
getActor | Получите представление актера от агента обучения с подкреплением |
setActor | Установите представление актера агента обучения с подкреплением |
getCritic | Получите представление критика от агента обучения с подкреплением |
setCritic | Установите представление критика агента обучения с подкреплением |
generatePolicyFunction | Создайте функцию, которая оценивает обученную политику агента обучения с подкреплением |
Создайте окружение с дискретным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение, используемую в примере Создать агента с помощью Deep Network Designer и Обучить с использованием наблюдений изображений. Это окружение имеет два наблюдения: изображение полутонового цвета 50 на 50 и скаляр (скорость вращения маятника). Действие является скаляром с пятью возможными элементами (крутящий момент любого из - 2, - 1, 0, 1, или 2 Nm приложен к полюсу).
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Discrete"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Функция создания агента инициализирует сети актёра и критика случайным образом. Можно обеспечить воспроизводимость, зафиксировав seed случайного генератора. Для этого раскомментируйте следующую линию.
% rng(0)Создайте агент градиента политики из окружения наблюдений и спецификаций действия.
agent = rlPGAgent(obsInfo,actInfo);
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[-2]}
Теперь можно тестировать и обучать агента в окружении.
Создайте окружение с непрерывным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение, используемую в примере Train DDPG Agent to Swing Up and Balance Mendulum with Image Observation. Это окружение имеет два наблюдения: изображение полутонового цвета 50 на 50 и скаляр (скорость вращения маятника). Действие является скаляром, представляющим крутящий момент, постоянно варьирующийся от - 2 на 2 Нм.
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Continuous"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте объект опции инициализации агента, указав, что каждый скрытый полносвязный слой в сети должен иметь 128 нейроны (вместо числа по умолчанию 256). Агенты градиента политики не поддерживают рекуррентные сети, поэтому установка UseRNN опция для true генерирует ошибку при создании агента.
initOpts = rlAgentInitializationOptions('NumHiddenUnit',128);Функция создания агента инициализирует сети актёра и критика случайным образом. Можно обеспечить воспроизводимость, зафиксировав seed случайного генератора. Для этого раскомментируйте следующую линию.
% rng(0)Создайте агент градиента политики из окружения наблюдений и спецификаций действия.
agent = rlPGAgent(obsInfo,actInfo,initOpts);
Уменьшите скорость обучения критика до 1e-3.
critic = getCritic(agent); critic.Options.LearnRate = 1e-3; agent = setCritic(agent,critic);
Извлеките глубокие нейронные сети как от агента, так и от критика.
actorNet = getModel(getActor(agent)); criticNet = getModel(getCritic(agent));
Отобразите слои сети критика и проверьте, что каждый скрытый полностью соединенный слой имеет 128 нейронов
criticNet.Layers
ans =
12x1 Layer array with layers:
1 'concat' Concatenation Concatenation of 2 inputs along dimension 3
2 'relu_body' ReLU ReLU
3 'fc_body' Fully Connected 128 fully connected layer
4 'body_output' ReLU ReLU
5 'input_1' Image Input 50x50x1 images
6 'conv_1' Convolution 64 3x3x1 convolutions with stride [1 1] and padding [0 0 0 0]
7 'relu_input_1' ReLU ReLU
8 'fc_1' Fully Connected 128 fully connected layer
9 'input_2' Image Input 1x1x1 images
10 'fc_2' Fully Connected 128 fully connected layer
11 'output' Fully Connected 1 fully connected layer
12 'RepresentationLoss' Regression Output mean-squared-error
Сюжетные сети актёра и критика
plot(actorNet)
plot(criticNet)
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[0.9228]}
Теперь можно тестировать и обучать агента в окружении.
Создайте окружение с дискретным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение, используемую в примере Train PG Agent with Baseline to Control Double Integrator System. Наблюдение от окружения является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, приложенную к массе, имеющую три возможных значения (- 2, 0, или 2 Ньютон).
% load predefined environment env = rlPredefinedEnv("DoubleIntegrator-Discrete"); % get observation and specification info obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте представление критика, которое будет использоваться в качестве опорной линии.
% create a network to be used as underlying critic approximator baselineNetwork = [ imageInputLayer([obsInfo.Dimension(1) 1 1], 'Normalization', 'none', 'Name', 'state') fullyConnectedLayer(8, 'Name', 'BaselineFC') reluLayer('Name', 'CriticRelu1') fullyConnectedLayer(1, 'Name', 'BaselineFC2', 'BiasLearnRateFactor', 0)]; % set some options for the critic baselineOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the critic based on the network approximator baseline = rlValueRepresentation(baselineNetwork,obsInfo,'Observation',{'state'},baselineOpts);
Создайте представление актера.
% create a network to be used as underlying actor approximator actorNetwork = [ imageInputLayer([obsInfo.Dimension(1) 1 1], 'Normalization', 'none', 'Name', 'state') fullyConnectedLayer(numel(actInfo.Elements), 'Name', 'action', 'BiasLearnRateFactor', 0)]; % set some options for the actor actorOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the actor based on the network approximator actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'state'},actorOpts);
Задайте опции агента и создайте агента PG, используя окружение, актёра и критика.
agentOpts = rlPGAgentOptions(... 'UseBaseline',true, ... 'DiscountFactor', 0.99); agent = rlPGAgent(actor,baseline,agentOpts)
agent =
rlPGAgent with properties:
AgentOptions: [1x1 rl.option.rlPGAgentOptions]
Чтобы проверить своего агента, используйте getAction, чтобы вернуть действие от случайного наблюдения.
getAction(agent,{rand(2,1)})ans = 1x1 cell array
{[-2]}
Теперь можно тестировать и обучать агента в окружении.
Создайте окружение с непрерывным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение непрерывного пространства действий двойного интегратора, используемую в примере Train DDPG Agent to Control Double Integrator System.
% load predefined environment env = rlPredefinedEnv("DoubleIntegrator-Continuous"); % get observation specification info obsInfo = getObservationInfo(env)
obsInfo =
rlNumericSpec with properties:
LowerLimit: -Inf
UpperLimit: Inf
Name: "states"
Description: "x, dx"
Dimension: [2 1]
DataType: "double"
% get action specification info
actInfo = getActionInfo(env)actInfo =
rlNumericSpec with properties:
LowerLimit: -Inf
UpperLimit: Inf
Name: "force"
Description: [0x0 string]
Dimension: [1 1]
DataType: "double"
В этом примере действие является скалярным входом, представляющим силу в диапазоне от - 2 на 2 Ньютон, поэтому рекомендуется установить верхний и нижний предел сигнала действия соответственно. Это должно быть сделано, когда представление сети для актёра имеет нелинейный выходной слой, который должен быть соответственно масштабирован, чтобы получить выход в желаемой области значений.
% make sure action space upper and lower limits are finite
actInfo.LowerLimit=-2;
actInfo.UpperLimit=2;Создайте представление критика, которое будет использоваться в качестве опорной линии. Агенты градиента политики используют rlValueRepresentation для базовой линии. Для непрерывных пространств наблюдений можно использовать либо глубокую нейронную сеть, либо пользовательское представление базиса. В данном примере создайте глубокую нейронную сеть в качестве базовой аппроксимации.
% create a network to be used as underlying critic approximator baselineNetwork = [ imageInputLayer([obsInfo.Dimension 1], 'Normalization', 'none', 'Name', 'state') fullyConnectedLayer(8, 'Name', 'BaselineFC1') reluLayer('Name', 'Relu1') fullyConnectedLayer(1, 'Name', 'BaselineFC2', 'BiasLearnRateFactor', 0)]; % set some training options for the critic baselineOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the critic based on the network approximator baseline = rlValueRepresentation(baselineNetwork,obsInfo,'Observation',{'state'},baselineOpts);
Агенты градиента политики используют rlStochasticActorRepresentation. Для непрерывных пространств действий стохастических актёров можно использовать только нейронную сеть в качестве базовой аппроксимации.
Вход наблюдения (здесь называется myobs) должен принять двумерный вектор, как указано в obsInfo. The выхода (здесь называется myact) также должен быть двумерным вектором (вдвое больше размерностей, заданных в actInfo). Элементы выходного вектора представляют в последовательности все средства и все стандартные отклонения каждого действия (в этом случае существует только одно среднее значение и одно стандартное отклонение).
Тот факт, что стандартные отклонения должны быть неотрицательными, в то время как средние значения должны попадать в выходную область значений, означает, что сеть должна иметь два отдельных пути. Первый путь предназначен для средних значений, и любой выход нелинейность должна быть масштабирована, чтобы она могла создать выходы в выход области значений. Второй путь предназначен для отклонений, и вы должны использовать слой softplus или relu, чтобы применить неотрицательность.
% input path layers (2 by 1 input, 1 by 1 output) inPath = [ imageInputLayer([obsInfo.Dimension 1], 'Normalization','none','Name','state') fullyConnectedLayer(10,'Name', 'ip_fc') % 10 by 1 output reluLayer('Name', 'ip_relu') % nonlinearity fullyConnectedLayer(1,'Name','ip_out') ]; % 1 by 1 output % path layers for mean value (1 by 1 input and 1 by 1 output) % using scalingLayer to scale the range meanPath = [ fullyConnectedLayer(15,'Name', 'mp_fc1') % 15 by 1 output reluLayer('Name', 'mp_relu') % nonlinearity fullyConnectedLayer(1,'Name','mp_fc2'); % 1 by 1 output tanhLayer('Name','tanh'); % output range: (-1,1) scalingLayer('Name','mp_out','Scale',actInfo.UpperLimit) ]; % output range: (-2N,2N) % path layers for standard deviation (1 by 1 input and output) % using softplus layer to make it non negative sdevPath = [ fullyConnectedLayer(15,'Name', 'vp_fc1') % 15 by 1 output reluLayer('Name', 'vp_relu') % nonlinearity fullyConnectedLayer(1,'Name','vp_fc2'); % 1 by 1 output softplusLayer('Name', 'vp_out') ]; % output range: (0,+Inf) % conctatenate two inputs (along dimension #3) to form a single (2 by 1) output layer outLayer = concatenationLayer(3,2,'Name','mean&sdev'); % add layers to layerGraph network object actorNet = layerGraph(inPath); actorNet = addLayers(actorNet,meanPath); actorNet = addLayers(actorNet,sdevPath); actorNet = addLayers(actorNet,outLayer); % connect layers: the mean value path output MUST be connected to the FIRST input of the concatenation layer actorNet = connectLayers(actorNet,'ip_out','mp_fc1/in'); % connect output of inPath to meanPath input actorNet = connectLayers(actorNet,'ip_out','vp_fc1/in'); % connect output of inPath to variancePath input actorNet = connectLayers(actorNet,'mp_out','mean&sdev/in1');% connect output of meanPath to mean&sdev input #1 actorNet = connectLayers(actorNet,'vp_out','mean&sdev/in2');% connect output of sdevPath to mean&sdev input #2 % plot network plot(actorNet)
Задайте некоторые опции для актёра и создайте стохастическое представление актера с помощью глубокой нейронной сети actorNet.
% set some options for the actor actorOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the actor based on the network approximator actor = rlStochasticActorRepresentation(actorNet,obsInfo,actInfo,... 'Observation',{'state'},actorOpts);
Задайте опции агента и создайте агента PG с помощью опций актёра, опорной структуры и агента.
agentOpts = rlPGAgentOptions(... 'UseBaseline',true, ... 'DiscountFactor', 0.99); agent = rlPGAgent(actor,baseline,agentOpts)
agent =
rlPGAgent with properties:
AgentOptions: [1x1 rl.option.rlPGAgentOptions]
Чтобы проверить своего агента, используйте getAction, чтобы вернуть действие от случайного наблюдения.
getAction(agent,{rand(2,1)})ans = 1x1 cell array
{[0.0347]}
Теперь можно тестировать и обучать агента в окружении.
В данном примере загружает окружение, используемую в примере Train PG Agent with Baseline to Control Double Integrator System. Наблюдение от окружения является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, приложенную к массе, имеющую три возможных значения (-2, 0 или 2 Ньютона).
env = rlPredefinedEnv("DoubleIntegrator-Discrete");Получите информацию о наблюдении и спецификации.
obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте представление критика, которое будет использоваться в качестве опорной линии. Чтобы создать рекуррентную нейронную сеть для критика, используйте sequenceInputLayer в качестве входа слоя и включать lstmLayer как один из других слоев сети.
baselineNetwork = [
sequenceInputLayer(obsInfo.Dimension(1), 'Normalization', 'none', 'Name','myobs')
fullyConnectedLayer(8, 'Name', 'BaselineFC')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
reluLayer('Name', 'CriticRelu1')
fullyConnectedLayer(1, 'Name', 'BaselineFC2', 'BiasLearnRateFactor', 0)];Установите некоторые опции для критика.
baselineOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1);
Создайте критика на основе сетевой аппроксимации.
baseline = rlValueRepresentation(baselineNetwork,obsInfo,'Observation',{'myobs'},baselineOpts);
Создайте представление актера. Поскольку у критика есть рецидивирующая сеть, у актёра должна быть и рецидивирующая сеть.
Задайте рекуррентную нейронную сеть для актёра.
actorNetwork = [
sequenceInputLayer(obsInfo.Dimension(1), 'Normalization', 'none', 'Name', 'myobs')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
fullyConnectedLayer(numel(actInfo.Elements), 'Name', 'action', 'BiasLearnRateFactor', 0)];Установите опции актёра и создайте актёра.
actorOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'myobs'},actorOpts);
Задайте опции агента и создайте агента PG, используя окружение, актёра и критика.
agentOpts = rlPGAgentOptions(... 'UseBaseline',true, ... 'DiscountFactor', 0.99); agent = rlPGAgent(actor,baseline,agentOpts);
Для агента PG с рекуррентными нейронными сетями длина обучающей последовательности является целым эпизодом.
Чтобы проверить своего агента, используйте getAction, чтобы вернуть действие от случайного наблюдения.
getAction(agent,{obsInfo.Dimension})ans = 1×1 cell array
{[0]}
Теперь можно тестировать и обучать агента в окружении.
Для непрерывных пространств действий, rlPGAgent агент не применяет ограничения, заданные спецификацией действия, поэтому необходимо применять ограничения пространства действий в окружении.
Deep Network Designer | rlAgentInitializationOptions | rlPGAgentOptions | rlStochasticActorRepresentation | rlValueRepresentation