Агент обучения по оптимизации проксимальной политики
Оптимизация проксимальной политики (PPO) - это метод обучения без модели, онлайн, on-policy, градиентного усиления политики. Этот алгоритм чередует выборку данных через взаимодействие с окружающей средой и оптимизацию отсеченной суррогатной целевой функции с использованием стохастического градиентного спуска. Пространство действия может быть дискретным или непрерывным.
Дополнительные сведения об агентах PPO см. в разделе Агенты оптимизации проксимальной политики. Дополнительные сведения о различных типах агентов обучения усилению см. в разделе Агенты обучения усилению.
agent = rlPPOAgent(observationInfo,actionInfo)observationInfo и спецификацию действия actionInfo.
agent = rlPPOAgent(observationInfo,actionInfo,initOpts)initOpts объект. Агенты актера-критика не поддерживают рецидивирующие нейронные сети. Дополнительные сведения о параметрах инициализации см. в разделе rlAgentInitializationOptions.
agent = rlPPOAgent(___,agentOptions)agentOptions входной аргумент. Используйте этот синтаксис после любого из входных аргументов в предыдущих синтаксисах.
train | Подготовка обучающих агентов по усилению в определенной среде |
sim | Моделирование обученных агентов по обучению подкреплению в определенной среде |
getAction | Получить действие от агента или актора при наблюдении за окружающей средой |
getActor | Получение представления актера от обучающего агента усиления |
setActor | Задать представление актора обучающего агента усиления |
getCritic | Получение критического представления от агента обучения усиления |
setCritic | Задать критическое представление агента обучения усилению |
generatePolicyFunction | Создание функции, оценивающей обученную политику усиления агента обучения |
Создайте среду с дискретным пространством действий и получите ее характеристики наблюдения и действия. В этом примере загрузите среду, используемую в примере Создание агента с помощью Deep Network Designer и Обучение с помощью наблюдений за изображениями. Эта среда имеет два наблюдения: изображение в градациях серого 50 на 50 и скаляр (угловая скорость маятника). Действие представляет собой скаляр с пятью возможными элементами (крутящий момент либо -2, -1, 0, 1, или 2 Нм применяется к качающемуся полюсу).
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Discrete"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Функция создания агента произвольно инициализирует сеть актера и критика. Можно обеспечить воспроизводимость, зафиксировав начальное число случайного генератора. Для этого раскомментируйте следующую строку.
% rng(0)Создание агента-исполнителя-критика из спецификаций наблюдения за окружающей средой и действий.
agent = rlPPOAgent(obsInfo,actInfo);
Для проверки агента используйте getAction для возврата действия из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[-2]}
Теперь можно тестировать и обучать агента в среде.
Создание среды с непрерывным пространством действий и получение ее характеристик наблюдения и действий. Для этого примера загрузите среду, используемую в примере Train DDPG Agent to Swing Up и Balance Pendulum with Image Observation. Эта среда имеет два наблюдения: изображение в градациях серого 50 на 50 и скаляр (угловая скорость маятника). Действие представляет собой скаляр, представляющий крутящий момент в диапазоне от -2 кому 2 Нм.
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Continuous"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создание объекта параметра инициализации агента, указывающего, что каждый скрытый полностью подключенный уровень в сети должен иметь 128 нейроны (вместо номера по умолчанию, 256).
initOpts = rlAgentInitializationOptions('NumHiddenUnit',128);Функция создания агента произвольно инициализирует сеть актера и критика. Можно обеспечить воспроизводимость, зафиксировав начальное число случайного генератора. Для этого раскомментируйте следующую строку.
% rng(0)Создание агента-исполнителя PPO на основе параметров наблюдения за окружающей средой и действий.
agent = rlPPOAgent(obsInfo,actInfo,initOpts);
Сократите уровень обучения критиков до 1e-3.
critic = getCritic(agent); critic.Options.LearnRate = 1e-3; agent = setCritic(agent,critic);
Извлеките глубокие нейронные сети как из актера-агента, так и из критика.
actorNet = getModel(getActor(agent)); criticNet = getModel(getCritic(agent));
Отображение уровней критической сети и проверка того, что каждый скрытый полностью связанный уровень имеет 128 нейронов
criticNet.Layers
ans =
12x1 Layer array with layers:
1 'concat' Concatenation Concatenation of 2 inputs along dimension 3
2 'relu_body' ReLU ReLU
3 'fc_body' Fully Connected 128 fully connected layer
4 'body_output' ReLU ReLU
5 'input_1' Image Input 50x50x1 images
6 'conv_1' Convolution 64 3x3x1 convolutions with stride [1 1] and padding [0 0 0 0]
7 'relu_input_1' ReLU ReLU
8 'fc_1' Fully Connected 128 fully connected layer
9 'input_2' Image Input 1x1x1 images
10 'fc_2' Fully Connected 128 fully connected layer
11 'output' Fully Connected 1 fully connected layer
12 'RepresentationLoss' Regression Output mean-squared-error
Сюжетный актер и сети критиков
plot(actorNet)
plot(criticNet)
Для проверки агента используйте getAction для возврата действия из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[0.9228]}
Теперь можно тестировать и обучать агента в среде.
Создайте интерфейс среды и получите его спецификации наблюдения и действий.
env = rlPredefinedEnv("CartPole-Discrete");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);Создайте критическое представление.
% Create the network to be used as approximator in the critic. criticNetwork = [ featureInputLayer(4,'Normalization','none','Name','state') fullyConnectedLayer(1,'Name','CriticFC')]; % Set options for the critic. criticOpts = rlRepresentationOptions('LearnRate',8e-3,'GradientThreshold',1); % Create the critic. critic = rlValueRepresentation(criticNetwork,obsInfo,'Observation',{'state'},criticOpts);
Создание представления актера.
% Create the network to be used as approximator in the actor. actorNetwork = [ featureInputLayer(4,'Normalization','none','Name','state') fullyConnectedLayer(2,'Name','action')]; % Set options for the actor. actorOpts = rlRepresentationOptions('LearnRate',8e-3,'GradientThreshold',1); % Create the actor. actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'state'},actorOpts);
Укажите параметры агента и создайте агента PPO с помощью среды, исполнителя и критика.
agentOpts = rlPPOAgentOptions(... 'ExperienceHorizon',1024, ... 'DiscountFactor',0.95); agent = rlPPOAgent(actor,critic,agentOpts)
agent =
rlPPOAgent with properties:
AgentOptions: [1x1 rl.option.rlPPOAgentOptions]
Чтобы проверить агента, используйте getAction, чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(4,1)})ans = 1x1 cell array
{[-10]}
Теперь можно тестировать и обучать агента работе с окружающей средой.
Создание среды с непрерывным пространством действий и получение ее характеристик наблюдения и действий. Для этого примера загрузите среду непрерывного действия двойного интегратора, используемую в примере Train DDPG Agent to Control Double Integrator System. Наблюдение из окружающей среды представляет собой вектор, содержащий положение и скорость массы. Действие представляет собой скаляр, представляющий силу, приложенную к массе, в диапазоне от -2 кому 2 Ньютон.
env = rlPredefinedEnv("DoubleIntegrator-Continuous");
obsInfo = getObservationInfo(env)obsInfo =
rlNumericSpec with properties:
LowerLimit: -Inf
UpperLimit: Inf
Name: "states"
Description: "x, dx"
Dimension: [2 1]
DataType: "double"
actInfo = getActionInfo(env)
actInfo =
rlNumericSpec with properties:
LowerLimit: -Inf
UpperLimit: Inf
Name: "force"
Description: [0x0 string]
Dimension: [1 1]
DataType: "double"
Поскольку действие должно содержаться в ограниченном диапазоне, целесообразно установить соответственно верхний и нижний пределы сигнала действия. Это должно быть сделано, когда сетевое представление для субъекта имеет нелинейный выходной слой, который должен быть соответствующим образом масштабирован для получения выходного сигнала в требуемом диапазоне.
% make sure action space upper and lower limits are finite
actInfo.LowerLimit=-2;
actInfo.UpperLimit=2;Создайте критическое представление. Агенты PPO используют rlValueRepresentation для критика. Для пространств непрерывного наблюдения можно использовать либо глубокую нейронную сеть, либо пользовательское базисное представление. Для этого примера создайте глубокую нейронную сеть в качестве базового аппроксиматора.
% create the network to be used as approximator in the critic % it must take the observation signal as input and produce a scalar value criticNet = [ imageInputLayer([obsInfo.Dimension 1],'Normalization','none','Name','state') fullyConnectedLayer(10,'Name', 'fc_in') reluLayer('Name', 'relu') fullyConnectedLayer(1,'Name','out')]; % set some training options for the critic criticOpts = rlRepresentationOptions('LearnRate',8e-3,'GradientThreshold',1); % create the critic representation from the network critic = rlValueRepresentation(criticNet,obsInfo,'Observation',{'state'},criticOpts);
Агенты PPO используют rlStochasticActorRepresentation. Для пространств непрерывного действия стохастические актёры могут использовать только нейронный сетевой аппроксиматор.
Входной сигнал наблюдения (здесь называемый myobs) должен принимать двумерный вектор, как указано в obsInfo. Выходные данные (здесь называемые myact) также должен быть двумерным вектором (в два раза больше числа размеров, указанных в actInfo). Элементы выходного вектора последовательно представляют все средства и все стандартные отклонения каждого действия (в этом случае имеется только одно среднее значение и одно стандартное отклонение).
Тот факт, что стандартные отклонения должны быть неотрицательными, в то время как средние значения должны находиться в пределах выходного диапазона, означает, что сеть должна иметь два отдельных пути. Первый путь предназначен для средних значений, и любая нелинейность выходного сигнала должна быть масштабирована так, чтобы он мог выдавать выходные сигналы в выходном диапазоне. Второй путь предназначен для стандартных отклонений, и для обеспечения неотрицательности необходимо использовать слой softplus или relu.
% input path layers (2 by 1 input and a 1 by 1 output) inPath = [ imageInputLayer([obsInfo.Dimension 1], 'Normalization','none','Name','state') fullyConnectedLayer(10,'Name', 'ip_fc') % 10 by 1 output reluLayer('Name', 'ip_relu') % nonlinearity fullyConnectedLayer(1,'Name','ip_out') ];% 1 by 1 output % path layers for mean value (1 by 1 input and 1 by 1 output) % using scalingLayer to scale the range meanPath = [ fullyConnectedLayer(15,'Name', 'mp_fc1') % 15 by 1 output reluLayer('Name', 'mp_relu') % nonlinearity fullyConnectedLayer(1,'Name','mp_fc2'); % 1 by 1 output tanhLayer('Name','tanh'); % output range: (-1,1) scalingLayer('Name','mp_out','Scale',actInfo.UpperLimit) ]; % output range: (-2N,2N) % path layers for standard deviation (1 by 1 input and output) % using softplus layer to make it non negative sdevPath = [ fullyConnectedLayer(15,'Name', 'vp_fc1') % 15 by 1 output reluLayer('Name', 'vp_relu') % nonlinearity fullyConnectedLayer(1,'Name','vp_fc2'); % 1 by 1 output softplusLayer('Name', 'vp_out') ]; % output range: (0,+Inf) % conctatenate two inputs (along dimension #3) to form a single (2 by 1) output layer outLayer = concatenationLayer(3,2,'Name','mean&sdev'); % add layers to layerGraph network object actorNet = layerGraph(inPath); actorNet = addLayers(actorNet,meanPath); actorNet = addLayers(actorNet,sdevPath); actorNet = addLayers(actorNet,outLayer); % connect layers: the mean value path output MUST be connected to the FIRST input of the concatenation layer actorNet = connectLayers(actorNet,'ip_out','mp_fc1/in'); % connect output of inPath to meanPath input actorNet = connectLayers(actorNet,'ip_out','vp_fc1/in'); % connect output of inPath to sdevPath input actorNet = connectLayers(actorNet,'mp_out','mean&sdev/in1');% connect output of meanPath to mean&sdev input #1 actorNet = connectLayers(actorNet,'vp_out','mean&sdev/in2');% connect output of sdevPath to mean&sdev input #2 % plot network plot(actorNet)
Укажите некоторые опции для актера и создайте стохастическое представление актера с помощью глубокой нейронной сети actorNet.
% set some training options for the actor actorOpts = rlRepresentationOptions('LearnRate',8e-3,'GradientThreshold',1); % create the actor using the network actor = rlStochasticActorRepresentation(actorNet,obsInfo,actInfo,... 'Observation',{'state'},actorOpts);
Укажите параметры агента и создайте агента PPO с использованием параметров актера, критика и агента.
agentOpts = rlPPOAgentOptions(... 'ExperienceHorizon',1024, ... 'DiscountFactor',0.95); agent = rlPPOAgent(actor,critic,agentOpts)
agent =
rlPPOAgent with properties:
AgentOptions: [1x1 rl.option.rlPPOAgentOptions]
Чтобы проверить агента, используйте getAction, чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(2,1)})ans = 1x1 cell array
{[0.6668]}
Теперь можно тестировать и обучать агента в среде.
В этом примере загрузите предварительно определенную среду, используемую в примере Train DQN Agent to Balance Cart-Pole System.
env = rlPredefinedEnv('CartPole-Discrete');Получение информации о наблюдениях и действиях. Эта среда имеет непрерывное четырёхмерное пространство наблюдения (положения и скорости как тележки, так и полюса) и дискретное одномерное пространство действия, состоящее из приложения двух возможных сил, -10N или 10N.
obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте повторяющуюся глубокую нейронную сеть для критика. Чтобы создать рецидивирующую нейронную сеть, используйте sequenceInputLayer в качестве входного уровня и включают lstmLayer как один из других сетевых уровней.
criticNetwork = [
sequenceInputLayer(obsInfo.Dimension(1),'Normalization','none','Name','myobs')
fullyConnectedLayer(8, 'Name', 'fc')
reluLayer('Name','relu')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
fullyConnectedLayer(1,'Name','output')];Создайте объект представления функции значения для критика.
criticOptions = rlRepresentationOptions('LearnRate',1e-2,'GradientThreshold',1); critic = rlValueRepresentation(criticNetwork,obsInfo,... 'Observation','myobs', criticOptions);
Определите рецидивирующую нейронную сеть для актера. Поскольку у критика есть повторяющаяся сеть, у актера должна быть и повторяющаяся сеть.
actorNetwork = [
sequenceInputLayer(obsInfo.Dimension(1),'Normalization','none','Name','myobs')
fullyConnectedLayer(8,'Name','fc')
reluLayer('Name','relu')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
fullyConnectedLayer(numel(actInfo.Elements),'Name','output')
softmaxLayer('Name','actionProb')];Создание стохастического представления актера для сети.
actorOptions = rlRepresentationOptions('LearnRate',1e-3,'GradientThreshold',1); actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation','myobs', actorOptions);
Создайте объект параметров агента.
agentOptions = rlPPOAgentOptions(... 'AdvantageEstimateMethod', 'finite-horizon', ... 'ClipFactor', 0.1);
При использовании рекуррентных нейронных сетей MiniBatchSize свойство - длина траектории обучения.
agentOptions.MiniBatchSize
ans = 128
Создайте агента, используя представление актера и критика, а также объект параметров агента.
agent = rlPPOAgent(actor,critic,agentOptions);
Проверьте агента с помощью getAction, чтобы вернуть действие из случайного наблюдения.
getAction(agent,rand(obsInfo.Dimension))
ans = 1x1 cell array
{[10]}
Для пространств непрерывных действий этот агент не применяет ограничения, заданные спецификацией действий. В этом случае необходимо применить ограничения пространства действий в среде.
Конструктор глубоких сетей | rlAgentInitializationOptions | rlPPOAgentOptions | rlStochasticActorRepresentation | rlValueRepresentation