Агент обучения для усиления градиента политики
Алгоритм градиента политики (PG) - это метод обучения без моделей, онлайн, на уровне политики. Агент PG - это агент обучения усилению на основе политики, который использует алгоритм ENERGENCE для непосредственного вычисления оптимальной политики, которая максимизирует долгосрочное вознаграждение. Пространство действия может быть дискретным или непрерывным.
Дополнительные сведения об агентах PG и алгоритме ENERGENCE см. в разделе Агенты градиента политики. Дополнительные сведения о различных типах агентов обучения усилению см. в разделе Агенты обучения усилению.
agent = rlPGAgent(observationInfo,actionInfo)observationInfo и спецификацию действия actionInfo.
agent = rlPGAgent(observationInfo,actionInfo,initOpts)initOpts объект. Агенты градиента политики не поддерживают рецидивирующие нейронные сети. Дополнительные сведения о параметрах инициализации см. в разделе rlAgentInitializationOptions.
agent = rlPGAgent(actor)UseBaseline свойство агента false в данном случае.
agent = rlPGAgent(___,agentOptions)AgentOptions к свойству agentOptions входной аргумент. Используйте этот синтаксис после любого из входных аргументов в предыдущих синтаксисах.
train | Подготовка обучающих агентов по усилению в определенной среде |
sim | Моделирование обученных агентов по обучению подкреплению в определенной среде |
getAction | Получить действие от агента или актора при наблюдении за окружающей средой |
getActor | Получение представления актера от обучающего агента усиления |
setActor | Задать представление актора обучающего агента усиления |
getCritic | Получение критического представления от агента обучения усиления |
setCritic | Задать критическое представление агента обучения усилению |
generatePolicyFunction | Создание функции, оценивающей обученную политику усиления агента обучения |
Создайте среду с дискретным пространством действий и получите ее характеристики наблюдения и действия. В этом примере загрузите среду, используемую в примере Создание агента с помощью Deep Network Designer и Обучение с помощью наблюдений за изображениями. Эта среда имеет два наблюдения: изображение в градациях серого 50 на 50 и скаляр (угловая скорость маятника). Действие представляет собой скаляр с пятью возможными элементами (крутящий момент либо -2, -1, 0, 1, или 2 Нм применяется к полюсу).
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Discrete"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Функция создания агента произвольно инициализирует сеть актера и критика. Можно обеспечить воспроизводимость, зафиксировав начальное число случайного генератора. Для этого раскомментируйте следующую строку.
% rng(0)Создайте агент градиента политики из спецификаций наблюдения за средой и действий.
agent = rlPGAgent(obsInfo,actInfo);
Для проверки агента используйте getAction для возврата действия из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[-2]}
Теперь можно тестировать и обучать агента в среде.
Создание среды с непрерывным пространством действий и получение ее характеристик наблюдения и действий. Для этого примера загрузите среду, используемую в примере Train DDPG Agent to Swing Up и Balance Pendulum with Image Observation. Эта среда имеет два наблюдения: изображение в градациях серого 50 на 50 и скаляр (угловая скорость маятника). Действие представляет собой скаляр, представляющий крутящий момент в диапазоне от -2 кому 2 Нм.
% load predefined environment env = rlPredefinedEnv("SimplePendulumWithImage-Continuous"); % obtain observation and action specifications obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создание объекта параметра инициализации агента, указывающего, что каждый скрытый полностью подключенный уровень в сети должен иметь 128 нейроны (вместо номера по умолчанию, 256). Агенты градиента политики не поддерживают повторяющиеся сети, поэтому установка UseRNN опция для true создает ошибку при создании агента.
initOpts = rlAgentInitializationOptions('NumHiddenUnit',128);Функция создания агента произвольно инициализирует сеть актера и критика. Можно обеспечить воспроизводимость, зафиксировав начальное число случайного генератора. Для этого раскомментируйте следующую строку.
% rng(0)Создайте агент градиента политики из спецификаций наблюдения за средой и действий.
agent = rlPGAgent(obsInfo,actInfo,initOpts);
Сократите уровень обучения критиков до 1e-3.
critic = getCritic(agent); critic.Options.LearnRate = 1e-3; agent = setCritic(agent,critic);
Извлеките глубокие нейронные сети как из актера-агента, так и из критика.
actorNet = getModel(getActor(agent)); criticNet = getModel(getCritic(agent));
Отображение уровней критической сети и проверка того, что каждый скрытый полностью связанный уровень имеет 128 нейронов
criticNet.Layers
ans =
12x1 Layer array with layers:
1 'concat' Concatenation Concatenation of 2 inputs along dimension 3
2 'relu_body' ReLU ReLU
3 'fc_body' Fully Connected 128 fully connected layer
4 'body_output' ReLU ReLU
5 'input_1' Image Input 50x50x1 images
6 'conv_1' Convolution 64 3x3x1 convolutions with stride [1 1] and padding [0 0 0 0]
7 'relu_input_1' ReLU ReLU
8 'fc_1' Fully Connected 128 fully connected layer
9 'input_2' Image Input 1x1x1 images
10 'fc_2' Fully Connected 128 fully connected layer
11 'output' Fully Connected 1 fully connected layer
12 'RepresentationLoss' Regression Output mean-squared-error
Сюжетный актер и сети критиков
plot(actorNet)
plot(criticNet)
Для проверки агента используйте getAction для возврата действия из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension),rand(obsInfo(2).Dimension)})ans = 1x1 cell array
{[0.9228]}
Теперь можно тестировать и обучать агента в среде.
Создайте среду с дискретным пространством действий и получите ее характеристики наблюдения и действия. В этом примере загрузите среду, используемую в примере Train PG Agent с базовой структурой для управления системой двойного интегратора. Наблюдение из окружающей среды представляет собой вектор, содержащий положение и скорость массы. Действие представляет собой скаляр, представляющий силу, приложенную к массе, имеющую три возможных значения (-2, 0, или 2 Ньютон).
% load predefined environment env = rlPredefinedEnv("DoubleIntegrator-Discrete"); % get observation and specification info obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте критическое представление для использования в качестве опорной структуры.
% create a network to be used as underlying critic approximator baselineNetwork = [ imageInputLayer([obsInfo.Dimension(1) 1 1], 'Normalization', 'none', 'Name', 'state') fullyConnectedLayer(8, 'Name', 'BaselineFC') reluLayer('Name', 'CriticRelu1') fullyConnectedLayer(1, 'Name', 'BaselineFC2', 'BiasLearnRateFactor', 0)]; % set some options for the critic baselineOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the critic based on the network approximator baseline = rlValueRepresentation(baselineNetwork,obsInfo,'Observation',{'state'},baselineOpts);
Создание представления актера.
% create a network to be used as underlying actor approximator actorNetwork = [ imageInputLayer([obsInfo.Dimension(1) 1 1], 'Normalization', 'none', 'Name', 'state') fullyConnectedLayer(numel(actInfo.Elements), 'Name', 'action', 'BiasLearnRateFactor', 0)]; % set some options for the actor actorOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the actor based on the network approximator actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'state'},actorOpts);
Укажите параметры агента и создайте агент PG, используя среду, актера и критика.
agentOpts = rlPGAgentOptions(... 'UseBaseline',true, ... 'DiscountFactor', 0.99); agent = rlPGAgent(actor,baseline,agentOpts)
agent =
rlPGAgent with properties:
AgentOptions: [1x1 rl.option.rlPGAgentOptions]
Чтобы проверить агента, используйте getAction, чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(2,1)})ans = 1x1 cell array
{[-2]}
Теперь можно тестировать и обучать агента в среде.
Создание среды с непрерывным пространством действий и получение ее характеристик наблюдения и действий. Для этого примера загрузите среду непрерывного действия двойного интегратора, используемую в примере Train DDPG Agent to Control Double Integrator System.
% load predefined environment env = rlPredefinedEnv("DoubleIntegrator-Continuous"); % get observation specification info obsInfo = getObservationInfo(env)
obsInfo =
rlNumericSpec with properties:
LowerLimit: -Inf
UpperLimit: Inf
Name: "states"
Description: "x, dx"
Dimension: [2 1]
DataType: "double"
% get action specification info
actInfo = getActionInfo(env)actInfo =
rlNumericSpec with properties:
LowerLimit: -Inf
UpperLimit: Inf
Name: "force"
Description: [0x0 string]
Dimension: [1 1]
DataType: "double"
В этом примере действие является скалярным входом, представляющим силу в диапазоне от -2 кому 2 Ньютон, поэтому рекомендуется установить соответственно верхний и нижний предел сигнала действия. Это должно быть сделано, когда сетевое представление для субъекта имеет нелинейный выходной слой, который должен быть соответствующим образом масштабирован для получения выходного сигнала в требуемом диапазоне.
% make sure action space upper and lower limits are finite
actInfo.LowerLimit=-2;
actInfo.UpperLimit=2;Создайте критическое представление для использования в качестве опорной структуры. Агенты градиента политики используют rlValueRepresentation для базовой линии. Для пространств непрерывного наблюдения можно использовать либо глубокую нейронную сеть, либо пользовательское базисное представление. Для этого примера создайте глубокую нейронную сеть в качестве базового аппроксиматора.
% create a network to be used as underlying critic approximator baselineNetwork = [ imageInputLayer([obsInfo.Dimension 1], 'Normalization', 'none', 'Name', 'state') fullyConnectedLayer(8, 'Name', 'BaselineFC1') reluLayer('Name', 'Relu1') fullyConnectedLayer(1, 'Name', 'BaselineFC2', 'BiasLearnRateFactor', 0)]; % set some training options for the critic baselineOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the critic based on the network approximator baseline = rlValueRepresentation(baselineNetwork,obsInfo,'Observation',{'state'},baselineOpts);
Агенты градиента политики используют rlStochasticActorRepresentation. Для пространств непрерывного действия стохастических актёров можно использовать только нейронную сеть в качестве базового аппроксиматора.
Входной сигнал наблюдения (здесь называемый myobs) должен принимать двумерный вектор, как указано в obsInfo. Выходные данные (здесь называемые myact) также должен быть двумерным вектором (в два раза больше числа размеров, указанных в actInfo). Элементы выходного вектора последовательно представляют все средства и все стандартные отклонения каждого действия (в этом случае имеется только одно среднее значение и одно стандартное отклонение).
Тот факт, что стандартные отклонения должны быть неотрицательными, в то время как средние значения должны находиться в пределах выходного диапазона, означает, что сеть должна иметь два отдельных пути. Первый путь предназначен для средних значений, и любая нелинейность выходного сигнала должна быть масштабирована так, чтобы он мог выдавать выходные сигналы в выходном диапазоне. Второй путь предназначен для отклонений, и для обеспечения неотрицательности необходимо использовать слой softplus или relu.
% input path layers (2 by 1 input, 1 by 1 output) inPath = [ imageInputLayer([obsInfo.Dimension 1], 'Normalization','none','Name','state') fullyConnectedLayer(10,'Name', 'ip_fc') % 10 by 1 output reluLayer('Name', 'ip_relu') % nonlinearity fullyConnectedLayer(1,'Name','ip_out') ]; % 1 by 1 output % path layers for mean value (1 by 1 input and 1 by 1 output) % using scalingLayer to scale the range meanPath = [ fullyConnectedLayer(15,'Name', 'mp_fc1') % 15 by 1 output reluLayer('Name', 'mp_relu') % nonlinearity fullyConnectedLayer(1,'Name','mp_fc2'); % 1 by 1 output tanhLayer('Name','tanh'); % output range: (-1,1) scalingLayer('Name','mp_out','Scale',actInfo.UpperLimit) ]; % output range: (-2N,2N) % path layers for standard deviation (1 by 1 input and output) % using softplus layer to make it non negative sdevPath = [ fullyConnectedLayer(15,'Name', 'vp_fc1') % 15 by 1 output reluLayer('Name', 'vp_relu') % nonlinearity fullyConnectedLayer(1,'Name','vp_fc2'); % 1 by 1 output softplusLayer('Name', 'vp_out') ]; % output range: (0,+Inf) % conctatenate two inputs (along dimension #3) to form a single (2 by 1) output layer outLayer = concatenationLayer(3,2,'Name','mean&sdev'); % add layers to layerGraph network object actorNet = layerGraph(inPath); actorNet = addLayers(actorNet,meanPath); actorNet = addLayers(actorNet,sdevPath); actorNet = addLayers(actorNet,outLayer); % connect layers: the mean value path output MUST be connected to the FIRST input of the concatenation layer actorNet = connectLayers(actorNet,'ip_out','mp_fc1/in'); % connect output of inPath to meanPath input actorNet = connectLayers(actorNet,'ip_out','vp_fc1/in'); % connect output of inPath to variancePath input actorNet = connectLayers(actorNet,'mp_out','mean&sdev/in1');% connect output of meanPath to mean&sdev input #1 actorNet = connectLayers(actorNet,'vp_out','mean&sdev/in2');% connect output of sdevPath to mean&sdev input #2 % plot network plot(actorNet)
Укажите некоторые опции для актера и создайте стохастическое представление актера с помощью глубокой нейронной сети actorNet.
% set some options for the actor actorOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); % create the actor based on the network approximator actor = rlStochasticActorRepresentation(actorNet,obsInfo,actInfo,... 'Observation',{'state'},actorOpts);
Укажите параметры агента и создайте PG-агента с использованием параметров актера, опорной структуры и агента.
agentOpts = rlPGAgentOptions(... 'UseBaseline',true, ... 'DiscountFactor', 0.99); agent = rlPGAgent(actor,baseline,agentOpts)
agent =
rlPGAgent with properties:
AgentOptions: [1x1 rl.option.rlPGAgentOptions]
Чтобы проверить агента, используйте getAction, чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(2,1)})ans = 1x1 cell array
{[0.0347]}
Теперь можно тестировать и обучать агента в среде.
В этом примере загрузите среду, используемую в примере Train PG Agent с базовой структурой для управления системой двойного интегратора. Наблюдение из окружающей среды представляет собой вектор, содержащий положение и скорость массы. Действие представляет собой скаляр, представляющий силу, применяемую к массе, имеющую три возможных значения (-2, 0 или 2 Ньютона).
env = rlPredefinedEnv("DoubleIntegrator-Discrete");Получите информацию о наблюдениях и спецификациях.
obsInfo = getObservationInfo(env); actInfo = getActionInfo(env);
Создайте критическое представление для использования в качестве опорной структуры. Чтобы создать повторяющуюся нейронную сеть для критика, используйте sequenceInputLayer в качестве входного уровня и включают lstmLayer как один из других сетевых уровней.
baselineNetwork = [
sequenceInputLayer(obsInfo.Dimension(1), 'Normalization', 'none', 'Name','myobs')
fullyConnectedLayer(8, 'Name', 'BaselineFC')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
reluLayer('Name', 'CriticRelu1')
fullyConnectedLayer(1, 'Name', 'BaselineFC2', 'BiasLearnRateFactor', 0)];Задайте некоторые параметры для критика.
baselineOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1);
Создайте критика на основе сетевого аппроксиматора.
baseline = rlValueRepresentation(baselineNetwork,obsInfo,'Observation',{'myobs'},baselineOpts);
Создание представления актера. Поскольку у критика есть повторяющаяся сеть, у актера должна быть и повторяющаяся сеть.
Определите рецидивирующую нейронную сеть для актера.
actorNetwork = [
sequenceInputLayer(obsInfo.Dimension(1), 'Normalization', 'none', 'Name', 'myobs')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
fullyConnectedLayer(numel(actInfo.Elements), 'Name', 'action', 'BiasLearnRateFactor', 0)];Задайте параметры актера и создайте актера.
actorOpts = rlRepresentationOptions('LearnRate',5e-3,'GradientThreshold',1); actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,... 'Observation',{'myobs'},actorOpts);
Укажите параметры агента и создайте агент PG, используя среду, актера и критика.
agentOpts = rlPGAgentOptions(... 'UseBaseline',true, ... 'DiscountFactor', 0.99); agent = rlPGAgent(actor,baseline,agentOpts);
Для агента PG с рецидивирующими нейронными сетями длина тренировочной последовательности представляет собой весь эпизод.
Чтобы проверить агента, используйте getAction, чтобы вернуть действие из случайного наблюдения.
getAction(agent,{obsInfo.Dimension})ans = 1×1 cell array
{[0]}
Теперь можно тестировать и обучать агента в среде.
Для непрерывных пространств действий: rlPGAgent агент не применяет ограничения, заданные спецификацией действия, поэтому необходимо применять ограничения пространства действия в среде.
Конструктор глубоких сетей | rlAgentInitializationOptions | rlPGAgentOptions | rlStochasticActorRepresentation | rlValueRepresentation