rlSACAgent
Мягкий агент обучения с подкреплением актёра-критика
Описание
Алгоритм мягкого актёра-критика (SAC) является онлайновым методом обучения с подкреплением актёра без моделей и без политики. Алгоритм SAC вычисляет оптимальную политику, которая максимизирует как долгосрочное ожидаемое вознаграждение, так и энтропию политики. Энтропия политики является мерой неопределенности политики, учитывая состояние. Более высокое значение энтропии способствует большему исследованию. Максимизация как вознаграждения, так и энтропии балансирует разведку и эксплуатацию окружения. Пространство действий может быть только непрерывным.
Для получения дополнительной информации смотрите Агентов Мягкого Актёра-Критика.
Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Reinforcement Learning Agents.
Создание
Синтаксис
Описание
Создайте агента из наблюдений и Спецификаций действия
agent = rlSACAgent(observationInfo,actionInfo)observationInfo и спецификация действия actionInfo.
agent = rlSACAgent(observationInfo,actionInfo,initOptions)initOptions).
Создайте агента из представлений актёра и критика
Настройка опций агента
agent = rlSACAgent(___,agentOptions)
Входные параметры
Свойства
Функции объекта
train | Обучите агентов обучения с подкреплением в заданном окружении |
sim | Симулируйте обученных агентов обучения с подкреплением в заданном окружении |
getAction | Получите действие от агента или представления актера заданных наблюдений окружения |
getActor | Получите представление актера от агента обучения с подкреплением |
setActor | Установите представление актера агента обучения с подкреплением |
getCritic | Получите представление критика от агента обучения с подкреплением |
setCritic | Установите представление критика агента обучения с подкреплением |
generatePolicyFunction | Создайте функцию, которая оценивает обученную политику агента обучения с подкреплением |
Примеры
Создайте агента SAC из наблюдений и Спецификаций действия
Создайте окружение и получите наблюдения и спецификации действия. В данном примере загружает окружение, используемую в примере Train DDPG Agent для управления системой Double Integrator System. Наблюдение от окружения является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, приложенную к массе, постоянно варьируясь от - 2 на 2 Ньютон.
env = rlPredefinedEnv("DoubleIntegrator-Continuous");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);Функция создания агента инициализирует сети актёра и критика случайным образом. Можно обеспечить воспроизводимость, зафиксировав seed случайного генератора. Для этого раскомментируйте следующую линию.
% rng(0)Создайте агента SAC из окружения наблюдения и спецификаций действия.
agent = rlSACAgent(obsInfo,actInfo);
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension)})ans = 1x1 cell array
{[0.0546]}
Теперь можно тестировать и обучать агента в окружении.
Создайте агента SAC с использованием опций инициализации
Создайте окружение с непрерывным пространством действий и получите его наблюдение и спецификации действия. В данном примере загружает окружение, используемую в примере Train DDPG Agent для управления системой Double Integrator System. Наблюдение от окружения является вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, приложенную к массе, постоянно варьируясь от - 2 на 2 Ньютон.
env = rlPredefinedEnv("DoubleIntegrator-Continuous");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);Создайте объект опции инициализации агента, указав, что каждый скрытый полностью соединенный слой в сети должен иметь 128 нейронов.
initOpts = rlAgentInitializationOptions('NumHiddenUnit',128);Функция создания агента инициализирует сети актёра и критика случайным образом. Можно обеспечить воспроизводимость, зафиксировав seed случайного генератора. Для этого раскомментируйте следующую линию.
% rng(0)Создайте агента SAC из наблюдения и спецификаций действия окружения с помощью параметров инициализации.
agent = rlSACAgent(obsInfo,actInfo,initOpts);
Извлеките глубокую нейронную сеть от актёра.
actorNet = getModel(getActor(agent));
Извлечь глубокие нейронные сети от двух критиков. Обратите внимание, что getModel(critics) возвращает только первую сеть критика.
critics = getCritic(agent); criticNet1 = getModel(critics(1)); criticNet2 = getModel(critics(2));
Отобразите слои первой сети критика и проверьте, что каждый скрытый полностью соединенный слой имеет 128 нейронов.
criticNet1.Layers
ans =
10x1 Layer array with layers:
1 'concat' Concatenation Concatenation of 2 inputs along dimension 1
2 'relu_body' ReLU ReLU
3 'fc_body' Fully Connected 128 fully connected layer
4 'body_output' ReLU ReLU
5 'input_1' Feature Input 2 features
6 'fc_1' Fully Connected 128 fully connected layer
7 'input_2' Feature Input 1 features
8 'fc_2' Fully Connected 128 fully connected layer
9 'output' Fully Connected 1 fully connected layer
10 'RepresentationLoss' Regression Output mean-squared-error
Постройте графики сетей актёра и второго критика.
plot(actorNet)
plot(criticNet2)
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension)})ans = 1x1 cell array
{[-0.9867]}
Теперь можно тестировать и обучать агента в окружении.
Создайте агента SAC из актёра и критиков
Создайте окружение и получите наблюдения и спецификации действия. В данном примере загружает окружение, используемую в примере Train DDPG Agent для управления системой Double Integrator System. Наблюдения от окружения являются вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, приложенную к массе, постоянно варьируясь от - 2 на 2 Ньютон.
env = rlPredefinedEnv("DoubleIntegrator-Continuous");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);Получите количество наблюдений и количество действий.
numObs = obsInfo.Dimension(1); numAct = numel(actInfo);
Создайте две представления Q-ценности критика. Во-первых, создайте структуру глубокой нейронной сети критика.
statePath1 = [
featureInputLayer(numObs,'Normalization','none','Name','observation')
fullyConnectedLayer(400,'Name','CriticStateFC1')
reluLayer('Name','CriticStateRelu1')
fullyConnectedLayer(300,'Name','CriticStateFC2')
];
actionPath1 = [
featureInputLayer(numAct,'Normalization','none','Name','action')
fullyConnectedLayer(300,'Name','CriticActionFC1')
];
commonPath1 = [
additionLayer(2,'Name','add')
reluLayer('Name','CriticCommonRelu1')
fullyConnectedLayer(1,'Name','CriticOutput')
];
criticNet = layerGraph(statePath1);
criticNet = addLayers(criticNet,actionPath1);
criticNet = addLayers(criticNet,commonPath1);
criticNet = connectLayers(criticNet,'CriticStateFC2','add/in1');
criticNet = connectLayers(criticNet,'CriticActionFC1','add/in2');Создайте представления критика. Используйте одну и ту же структуру сети для обоих критиков. Агент SAC инициализирует две сети, используя различные параметры по умолчанию.
criticOptions = rlRepresentationOptions('Optimizer','adam','LearnRate',1e-3,... 'GradientThreshold',1,'L2RegularizationFactor',2e-4); critic1 = rlQValueRepresentation(criticNet,obsInfo,actInfo,... 'Observation',{'observation'},'Action',{'action'},criticOptions); critic2 = rlQValueRepresentation(criticNet,obsInfo,actInfo,... 'Observation',{'observation'},'Action',{'action'},criticOptions);
Создайте актёра глубокой нейронной сети. Не добавляйте tanhLayer или scalingLayer в среднем выходном пути. Агент SAC внутренне преобразует неограниченное Гауссово распределение в ограниченное распределение, чтобы вычислить функцию плотности вероятностей и энтропию правильно.
statePath = [
featureInputLayer(numObs,'Normalization','none','Name','observation')
fullyConnectedLayer(400, 'Name','commonFC1')
reluLayer('Name','CommonRelu')];
meanPath = [
fullyConnectedLayer(300,'Name','MeanFC1')
reluLayer('Name','MeanRelu')
fullyConnectedLayer(numAct,'Name','Mean')
];
stdPath = [
fullyConnectedLayer(300,'Name','StdFC1')
reluLayer('Name','StdRelu')
fullyConnectedLayer(numAct,'Name','StdFC2')
softplusLayer('Name','StandardDeviation')];
concatPath = concatenationLayer(1,2,'Name','GaussianParameters');
actorNetwork = layerGraph(statePath);
actorNetwork = addLayers(actorNetwork,meanPath);
actorNetwork = addLayers(actorNetwork,stdPath);
actorNetwork = addLayers(actorNetwork,concatPath);
actorNetwork = connectLayers(actorNetwork,'CommonRelu','MeanFC1/in');
actorNetwork = connectLayers(actorNetwork,'CommonRelu','StdFC1/in');
actorNetwork = connectLayers(actorNetwork,'Mean','GaussianParameters/in1');
actorNetwork = connectLayers(actorNetwork,'StandardDeviation','GaussianParameters/in2');Создайте стохастическое представление актера, используя глубокую нейронную сеть.
actorOptions = rlRepresentationOptions('Optimizer','adam','LearnRate',1e-3,... 'GradientThreshold',1,'L2RegularizationFactor',1e-5); actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,actorOptions,... 'Observation',{'observation'});
Укажите опции агента.
agentOptions = rlSACAgentOptions; agentOptions.SampleTime = env.Ts; agentOptions.DiscountFactor = 0.99; agentOptions.TargetSmoothFactor = 1e-3; agentOptions.ExperienceBufferLength = 1e6; agentOptions.MiniBatchSize = 32;
Создайте агента SAC, используя актёра, критиков и опции.
agent = rlSACAgent(actor,[critic1 critic2],agentOptions);
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo(1).Dimension)})ans = 1x1 cell array
{[0.1259]}
Теперь можно тестировать и обучать агента в окружении.
Создайте агента SAC с помощью рекуррентных нейронных сетей
В данном примере загружает окружение, используемую в примере Train DDPG Agent для управления системой Double Integrator System. Наблюдения от окружения являются вектором, содержащим положение и скорость массы. Действие является скаляром, представляющим силу, приложенную к массе, постоянно варьируясь от - 2 на 2 Ньютон.
env = rlPredefinedEnv("DoubleIntegrator-Continuous");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);Получите количество наблюдений и количество действий.
numObs = obsInfo.Dimension(1); numAct = numel(actInfo);
Создайте две представления Q-ценности критика. Во-первых, создайте структуру глубокой нейронной сети критика. Чтобы создать рекуррентную нейронную сеть, используйте sequenceInputLayer в качестве входа слоя и включать lstmLayer как один из других слоев сети.
statePath1 = [
sequenceInputLayer(numObs,'Normalization','none','Name','observation')
fullyConnectedLayer(400,'Name','CriticStateFC1')
reluLayer('Name','CriticStateRelu1')
fullyConnectedLayer(300,'Name','CriticStateFC2')
];
actionPath1 = [
sequenceInputLayer(numAct,'Normalization','none','Name','action')
fullyConnectedLayer(300,'Name','CriticActionFC1')
];
commonPath1 = [
additionLayer(2,'Name','add')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
reluLayer('Name','CriticCommonRelu1')
fullyConnectedLayer(1,'Name','CriticOutput')
];
criticNet = layerGraph(statePath1);
criticNet = addLayers(criticNet,actionPath1);
criticNet = addLayers(criticNet,commonPath1);
criticNet = connectLayers(criticNet,'CriticStateFC2','add/in1');
criticNet = connectLayers(criticNet,'CriticActionFC1','add/in2');Создайте представления критика. Используйте одну и ту же структуру сети для обоих критиков. Агент SAC инициализирует две сети, используя различные параметры по умолчанию.
criticOptions = rlRepresentationOptions('Optimizer','adam','LearnRate',1e-3,... 'GradientThreshold',1,'L2RegularizationFactor',2e-4); critic1 = rlQValueRepresentation(criticNet,obsInfo,actInfo,... 'Observation',{'observation'},'Action',{'action'},criticOptions); critic2 = rlQValueRepresentation(criticNet,obsInfo,actInfo,... 'Observation',{'observation'},'Action',{'action'},criticOptions);
Создайте актёра глубокой нейронной сети. Поскольку у критика есть рецидивирующая сеть, у актёра должна быть и рецидивирующая сеть. Не добавляйте tanhLayer или scalingLayer в среднем выходном пути. Агент SAC внутренне преобразует неограниченное Гауссово распределение в ограниченное распределение, чтобы вычислить функцию плотности вероятностей и энтропию правильно.
statePath = [
sequenceInputLayer(numObs,'Normalization','none','Name','observation')
fullyConnectedLayer(400, 'Name','commonFC1')
lstmLayer(8,'OutputMode','sequence','Name','lstm')
reluLayer('Name','CommonRelu')];
meanPath = [
fullyConnectedLayer(300,'Name','MeanFC1')
reluLayer('Name','MeanRelu')
fullyConnectedLayer(numAct,'Name','Mean')
];
stdPath = [
fullyConnectedLayer(300,'Name','StdFC1')
reluLayer('Name','StdRelu')
fullyConnectedLayer(numAct,'Name','StdFC2')
softplusLayer('Name','StandardDeviation')];
concatPath = concatenationLayer(1,2,'Name','GaussianParameters');
actorNetwork = layerGraph(statePath);
actorNetwork = addLayers(actorNetwork,meanPath);
actorNetwork = addLayers(actorNetwork,stdPath);
actorNetwork = addLayers(actorNetwork,concatPath);
actorNetwork = connectLayers(actorNetwork,'CommonRelu','MeanFC1/in');
actorNetwork = connectLayers(actorNetwork,'CommonRelu','StdFC1/in');
actorNetwork = connectLayers(actorNetwork,'Mean','GaussianParameters/in1');
actorNetwork = connectLayers(actorNetwork,'StandardDeviation','GaussianParameters/in2');Создайте стохастическое представление актера, используя глубокую нейронную сеть.
actorOptions = rlRepresentationOptions('Optimizer','adam','LearnRate',1e-3,... 'GradientThreshold',1,'L2RegularizationFactor',1e-5); actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,actorOptions,... 'Observation',{'observation'});
Укажите опции агента. Чтобы использовать рекуррентную нейронную сеть, необходимо задать SequenceLength больше 1.
agentOptions = rlSACAgentOptions; agentOptions.SampleTime = env.Ts; agentOptions.DiscountFactor = 0.99; agentOptions.TargetSmoothFactor = 1e-3; agentOptions.ExperienceBufferLength = 1e6; agentOptions.SequenceLength = 32; agentOptions.MiniBatchSize = 32;
Создайте агента SAC, используя актёра, критиков и опции.
agent = rlSACAgent(actor,[critic1 critic2],agentOptions);
Чтобы проверить своего агента, используйте getAction чтобы вернуть действие из случайного наблюдения.
getAction(agent,{rand(obsInfo.Dimension)})ans = 1x1 cell array
{[0.6552]}
Теперь можно тестировать и обучать агента в окружении.
См. также
Deep Network Designer | rlAgentInitializationOptions | rlSACAgentOptions | rlStochasticActorRepresentation | rlValueRepresentation