Обучите нескольких агентов выполнять совместную задачу

Этот пример использует:

В этом примере показано, как настроить обучение с мультиагентом в среде Simulink ®. В примере вы обучаете двух агентов совместному выполнению задачи перемещения объекта.

В этом примере окружения является двумерной поверхностью без трения, содержащей элементы, представленные кругами. Целевой объект C представлен синим кругом с радиусом 2 м, а роботы A (красный) и B (зеленый) представлены меньшими кругами с радиусами 1 м каждый. Роботы пытаются вывести объект C за пределы кругового звонка радиусом 8 м, прикладывая силы через столкновение. Все элементы окружения имеют массу и подчиняются законам движения Ньютона. В сложение сил контакта между элементами и окружением контуров моделируются как системы пружины и демпфера массы. Элементы могут перемещаться по поверхности через приложение внешних сил в направлениях X и Y. В третьей размерности нет движения, и общая энергия системы сохранена.

Создайте набор параметров, необходимых для этого примера.

rlCollaborativeTaskParams

Откройте модель Simulink.

mdl = "rlCollaborativeTask";
open_system(mdl)

Для этого окружения:

2-мерное пространство ограничено от -12 м до 12 м в обоих направлениях X и Y.
Значения жесткости контактной пружины и демпфирования составляют 100 Н/м и 0,1 Н/м/с, соответственно.
Агенты разделяют одинаковые наблюдения позиций, скоростей A, B и C и значений действия с последнего временного шага.
Симуляция заканчивается, когда объект C выходит за пределы кругового звонка.
На каждом временном шаге агенты получают следующее вознаграждение:

$\begin{array}{l} r_{A} = r_{global} + r_{local, A} \\ r_{B} = r_{global} + r_{local, B} \\ r_{global} = 0.001 d_{c} \\ r_{local, A} = - 0.005 d_{AC} - 0.008 u_{A}^{2} \\ r_{local, B} = - 0.005 d_{BC} - 0.008 u_{B}^{2} \end{array}$

Здесь:

$r_{A}$ и $r_{B}$ - вознаграждения, полученные агентами A и B, соответственно.
$r_{global}$ является вознаграждением команды, которое получено обоими агентами, когда объект C движется ближе к контуру звонка.
$r_{local, A}$ и $r_{local, B}$ - локальные штрафы, полученные агентами A и B на основе их расстояний от объекта C и величины действия от последнего временного шага.
$d_{C}$ - расстояние объекта C от центра звонка.
$d_{AC}$ и $d_{BC}$ - расстояния между агентом A и объектом C и агентом B и объектом C, соответственно.
$u_{A}$ и $u_{B}$ являются значениями действий агентов A и B с последнего временного шага.

Этот пример использует агенты проксимальной оптимизации политики (PPO) с дискретными пространствами действий. Дополнительные сведения об агентах PPO см. в разделе Агенты оптимизации проксимальной политики. Агенты прикладывают к роботам внешние силы, которые приводят к движению. На каждом временном шаге агенты выбирают действия $u_{A, B} = [F_{X}, F_{Y}]$ , где $F_{X}, F_{Y}$ является одной из следующих пар внешних сил.

$F_{X} = - 1.0 N, F_{Y} = - 1.0 N$

$F_{X} = - 1.0 N, F_{Y} = 0$

$F_{X} = - 1.0 N, F_{Y} = 1.0 N$

$F_{X} = 0, F_{Y} = - 1.0 N$

$F_{X} = 0, F_{Y} = 0$

$F_{X} = 0, F_{Y} = 1.0 N$

$F_{X} = 1.0 N, F_{Y} = - 1.0 N$

$F_{X} = 1.0 N, F_{Y} = 0$

$F_{X} = 1.0 N, F_{Y} = 1.0 N$

Создайте окружение

Чтобы создать мультиагента окружения, задайте блок пути агентов с помощью строковых массивов. Кроме того, задайте объекты наблюдения и спецификации действия, используя массивы ячеек. Порядок объектов спецификации в массиве ячеек должен совпадать с порядком, заданным в массиве путей блоков. Когда агенты доступны в рабочем пространстве MATLAB во время создания окружения, массивы наблюдений и спецификации действия являются необязательными. Для получения дополнительной информации о создании мультиагента окружений см. rlSimulinkEnv.

Создайте спецификации ввода-вывода для окружения. В этом примере агенты являются однородными и имеют одинаковые спецификации ввода-вывода.

% Number of observations
numObs = 16;

% Number of actions
numAct = 2;

% Maximum value of externally applied force (N)
maxF = 1.0;

% I/O specifications for each agent
oinfo = rlNumericSpec([numObs,1]);
ainfo = rlFiniteSetSpec({
    [-maxF -maxF]
    [-maxF  0   ]
    [-maxF  maxF]
    [ 0    -maxF]
    [ 0     0   ]
    [ 0     maxF]
    [ maxF -maxF]
    [ maxF  0   ]
    [ maxF  maxF]});
oinfo.Name = 'observations';
ainfo.Name = 'forces';

Создайте интерфейс окружения Simulink.

blks = ["rlCollaborativeTask/Agent A", "rlCollaborativeTask/Agent B"];
obsInfos = {oinfo,oinfo};
actInfos = {ainfo,ainfo};
env = rlSimulinkEnv(mdl,blks,obsInfos,actInfos);

Задайте функцию сброса для окружения. Функция сброса resetRobots обеспечивает запуск роботов со случайных начальных положений в начале каждого эпизода.

env.ResetFcn = @(in) resetRobots(in,RA,RB,RC,boundaryR);

Создание агентов

Агенты PPO полагаются на представления актёра и критика, чтобы узнать оптимальную политику. В этом примере агенты поддерживают функциональные аппроксимации на основе нейронной сети для актёра и критика.

Создайте нейронную сеть критика и представление. Выходом сети критика является функция ценности состояния $V (s)$ для состояния $s$ .

% Reset the random seed to improve reproducibility
rng(0)

% Critic networks
criticNetwork = [...
    featureInputLayer(oinfo.Dimension(1),'Normalization','none','Name','observation')
    fullyConnectedLayer(128,'Name','CriticFC1','WeightsInitializer','he')
    reluLayer('Name','CriticRelu1')
    fullyConnectedLayer(64,'Name','CriticFC2','WeightsInitializer','he')
    reluLayer('Name','CriticRelu2')
    fullyConnectedLayer(32,'Name','CriticFC3','WeightsInitializer','he')
    reluLayer('Name','CriticRelu3')
    fullyConnectedLayer(1,'Name','CriticOutput')];

% Critic representations
criticOpts = rlRepresentationOptions('LearnRate',1e-4);
criticA = rlValueRepresentation(criticNetwork,oinfo,'Observation',{'observation'},criticOpts);
criticB = rlValueRepresentation(criticNetwork,oinfo,'Observation',{'observation'},criticOpts);

Выходы сети актёра являются вероятностями $π (a | s)$ принятия каждой возможной пары действий в определенном состоянии $s$ . Создайте нейронную сеть актёра и представление.

% Actor networks
actorNetwork = [...
    featureInputLayer(oinfo.Dimension(1),'Normalization','none','Name','observation')
    fullyConnectedLayer(128,'Name','ActorFC1','WeightsInitializer','he')
    reluLayer('Name','ActorRelu1')
    fullyConnectedLayer(64,'Name','ActorFC2','WeightsInitializer','he')
    reluLayer('Name','ActorRelu2')
    fullyConnectedLayer(32,'Name','ActorFC3','WeightsInitializer','he')
    reluLayer('Name','ActorRelu3')
    fullyConnectedLayer(numel(ainfo.Elements),'Name','Action')
    softmaxLayer('Name','SM')];

% Actor representations
actorOpts = rlRepresentationOptions('LearnRate',1e-4);
actorA = rlStochasticActorRepresentation(actorNetwork,oinfo,ainfo,...
    'Observation',{'observation'},actorOpts);
actorB = rlStochasticActorRepresentation(actorNetwork,oinfo,ainfo,...
    'Observation',{'observation'},actorOpts);

Создайте агентов. Оба агента используют одинаковые опции.

agentOptions = rlPPOAgentOptions(...
    'ExperienceHorizon',256,...
    'ClipFactor',0.125,...
    'EntropyLossWeight',0.001,...
    'MiniBatchSize',64,...
    'NumEpoch',3,...
    'AdvantageEstimateMethod','gae',...
    'GAEFactor',0.95,...
    'SampleTime',Ts,...
    'DiscountFactor',0.9995);
agentA = rlPPOAgent(actorA,criticA,agentOptions);
agentB = rlPPOAgent(actorB,criticB,agentOptions);

Во время обучения агенты собирают опыт до тех пор, пока не будет достигнут горизонт опыта 256 шагов или прекращение эпизода, а затем обучаются из мини-пакетов 64 переживаний. Этот пример использует коэффициент клипа целевой функции 0,125 для улучшения устойчивости обучения и коэффициент дисконтирования 0,9995 для поощрения долгосрочных вознаграждений.

Обучите агентов

Задайте следующие опции обучения для обучения агентов.

Запустите обучение самое большее для 1000 эпизодов с каждым эпизодом, длящимся самое большее 5000 временных шагов.
Остановите обучение агента, когда его среднее вознаграждение за 100 последовательных эпизодов составляет -10 или более.

maxEpisodes = 1000;
maxSteps = 5e3;
trainOpts = rlTrainingOptions(...
    'MaxEpisodes',maxEpisodes,...
    'MaxStepsPerEpisode',maxSteps,...
    'ScoreAveragingWindowLength',100,...
    'Plots','training-progress',...
    'StopTrainingCriteria','AverageReward',...
    'StopTrainingValue',-10);

Чтобы обучить несколько агентов, задайте массив агентов для train функция. Порядок агентов в массиве должен совпадать с порядком путей к блокам агентов, заданным во время создания окружения. Это гарантирует, что объекты агента связаны с соответствующими интерфейсами ввода-вывода в окружении. Обучение этих агентов может занять несколько часов, в зависимости от доступной вычислительной степени.

Файл MAT rlCollaborativeTaskAgents содержит набор предварительно обученных агентов. Можно загрузить файл и просмотреть эффективность агентов. Чтобы обучить агентов самостоятельно, установите doTraining на true.

doTraining = false;
if doTraining
    stats = train([agentA, agentB],env,trainOpts);
else
    load('rlCollaborativeTaskAgents.mat');
end

Следующий рисунок показывает моментальный снимок процесса обучения. Вы можете ожидать различных результатов из-за случайности в процессе обучения.

Моделирование агентов

Моделируйте обученных агентов в окружении.

simOptions = rlSimulationOptions('MaxSteps',maxSteps);
exp = sim(env,[agentA agentB],simOptions);

Figure Multi Agent Collaborative Task contains an axes. The axes contains 5 objects of type rectangle, text.

Для получения дополнительной информации о симуляции агента смотрите rlSimulationOptions и sim.

См. также

rlSimulinkEnv | train

Документация

Обучите нескольких агентов выполнять совместную задачу

Создайте окружение

Создание агентов

Обучите агентов

Моделирование агентов

См. также

Похожие темы

Документация по приложению Reinforcement Learning Toolbox

Поддержка