Четырехкратная модель робота

Среда для этого примера - четырехкратный робот, и цель обучения состоит в том, чтобы заставить робота ходить по прямой линии, используя минимальное усилие управления.

Робот моделируется с помощью Simscape Multibody и библиотеки контактных сил Simscape Multibody. Основными структурными компонентами являются четыре ноги и туловище. Ноги соединены с туловищем посредством поворотных шарниров. Значения действий, обеспечиваемые блоком RL Agent, масштабируются и преобразуются в значения крутящего момента соединения. Эти значения крутящего момента соединения используются вращающимися соединениями для вычисления движения.

Откройте модель.

mdl = 'rlQuadrupedRobot';
open_system(mdl)

Наблюдения

Среда робота предоставляет агенту 44 наблюдения, каждое из которых нормализовано между -1 и 1. Эти наблюдения таковы:

Для всех четырех ног начальные значения углов тазобедренного и коленного суставов установлены на -0,8234 и 1.6468 рад соответственно. Нейтральные положения суставов находятся на 0 град. Ноги находятся в нейтральном положении, когда они растянуты до максимума и выровнены перпендикулярно земле.

Действия

Агент генерирует восемь действий, нормализованных между -1 и 1. После умножения на коэффициент масштабирования они соответствуют восьми сигналам крутящего момента соединения для вращающихся соединений. Общие ограничения крутящего момента соединения составляют +/- 10 Н· м для каждого соединения.

Вознаграждение

Следующее вознаграждение предоставляется агенту на каждом временном шаге во время обучения. Эта функция поощрения побуждает агента двигаться вперед, предоставляя положительное вознаграждение за положительную скорость вперед. Он также призывает агента избегать досрочного прекращения, предоставляя постоянное вознаграждение ($$\mathrm{}\mathrm{}{}_{}{}_{}$$) на каждом временном шаге. Остальные термины в функции вознаграждения - это штрафы, которые препятствуют нежелательным состояниям, таким как большие отклонения от желаемой высоты и ориентации или использование чрезмерных крутящих моментов соединения.

где

Прекращение эпизода

Во время тренировки или моделирования эпизод завершается, если возникает какая-либо из следующих ситуаций.

Создание интерфейса среды

Задайте параметры для набора наблюдений.

numObs = 44;
obsInfo = rlNumericSpec([numObs 1]);
obsInfo.Name = 'observations';

Укажите параметры для набора действий.

numAct = 8;
actInfo = rlNumericSpec([numAct 1],'LowerLimit',-1,'UpperLimit', 1);
actInfo.Name = 'torque';

Создайте среду с помощью модели обучения армированию.

blk = [mdl, '/RL Agent'];
env = rlSimulinkEnv(mdl,blk,obsInfo,actInfo);

Во время тренировки функция сброса вносит случайные отклонения в начальные углы соединения и угловые скорости.

env.ResetFcn = @quadrupedResetFcn;

Создание агента DDPG

Агент DDPG аппроксимирует долгосрочное вознаграждение, данное наблюдениям и действиям, используя представление функции значения критика. Агент также решает, какое действие предпринять с учетом наблюдений, используя представление актера. Актерские и критические сети для этого примера вдохновлены [2].

Дополнительные сведения о создании глубокого представления функции значений нейронной сети см. в разделе Создание представлений политик и функций значений. Пример создания нейронных сетей для агентов DDPG см. в документе Train DDPG Agent to Control Double Integrator System.

Создайте сети в рабочем пространстве MATLAB с помощью createNetworks функция помощника.

createNetworks

Вы также можете создавать свои сети актеров и критиков в интерактивном режиме с помощью приложения Deep Network Designer.

Просмотр конфигурации сети критиков.

plot(criticNetwork)

Укажите параметры агента с помощью rlDDPGAgentOptions.

agentOptions = rlDDPGAgentOptions;
agentOptions.SampleTime = Ts;
agentOptions.DiscountFactor = 0.99;
agentOptions.MiniBatchSize = 250;
agentOptions.ExperienceBufferLength = 1e6;
agentOptions.TargetSmoothFactor = 1e-3;
agentOptions.NoiseOptions.MeanAttractionConstant = 0.15;
agentOptions.NoiseOptions.StandardDeviation = 0.1;

Создать rlDDPGAgent объект для агента.

agent = rlDDPGAgent(actor,critic,agentOptions);

Укажите параметры обучения

Для обучения агента сначала укажите следующие варианты обучения:

maxEpisodes = 10000;
maxSteps = floor(Tf/Ts);  
trainOpts = rlTrainingOptions(...
    'MaxEpisodes',maxEpisodes,...
    'MaxStepsPerEpisode',maxSteps,...
    'ScoreAveragingWindowLength',250,...
    'Verbose',true,...
    'Plots','training-progress',...
    'StopTrainingCriteria','AverageReward',...
    'StopTrainingValue',190,...                   
    'SaveAgentCriteria','EpisodeReward',... 
    'SaveAgentValue',200);                       

Для параллельного обучения агента укажите следующие варианты обучения. Для параллельного обучения требуется программное обеспечение Parallel Computing Toolbox™. Если программное обеспечение Parallel Computing Toolbox™ не установлено, установите UseParallel кому false.

trainOpts.UseParallel = true;                    
trainOpts.ParallelizationOptions.Mode = 'async';
trainOpts.ParallelizationOptions.StepsUntilDataIsSent = 32;
trainOpts.ParallelizationOptions.DataToSendFromWorkers = 'Experiences';

Агент поезда

Обучение агента с помощью train функция. Из-за сложности модели робота этот процесс является вычислительно интенсивным и занимает несколько часов. Чтобы сэкономить время при выполнении этого примера, загрузите предварительно подготовленный агент путем установки doTraining кому false. Чтобы обучить агента самостоятельно, установите doTraining кому true. Из-за случайности параллельных тренировок можно ожидать разных результатов тренировок от графика ниже.

doTraining = false;
if doTraining    
    % Train the agent.
    trainingStats = train(agent,env,trainOpts);
else
    % Load a pretrained agent for the example.
    load('rlQuadrupedAgent.mat','agent')
end

Моделирование обученного агента

Зафиксируйте начальное число случайного генератора для воспроизводимости.

rng(0)

Для проверки работоспособности обучаемого агента смоделируйте его в среде робота. Дополнительные сведения о моделировании агентов см. в разделе rlSimulationOptions и sim.

simOptions = rlSimulationOptions('MaxSteps',maxSteps);
experience = sim(env,agent,simOptions);

Примеры того, как обучить агента DDPG ходить двуногим роботом и гуманоидным ходунком, смоделированным в Simscape™ Multibody™ см. в документах Train Biped Robot to Walk с использованием агентов обучения усилению и Train Humanoid Walker (Simscape Multibody) соответственно.

Ссылки

[1] Heess, Nicolas, Dhruva TB, Srinivasan Sriram, Jay Lemmon, Josh Merel, Greg Wayne, Yuval Tasa и др. ArXiv:1707.02286 [Cs], 10 июля 2017 года. https://arxiv.org/abs/1707.02286.

[2] Лилликрап, Тимоти П., Джонатан Дж. Хант, Александр Притцель, Николас Хесс, Том Эрез, Юваль Тасса, Дэвид Сильвер и Даан Верстра. «Непрерывный контроль с глубоким усилением обучения». ArXiv:1509.02971 [Cs, Stat], 5 июля 2019 года. https://arxiv.org/abs/1509.02971.