Модель Бипеда Робота

Окружение обучения с подкреплением для этого примера является двухскатным роботом. Цель обучения состоит в том, чтобы заставить робота ходить по прямой линии с помощью минимальных усилий по управлению.

Загрузите параметры модели в рабочую область MATLAB ®.

robotParametersRL

Откройте модель Simulink.

mdl = 'rlWalkingBipedRobot';
open_system(mdl)

Робот моделируется с помощью Simscape Multibody.

Для этой модели:

Это окружение предоставляет агенту следующие 29 наблюдений.

Эпизод прекращается, если происходит одно из следующих условий.

Следующая функция вознаграждения ${\mathit{r}}_{\mathit{t}}$, который предоставляется в каждый временной шаг вдохновляется [2].

Здесь:

Эта функция вознаграждения побуждает агента двигаться вперед, предоставляя положительное вознаграждение для положительной скорости вперед. Это также призывает агента избегать прекращения эпизода, предоставляя постоянное вознаграждение ($25\frac{\mathrm{Ts}}{\mathrm{Tf}}$) в каждый временной шаг. Другими терминами в функции вознаграждения являются штрафы за существенные изменения в боковых и вертикальных переводах и за использование избыточных усилий по управлению.

Создайте интерфейс окружения

Создайте спецификацию наблюдений.

numObs = 29;
obsInfo = rlNumericSpec([numObs 1]);
obsInfo.Name = 'observations';

Создайте спецификацию действия.

numAct = 6;
actInfo = rlNumericSpec([numAct 1],'LowerLimit',-1,'UpperLimit',1);
actInfo.Name = 'foot_torque';

Создайте интерфейс окружения для модели ходячего робота.

blk = [mdl,'/RL Agent'];
env = rlSimulinkEnv(mdl,blk,obsInfo,actInfo);
env.ResetFcn = @(in) walkerResetFcn(in,upper_leg_length/100,lower_leg_length/100,h/100);

Выбор и создание агента для обучения

Этот пример предоставляет опцию обучить робота либо с помощью агента DDPG, либо TD3. Чтобы симулировать робота с агентом по вашему выбору, установите AgentSelection соответственно флаг.

AgentSelection = 'TD3';
switch AgentSelection
    case 'DDPG'
        agent = createDDPGAgent(numObs,obsInfo,numAct,actInfo,Ts);
    case 'TD3'
        agent = createTD3Agent(numObs,obsInfo,numAct,actInfo,Ts);
    otherwise
        disp('Enter DDPG or TD3 for AgentSelection')
end

The createDDPGAgent и createTD3Agent вспомогательные функции выполняют следующие действия.

Агент DDPG

Агент DDPG аппроксимирует долгосрочное вознаграждение, заданное наблюдениями и действиями, используя представление функции ценности критика. Агент DDPG решает, какое действие взять заданные наблюдения с помощью представления актера. Сети актёра и критика для этого примера вдохновлены [1].

Для получения дополнительной информации о создании агента DDPG см. createDDPGAgent вспомогательная функция. Для получения информации о настройке опций агента DDPG смотрите rlDDPGAgentOptions (Reinforcement Learning Toolbox).

Для получения дополнительной информации о создании представления функции ценности глубокой нейронной сети, смотрите, Создают Политику и Представления Функции Ценности (Reinforcement Learning Toolbox). Для примера, который создает нейронные сети для агентов DDPG, смотрите Обучите Агента DDPG для управления Системой Double Integrator (Reinforcement Learning Toolbox).

TD3 агент

Агент TD3 аппроксимирует долгосрочные заданные наблюдения вознаграждения и действия с помощью двух представлений функции ценности критика. Агент TD3 решает, какое действие взять заданные наблюдения с помощью представления актера. Структура сетей актёра и критика, используемых для этого агента, совпадает с таковыми, используемой для агента DDPG.

Агент DDPG может переоценить значение Q. Поскольку агент использует значение Q для обновления своей политики (актёр), результирующая политика может быть неоптимальной, и накопление ошибок обучения может привести к расхождению в поведении. Алгоритм TD3 является расширением DDPG с улучшениями, которые делают его более устойчивым, предотвращая завышение значений Q [3].

Для получения дополнительной информации о создании агента TD3 см. createTD3Agent вспомогательная функция. Для получения информации о настройке TD3 агента опций см. rlTD3AgentOptions (Reinforcement Learning Toolbox).

Задайте опции обучения и Обучите Агента

В данном примере опции обучения для агентов DDPG и TD3 одинаковы.

Для получения дополнительной информации и дополнительных опций смотрите rlTrainingOptions (Reinforcement Learning Toolbox).

maxEpisodes = 2000;
maxSteps = floor(Tf/Ts);
trainOpts = rlTrainingOptions(...
    'MaxEpisodes',maxEpisodes,...
    'MaxStepsPerEpisode',maxSteps,...
    'ScoreAveragingWindowLength',250,...
    'Verbose',false,...
    'Plots','training-progress',...
    'StopTrainingCriteria','EpisodeCount',...
    'StopTrainingValue',maxEpisodes,...
    'SaveAgentCriteria','EpisodeCount',...
    'SaveAgentValue',maxEpisodes);

Чтобы обучить агента параллельно, задайте следующие опции обучения. Параллельное обучение требует Parallel Computing Toolbox™. Если у вас нет установленного программного обеспечения Parallel Computing Toolbox, установите UseParallel на false.

trainOpts.UseParallel = true;
trainOpts.ParallelizationOptions.Mode = 'async';
trainOpts.ParallelizationOptions.StepsUntilDataIsSent = 32;
trainOpts.ParallelizationOptions.DataToSendFromWorkers = 'Experiences';

Обучите агента с помощью train (Reinforcement Learning Toolbox) функция. Этот процесс является интенсивным в вычислительном отношении и занимает несколько часов, чтобы завершить для каждого агента. Чтобы сэкономить время при запуске этого примера, загрузите предварительно обученного агента путем установки doTraining на false. Чтобы обучить агента самостоятельно, установите doTraining на true. Из-за случайности в параллельном обучении можно ожидать различных результатов обучения от последующих графиков. Предварительно обученные агенты были обучены параллельно с использованием четырех рабочих.

doTraining = false;
if doTraining    
    % Train the agent.
    trainingStats = train(agent,env,trainOpts);
else
    % Load a pretrained agent for the selected agent type.
    if strcmp(AgentSelection,'DDPG')
       load('rlWalkingBipedRobotDDPG.mat','agent')
    else
       load('rlWalkingBipedRobotTD3.mat','agent')
    end  
end

Для предыдущих примерных кривых обучения среднее время на шаг обучения для агентов DDPG и TD3 составляет 0,11 и 0,12 секунд, соответственно. Агент TD3 занимает больше времени на шаг обучения, потому что обновляет две сети критика по сравнению с одним критиком, используемым для DDPG.

Моделирование обученных агентов

Исправьте начальное значение генератора для повторяемости.

rng(0)

Чтобы подтвердить производительность обученного агента, симулируйте его в среде двойного робота. Для получения дополнительной информации о симуляции агента смотрите rlSimulationOptions (Reinforcement Learning Toolbox) и sim (Reinforcement Learning Toolbox).

simOptions = rlSimulationOptions('MaxSteps',maxSteps);
experience = sim(env,agent,simOptions);

Сравнение эффективности агента

Для последующего сравнения агентов каждый агент был обучен пять раз с использованием различных случайных начальных чисел каждый раз. Из-за случайного исследовательского шума и случайности в параллельном обучении кривая обучения для каждого запуска отличается. Поскольку обучение агентов для нескольких запусков занимает несколько дней, это сравнение использует предварительно обученных агентов.

Для агентов DDPG и TD3 постройте среднее значение и стандартного отклонения вознаграждения эпизода (верхний график) и значения Q0 эпизода (нижний график). Значение Q0 эпизода является оценкой критиком дисконтированного долгосрочного вознаграждения в начале каждого эпизода, учитывая первоначальное наблюдение окружения. Для хорошо продуманного критика, эпизод Q0 значение приближается к истинному дисконтированному долгосрочному вознаграждению.

comparePerformance('DDPGAgent','TD3Agent')

На основе графика сравнения кривых обучения:

Основанный на графике сравнения Q0 эпизода:

В этом примере обучение было остановлено на 2000 эпизодах. Для большего периода обучения агент TD3 с его устойчивым увеличением оценок показывает потенциал сходиться к истинному дисконтированному долгосрочному вознаграждению.

Для другого примера о том, как обучить робота ходить с помощью агента DDPG, смотрите Train Humanoid Walker (Simscape Multibody). Пример о том, как обучить четырехкомпонентного робота ходить с использованием агента DDPG, см. в разделе «Квадрупная локация робота» с использованием агента DDPG (Reinforcement Learning Toolbox).

Ссылки

[1] Lillicrap, Timothy P., Jonathan J. Hunt, Alexander Pritzel, Nicolas Heess, Tom Erez, Yuval Tassa, David Silver, and Daan Wierstra. Непрерывное управление с глубоким обучением с подкреплением. Препринт, представленный 5 июля 2019 года. https://arxiv.org/abs/1509.02971.

[2] Heess, Nicolas, Dhruva TB, Srinivasan Sriram, Jay Lemmon, Josh Merel, Greg Wayne, Yuval Tassa, et al. «Появление поведения локомотива в богатых окружениях». Препринт, представленный 10 июля 2017 года. https://arxiv.org/abs/1707.02286.

[3] Фухимото, Скотт, Херке ван Хоф и Дэвид Мегер. «Устранение Приближения функций ошибки в методах актёра-критика». Препринт, представленный 22 октября 2018 года. https://arxiv.org/abs/1802.09477.