Обзор

Пример, который обучает агента обучения с подкреплением для выполнения PFC, показан в Train DDPG Agent for Path-Following Control. В этом примере один агент глубокого детерминированного градиента политики (DDPG) обучен управлять как продольной скоростью, так и боковым управлением автомобиля , оборудованного датчиком. В этом примере вы обучаете двух агентов обучения с подкреплением - агент DDPG обеспечивает непрерывные значения ускорения для продольного цикла управления, а агент глубокой Q-сети (DQN) обеспечивает дискретные значения угла поворота для бокового цикла управления.

Обученные агенты выполняют PFC через совместное поведение и достигают удовлетворительных результатов.

Создайте окружение

В окружение для этого примера входит простая модель велосипеда для эго-автомобиля и простая продольная модель для свинцового автомобиля. Цель обучения состоит в том, чтобы заставить эго-автомобиль перемещаться с заданной скоростью при сохранении безопасного расстояния от свинцового автомобиля путем управления продольным ускорением и торможением, а также удерживать эго-автомобиль движущимся вдоль осевой линии своей полосы путем управления углом наклона переднего руля.

Загрузите параметры окружения.

multiAgentPFCParams

Откройте модель Simulink.

mdl = "rlMultiAgentPFC";
open_system(mdl)

В этой модели два агента обучения с подкреплением (RL Agent1 и RL Agent2) обеспечивают сигналы продольного ускорения и угла поворота, соответственно.

Симуляция прекращается, когда происходит любое из следующих условий.

Для продольного контроллера (RL Agent1):

Вот, $a_{t-1}$ является входом ускорения от предыдущего временного шага и:

Для бокового контроллера (RL Agent2):

Вот, $$u_{t-1}$$ является управляющим входом от предыдущего временного шага, $a_{t-1}$ является входом ускорения от предыдущего временного шага и:

Логические условия в функциях вознаграждения ($F_t$, $M_t$, и $H_t$) штрафовать агентов, если симуляция прекращается раньше, в то же время побуждая агентов сделать и латеральную ошибку, и ошибку скорости маленькими.

Создайте наблюдения и спецификации действия для продольных циклов управления.

obsInfo1 = rlNumericSpec([3 1]);
actInfo1 = rlNumericSpec([1 1],'LowerLimit',-3,'UpperLimit',2);

Создайте наблюдения и спецификации действия для боковых циклов управления.

obsInfo2 = rlNumericSpec([6 1]);
actInfo2 = rlFiniteSetSpec((-15:15)*pi/180);

Объедините наблюдение и спецификации действия как массив ячеек.

obsInfo = {obsInfo1,obsInfo2};
actInfo = {actInfo1,actInfo2};

Создайте интерфейс окружения Simulink, задав пути блоков для обоих блоков агента. Порядок путей к блокам должен совпадать с порядком массивов ячеек наблюдений и спецификацией действия.

blks = mdl + ["/RL Agent1", "/RL Agent2"];
env = rlSimulinkEnv(mdl,blks,obsInfo,actInfo);

Задайте функцию сброса для окружения, используя ResetFcn свойство. Функция pfcResetFcn случайным образом устанавливает начальные положения ведущих и автомобилей , оборудованных датчиком в начале каждого эпизода во время обучения.

env.ResetFcn = @pfcResetFcn;

Создание агентов

В данном примере вы создаете двух агентов обучения с подкреплением. Во-первых, исправьте случайный seed для воспроизводимости.

rng(0)

Оба агента работают в одном и том же шаге расчета в этом примере. Установите значение шага расчета (в секундах).

Ts = 0.1;

Продольное управление

Агент для продольного цикла управления является агентом DDPG. Агент DDPG аппроксимирует долгосрочное вознаграждение, заданное наблюдения и действия, используя представление функции ценности критика и выбирает действия, используя представление политики актёра. Для получения дополнительной информации о создании функции ценности глубокой нейронной сети и представлений политики, смотрите, Создают представления политики и функции ценности.

Используйте createCCAgent функция для создания агента DDPG для продольного управления. Структура этого агента подобна примеру Train DDPG Agent for Adaptive Cruise Control.

agent1 = createACCAgent(obsInfo1,actInfo1,Ts);

Боковое управление

Агент для бокового цикла управления является агентом DQN. Агент DQN аппроксимирует долгосрочное вознаграждение, заданное наблюдениями и действиями, используя представление функции ценности критика.

Используйте createLKAAgent функция для создания агента DQN для бокового управления. Структура этого агента подобна примеру Train DQN Agent for Lane Keeping Assist.

agent2 = createLKAAgent(obsInfo2,actInfo2,Ts);

Обучите агентов

Задайте опции обучения. В данном примере используйте следующие опции.

Tf = 60; % simulation time
maxepisodes = 5000;
maxsteps = ceil(Tf/Ts);
trainingOpts = rlTrainingOptions(...
    'MaxEpisodes',maxepisodes,...
    'MaxStepsPerEpisode',maxsteps,...
    'Verbose',false,...
    'Plots','training-progress',...
    'StopTrainingCriteria','AverageReward',...
    'StopTrainingValue',[480,1195]);

Обучите агентов, используя train функция. Обучение этих агентов является интенсивным в вычислительном отношении процессом, который занимает несколько минут. Чтобы сэкономить время при запуске этого примера, загрузите предварительно обученного агента путем установки doTraining на false. Чтобы обучить агента самостоятельно, установите doTraining на true.

doTraining = false;
if doTraining    
    % Train the agent.
    trainingStats = train([agent1,agent2],env,trainingOpts);
else
    % Load pretrained agents for the example.
    load('rlPFCAgents.mat')       
end

Следующий рисунок показывает моментальный снимок процесса обучения для этих двух агентов.

Моделирование агентов

Чтобы подтвердить эффективность обученных агентов, симулируйте агентов в окружение Simulink, отключив следующие команды. Для получения дополнительной информации о симуляции агента смотрите rlSimulationOptions и sim.

% simOptions = rlSimulationOptions('MaxSteps',maxsteps);
% experience = sim(env,[agent1, agent2],simOptions);

Чтобы продемонстрировать обученного агента с помощью детерминированных начальных условий, симулируйте модель в Simulink.

e1_initial = -0.4;
e2_initial = 0.1;
x0_lead = 80;
sim(mdl)

Следующие графики показывают результаты, когда головной автомобиль опережает ego автомобиль на 70 м в начале симуляции.