Создание среды и агента для сбора данных

В этом примере функция ограничения представлена с использованием обученной глубокой нейронной сети. Для обучения сети необходимо сначала собрать данные обучения из среды.

Для этого сначала создайте среду RL с помощью rlBallOneDim модель. Эта модель применяет к среде случайные внешние действия через блок агента RL.

mdl = 'rlBallOneDim';
open_system(mdl)

Подсистема Environment выполняет следующие действия.

Для этой модели наблюдения из окружающей среды включают положение и скорость зеленого шара и шумное измерение положения красного шара. Определите непрерывное пространство наблюдения для этих трех значений.

obsInfo = rlNumericSpec([3 1]);

Действие, которое агент применяет к зеленому шарику, является его скоростью. Создайте непрерывное пространство действий и примените требуемые пределы скорости.

actInfo = rlNumericSpec([1 1],'LowerLimit',-velLimit,'UpperLimit',velLimit);

Создайте среду RL для этой модели.

agentblk = [mdl '/RL Agent'];
env = rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo);

Укажите функцию сброса, которая случайным образом инициализирует среду в начале каждого учебного эпизода или моделирования.

env.ResetFcn = @(in)localResetFcn(in);

Затем создайте агент обучения усилению DDPG, который поддерживает непрерывные действия и наблюдения, используя createDDPGAgentBall функция помощника. Эта функция создает представления критиков и актеров на основе спецификаций действий и наблюдений и использует представления для создания агента DDPG.

agent = createDDPGAgentBall(Ts,obsInfo,actInfo);

В rlBallOneDim , блок RL Agent не генерирует действия. Вместо этого он конфигурируется для передачи случайного внешнего действия в среду. Целью использования модели сбора данных с неактивным блоком агента RL является обеспечение соответствия модели среды, конфигураций сигналов действий и наблюдений и функции сброса модели, используемой во время сбора данных, тем, которые используются во время последующего обучения агента.

Изучение функции ограничения

В этом примере сигнал положения шара ${\mathit{}}_{\mathit{xk}\mathrm{+}}$ 1 должен $\mathrm{удовлетворять}$${\mathit{0\le }}_{\mathit{}\mathrm{}}\mathrm{}$xk+1≤1. Чтобы разрешить некоторое ослабление, ограничение устанавливается равным ${\mathrm{}\mathrm{}\mathit{0.1\le }}_{\mathit{}\mathrm{}}\mathrm{}\mathrm{}$xk+1≤0.9. Динамическая модель из скорости в положение имеет очень малую демпфирующую постоянную, таким образом, она может быть аппроксимирована ${\mathit{}}_{\mathit{}\mathrm{}}{\mathit{}}_{\mathit{}}\mathit{}{\mathit{xk+1\approx xk+h}}_{\mathit{}}({\mathit{}}_{\mathit{xk}}$) uk. Поэтому ограничения для зеленого шара задаются следующим уравнением.

Блок «Применение ограничений» принимает ограничения ${\mathit{}}_{\mathit{}}{\mathit{}}_{\mathit{}}\mathit{}\mathit{fx+gxu\le c\; формы}$. Для вышеприведенного уравнения коэффициенты этой функции ограничения следующие.

Функция $\mathit{h}{\mathit{(}}_{\mathit{}}xk$) аппроксимируется глубокой нейронной сетью, которую обучают данным, собранным путем моделирования агента RL в окружающей среде. Чтобы узнать неизвестную функцию $\mathit{}h{\mathit{}}_{\mathit{(}}$xk), агент RL передает случайное внешнее действие в среду, которая равномерно распределена в $диапазоне\mathrm{[}-\mathrm{}$1,1].

Для сбора данных используйте collectDataBall функция помощника. Эта функция моделирует среду и агента и собирает результирующие входные и выходные данные. Полученные данные обучения имеют три столбца: ${\mathit{}}_{\mathit{xk}}$, ${\mathit{}}_{\mathit{uk}}$и ${\mathit{}}_{\mathit{xk}\mathrm{+}}$1.

В этом примере выполняется загрузка предварительно собранных учебных данных. Чтобы собрать данные самостоятельно, установите collectData кому true.

collectData = false;
if collectData
    count = 1050;
    data = collectDataBall(env,agent,count);
else
    load trainingDataBall data
end

Обучить глубокую нейронную сеть аппроксимировать функцию ограничения с помощью trainConstraintBall функция помощника. Эта функция форматирует данные для обучения, затем создает и обучает глубокую нейронную сеть. Для обучения глубокой нейронной сети требуется программное обеспечение Deep Learning Toolbox™.

В этом примере для обеспечения воспроизводимости загрузите предварительно обученную сеть. Чтобы обучить сеть самостоятельно, установите trainConstraint кому true.

trainConstraint = false;
if trainConstraint
    network = trainConstraintBall(data);
else
    load trainedNetworkBall network
end

На следующем рисунке показан пример хода обучения.

Проверка обученной нейронной сети с использованием validateNetworkBall функция помощника. Эта функция обрабатывает входные обучающие данные с использованием обученной глубокой нейронной сети. Затем он сравнивает сетевой выход с учебным и вычисляет корневую среднеквадратичную ошибку (RMSE).

validateNetworkBall(data,network)

Test Data RMSE = 9.996700e-02

Небольшое значение RMSE указывает, что сеть успешно изучила функцию ограничения.

Подготовка агента с применением ограничений

Для обучения агента применению ограничений используйте rlBallOneDimWithConstraint модель. Эта модель ограничивает действия агента перед их применением к среде.

mdl = 'rlBallOneDimWithConstraint';
open_system(mdl)

Чтобы просмотреть реализацию ограничения, откройте подсистему ограничения. Здесь обученная глубокая нейронная сеть аппроксимирует $\mathit{h}{\mathit{(}}_{\mathit{}}xk$), и блок «Обеспечение ограничения» (Constraint Enforcement) применяет функцию ограничения и границы скорости.

В этом примере используются следующие настройки параметров блока принудительного ограничения.

Создайте среду RL с помощью этой модели. Характеристики наблюдения и действия соответствуют тем, которые использовались в предыдущей среде сбора данных.

agentblk = [mdl '/RL Agent'];
env = rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo);
env.ResetFcn = @(in)localResetFcn(in);

Укажите параметры обучения агента. Тренируйте агента RL на 300 эпизодов с 300 шагами на эпизод.

trainOpts = rlTrainingOptions(...
    'MaxEpisodes',300, ...
    'MaxStepsPerEpisode', 300, ...
    'Verbose', false, ...
    'Plots','training-progress');

Тренируйте агента. Обучение занимает много времени. Для этого примера загрузите предварительно обученный агент с помощью loadAgentParams функция помощника. Чтобы обучить агента самостоятельно, установите trainAgent кому true.

trainAgent = false;
if trainAgent
    trainingStats = train(agent,env,trainOpts);
else
    loadAgentParams(agent,'rlAgentBallParams')
end

На следующем рисунке показаны результаты обучения. Тренировочный процесс сходится к хорошему агенту в течение 20 серий.

Поскольку общее количество шагов равно произведению номера эпизода и шагов эпизода, каждый учебный эпизод проходит до конца без досрочного прекращения. Поэтому блок «Обеспечение ограничения» гарантирует, что положение шара $\mathit{x}$ никогда не нарушает $\mathrm{}\mathit{}\mathrm{0\le x\le 1\; ограничения}$.

Моделирование обучаемого агента с помощью simWithTrainedAgentBall функция помощника.

simWithTrainedAgentBall(env,agent)

Агент успешно отслеживает положение красного мяча.

Подготовка агента без применения ограничений

Чтобы увидеть преимущества обучения агента с применением ограничений, можно обучить агента без ограничений и сравнить результаты обучения со случаем применения ограничений.

Для обучения агента без ограничений используйте rlBallOneDimWithoutConstraint модель. Эта модель применяет действия агента непосредственно к среде.

mdl = 'rlBallOneDimWithoutConstraint';
open_system(mdl)

Создайте среду RL с помощью этой модели.

agentblk = [mdl '/RL Agent'];
env = rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo);
env.ResetFcn = @(in)localResetFcn(in);

Создайте новый агент DDPG для обучения. Этот агент имеет ту же конфигурацию, что и агент, использовавшийся в предыдущем обучении.

agent = createDDPGAgentBall(Ts,obsInfo,actInfo);

Обучение агента с использованием тех же возможностей обучения, что и в случае применения ограничений. Для этого примера, как и при предыдущем обучении, загрузите предварительно обученного агента. Чтобы обучить агента самостоятельно, установите trainAgent к true.

trainAgent = false;
if trainAgent
    trainingStats2 = train(agent,env,trainOpts);
else
    loadAgentParams(agent,'rlAgentBallCompParams')
end

На следующем рисунке показаны результаты обучения. Тренировочный процесс сходится к хорошему агенту после 50 эпизодов. После этого момента агент имеет плохую производительность для некоторых эпизодов, например, вокруг эпизодов 140 и 230.

Так как общее количество шагов меньше, чем произведение номера эпизода и шагов эпизода, обучение включает эпизоды, которые завершились рано из-за нарушений ограничений.

Смоделировать обученного агента.

simWithTrainedAgentBall(env,agent)

Агент успешно отслеживает положение красного мяча с более устойчивым смещением, чем агент, обученный ограничениям.

Заключение

В этом примере обучение агента RL с помощью блока «Применение ограничений» гарантирует, что действия, применяемые к среде, никогда не приведут к нарушению ограничений. В итоге тренировочный процесс сходится к хорошему агенту быстро. Обучение одного и того же агента без ограничений приводит к замедлению сходимости и снижению производительности.

bdclose('rlBallOneDim')
bdclose('rlBallOneDimWithConstraint')
bdclose('rlBallOneDimWithoutConstraint')
close('Ball One Dim')

Функция локального сброса

function in = localResetFcn(in)
% Reset function
in = setVariable(in,'x0',rand);
in = setVariable(in,'s0',randi(5000));
in = setVariable(in,'s1',randi(5000));
end

Ссылки

[1] Далал, Гал, Кришнамурти Двиджотам, Матей Вецерик, Тодд Хестер, Космин Падурару и Юваль Тасса. «Безопасное исследование в пространствах непрерывного действия». Препринт, представлен 26 января 2018 года. https://arxiv.org/abs/1801.08757