Обучите агента PPO сажать ракету

Скрипт Open Live Script

В этом примере показано, как обучить агента ближайшей оптимизации политики (PPO) с дискретным пространством действий сажать ракету на землю. Для получения дополнительной информации об агентах PPO смотрите Ближайших Агентов Оптимизации политики.

Среда

Среда в этом примере является ракетой 3-DOF, представленной круговым диском с массой. Ракета имеет два ускорителя для прямого и вращательного движения. Действия силы тяжести вертикально вниз, и нет никакой аэродинамической силы сопротивления. Цель обучения должна заставить робота приземлиться на землю в заданном местоположении.

Для этой среды:

Движение ракеты ограничено в X (горизонтальная ось) от-100 до 100 метров и Y (вертикальная ось) от 0 до 120 метров.
Целевое положение в (0,0), метры и целевая ориентация являются 0 радианами.
Шаг расчета составляет 0,1 секунды.
Наблюдения средой являются положением ракеты $(x, y)$ , ориентация $(θ)$ , скорость $(\dot{x}, \dot{y})$ , скорость вращения $(\dot{θ})$ , и датчик, читая, который обнаруживает грубо приземление (-1), мягкое приземление (1) или в воздухе (0) условие. Наблюдения нормированы между-1 и 1.
В начале каждого эпизода ракета начинает со случайной начальной буквы $x$ положение и ориентация. Высота всегда сбрасывается к 100 метрам.
Вознаграждение $r_{t}$ если в то время шаг $t$ следующие.

$\begin{array}{l} {\hat{d}}_{t} = \sqrt{{x_{t}}^{2} + {y_{t}}^{2}} / d_{\max} \\ {\hat{v}}_{t} = \sqrt{{\dot{x_{t}}}^{2} + {\dot{y_{t}}}^{2}} / v_{\max} \\ r_{1} = 1 - (\frac{\sqrt{{\hat{d}}_{t}} + \sqrt{{\hat{v}}_{t}}}{2}) \\ r_{2} = \frac{1}{2} e^{- 20 θ_{t}^{2}} \\ r_{3} = 1 - (\frac{L_{t} + R_{t}}{20}) \\ r_{4} = 10000 [(y_{t} \leq 0) & & ({\dot{y}}_{t} \geq - 0.5 & & | {\dot{x}}_{t} | \leq 0.5)] \\ r_{t} = r_{1} + r_{2} + r_{3} + r_{4} \end{array}$

Здесь:

$x_{t}$ , $y_{t}$ , ${\dot{x}}_{t}$ , и ${\dot{y}}_{t}$ положения и скорости ракеты вдоль осей X и Y.
${\hat{d}}_{t}$ нормированное расстояние ракеты от целевого положения.
${\hat{v}}_{t}$ нормированная скорость ракеты.
$d_{\max}$ и $v_{\max}$ максимальные расстояния и скорости в пространстве состояний.
$θ_{t}$ ориентация относительно вертикальной оси.
$L_{t}$ и $R_{t}$ значения действия для левых и правых ускорителей.
$r_{1}$ вознаграждение за минимизацию расстояния и скорости одновременно.
$r_{2}$ вознаграждение за минимизацию ориентации ракеты.
$r_{3}$ вознаграждение за минимизацию усилия по управлению.
$r_{4}$ разреженное вознаграждение за мягкую посадку с горизонтальными и вертикальными скоростями меньше чем 0,5 м/с.

Создайте среду MATLAB

Создайте среду MATLAB для высаживающегося на берег ракеты, использующего RocketLander класс.

env = RocketLander;

Получите информацию о наблюдении и действии из среды.

actionInfo = getActionInfo(env);
observationInfo = getObservationInfo(env);
numObs = observationInfo.Dimension(1);
numAct = numel(actionInfo.Elements);

Для повторяемости результатов зафиксируйте начальное значение генератора случайных чисел.

rng(0)

Создайте агента PPO

Агент PPO в этом примере работает с дискретным пространством действий. На каждом временном шаге агент выбирает одну из следующих дискретных пар действия.

$\begin{array}{l} L, L - do nothing \\ L, M - fire right (med) \\ L, H - fire right (high) \\ M, L - fire left (med) \\ M, M - fire left (med) + right (med) \\ M, H - fire left (med) + right (high) \\ H, L - fire left (high) \\ H, M - fire left (high) + right (med) \\ H, H - fire left (high) + right (high) \end{array}$

Здесь, $L = 0.0, M = 0.5$ и $H = 1.0$ нормированы значения тяги для каждого ускорителя.

Чтобы оценить политику и функцию ценности, агент обеспечивает функциональные аппроксимации для агента и критика, которые моделируются с помощью глубоких нейронных сетей. Обучение может быть чувствительно к начальным сетевым весам и смещениям, и результаты могут меняться в зависимости от различных множеств значений. В этом примере сетевые веса случайным образом инициализируются к маленьким значениям. Чтобы загрузить набор предопределенных значений вместо этого, установите predefinedWeightsandBiases к true.

criticLayerSizes = [200 100];
actorLayerSizes = [200 100];

predefinedWeightsandBiases = false;
if predefinedWeightsandBiases
    load('PredefinedWeightsAndBiases.mat');
else
    createNetworkWeights;
end

Создайте глубокую нейронную сеть критика с шестью входными параметрами и одним выходом. Выход сети критика является обесцененным долгосрочным вознаграждением за входные наблюдения.

criticNetwork = [imageInputLayer([numObs 1 1],'Normalization','none','Name','observation')
    fullyConnectedLayer(criticLayerSizes(1),'Name','CriticFC1', ... 
                                            'Weights',weights.criticFC1, ...
                                            'Bias',bias.criticFC1)
    reluLayer('Name','CriticRelu1')
    fullyConnectedLayer(criticLayerSizes(2),'Name','CriticFC2', ...
                                            'Weights',weights.criticFC2, ... 
                                            'Bias',bias.criticFC2)
    reluLayer('Name','CriticRelu2')
    fullyConnectedLayer(1,'Name','CriticOutput',...
                          'Weights',weights.criticOut,...
                          'Bias',bias.criticOut)];

Создайте представление критика.

criticOpts = rlRepresentationOptions('LearnRate',1e-3);
critic = rlValueRepresentation(criticNetwork,env.getObservationInfo, ...
                          'Observation',{'observation'},criticOpts);

Создайте агента с помощью глубокой нейронной сети с шестью входными параметрами и двумя выходными параметрами. Выходные параметры сети агента являются вероятностями взятия каждой возможной пары действия. Каждая пара действия содержит нормированные значения действия для каждого ускорителя. Среда step функционируйте масштабирует эти значения, чтобы определить фактические значения тяги.

actorNetwork = [imageInputLayer([numObs 1 1],'Normalization','none','Name','observation')
    fullyConnectedLayer(actorLayerSizes(1),'Name','ActorFC1',...
                                           'Weights',weights.actorFC1,...
                                           'Bias',bias.actorFC1)
    reluLayer('Name','ActorRelu1')
    fullyConnectedLayer(actorLayerSizes(2),'Name','ActorFC2',...
                                           'Weights',weights.actorFC2,...
                                           'Bias',bias.actorFC2)
    reluLayer('Name','ActorRelu2')
    fullyConnectedLayer(numAct,'Name','Action',...
                               'Weights',weights.actorOut,...
                               'Bias',bias.actorOut)
    softmaxLayer('Name','actionProbability')
    ];

Создайте агента с помощью стохастического представления актера.

actorOptions = rlRepresentationOptions('LearnRate',1e-3);
actor = rlStochasticActorRepresentation(actorNetwork,env.getObservationInfo,env.getActionInfo,... 
                         'Observation',{'observation'}, actorOptions);

Агент PPO генерирует события для ExperienceHorizon количество шагов или до конца эпизода. Затем это обучается на тех событиях с помощью мини-пакетов в конкретном количестве эпох.

Установите ExperienceHorizon к 512 шагам, который немного меньше половины общей длительности симуляции 1 200 шагов.
Используйте "gae" метод, который вычисляет функцию преимущества на основе сглаживавшей обесцененной суммы временных различий.
Чтобы улучшить учебную устойчивость, используйте фактор клипа целевой функции 0,2.
Коэффициенты дисконтирования, которые являются близко к 1, поощряют долгосрочные вознаграждения. Используйте коэффициент дисконтирования 0,9995, который имеет период полураспада журнала (0.5) журнал / (0.9995) ≈ 1 386 шагов.

Задайте опции агента с помощью rlPPOAgentOptions.

opt = rlPPOAgentOptions('ExperienceHorizon',512,...
                        'ClipFactor',0.2,...
                        'EntropyLossWeight',0.02,...
                        'MiniBatchSize',64,...
                        'NumEpoch',3,...
                        'AdvantageEstimateMethod','gae',...
                        'GAEFactor',0.95,...
                        'SampleTime',env.Ts,...
                        'DiscountFactor',0.9995);

Создайте агента PPO.

agent = rlPPOAgent(actor,critic,opt);