Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором столбца, содержащим четыре двойника.

obsInfo = rlNumericSpec([4 1]);

Создание объекта спецификации действия (или использование getActionInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство действия как непрерывное двумерное пространство, так что одно действие является вектором столбца, содержащим две двойки.

actInfo = rlNumericSpec([2 1]);

Создайте глубокий нейронный сетевой аппроксиматор для актера. Вход сети (здесь называемый myobs) должен принимать четырехэлементный вектор (вектор наблюдения, только что определенный obsInfo), и его выходом должно быть действие (здесь называемое myact) и быть двухэлементным вектором, как определено actInfo.

net = [featureInputLayer(4,'Normalization','none','Name','myobs') 
    fullyConnectedLayer(2,'Name','myact')];

Создать критика с помощью rlQValueRepresentation, используя сеть, объекты наблюдений и спецификации действий, а также имена входных и выходных слоев сети.

actor = rlDeterministicActorRepresentation(net,obsInfo,actInfo, ...
    'Observation',{'myobs'},'Action',{'myact'})

actor = 
  rlDeterministicActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlNumericSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить актера, используйте getAction для возврата действия из случайного наблюдения с использованием текущих весов сети.

act = getAction(actor,{rand(4,1)}); act{1}

ans = 2x1 single column vector

   -0.5054
    1.5390

Теперь можно использовать актера для создания подходящего агента (например, rlACAgent, rlPGAgent, или rlDDPGAgent агент).

Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащим 3 дубля.

obsInfo = rlNumericSpec([3 1]);

Детерминированный фактор не поддерживает дискретные пространства действия. Поэтому создайте объект спецификации пространства непрерывного действия (или используйте getActionInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство действия как непрерывное двумерное пространство, так что одно действие является вектором столбца, содержащим 2 двойных значения.

actInfo = rlNumericSpec([2 1]);

Создайте пользовательскую базисную функцию. Каждый элемент является функцией наблюдений, определяемых obsInfo.

myBasisFcn = @(myobs) [myobs(2)^2; myobs(1); 2*myobs(2)+myobs(1); -myobs(3)]

myBasisFcn = function_handle with value:
    @(myobs)[myobs(2)^2;myobs(1);2*myobs(2)+myobs(1);-myobs(3)]

Выходной сигнал актера - вектор W'*myBasisFcn(myobs), что является действием, предпринятым в результате данного наблюдения. Весовая матрица W содержит обучаемые параметры и должен иметь столько строк, сколько длина вывода базисной функции и столько столбцов, сколько размерность пространства действий.

Определите начальную матрицу параметров.

W0 = rand(4,2);

Создайте актера. Первый аргумент - это двухэлементная ячейка, содержащая как дескриптор пользовательской функции, так и начальную весовую матрицу. Второй и третий аргументы являются, соответственно, объектами наблюдения и спецификации действия.

actor = rlDeterministicActorRepresentation({myBasisFcn,W0},obsInfo,actInfo)

actor = 
  rlDeterministicActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlNumericSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить актера, используйте getAction функция для возврата действия из данного наблюдения с использованием матрицы текущих параметров.

a = getAction(actor,{[1 2 3]'});
a{1}

ans = 
  2x1 dlarray

    2.0595
    2.3788

Теперь можно использовать актёра (вместе с критиком) для создания подходящего непрерывного агента пространства действия.

Создание сведений о наблюдениях и действиях. Эти спецификации также можно получить из среды.

obsinfo = rlNumericSpec([4 1]);
actinfo = rlNumericSpec([2 1]);
numObs = obsinfo.Dimension(1);
numAct = actinfo.Dimension(1);

Создать повторяющуюся глубокую нейронную сеть для актера. Чтобы создать рецидивирующую нейронную сеть, используйте sequenceInputLayer в качестве входного уровня и включать, по меньшей мере, один lstmLayer.

net = [sequenceInputLayer(numObs,'Normalization','none','Name','state')
            fullyConnectedLayer(10,'Name','fc1')
            reluLayer('Name','relu1')
            lstmLayer(8,'OutputMode','sequence','Name','ActorLSTM')
            fullyConnectedLayer(20,'Name','CriticStateFC2')
            fullyConnectedLayer(numAct,'Name','action')
            tanhLayer('Name','tanh1')];

Создайте детерминированное представление актера для сети.

actorOptions = rlRepresentationOptions('LearnRate',1e-3,'GradientThreshold',1);
actor = rlDeterministicActorRepresentation(net,obsinfo,actinfo,...
    'Observation',{'state'},'Action',{'tanh1'});