Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором столбца, содержащим четыре двойника.

obsInfo = rlNumericSpec([4 1]);

Создание объекта спецификации действия (или использование getActionInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство действий как состоящее из трех значений, -10, 0, и 10.

actInfo = rlFiniteSetSpec([-10 0 10]);

Создайте глубокий нейронный сетевой аппроксиматор для актера. Вход сети (здесь называемый state) должен принимать четырехэлементный вектор (вектор наблюдения, только что определенный obsInfo) и его выходные данные (здесь называемые actionProb) должен быть трехэлементным вектором. Каждый элемент выходного вектора должен быть между 0 и 1, поскольку он представляет вероятность выполнения каждого из трех возможных действий (как определено actInfo). Использование softmax в качестве выходного уровня обеспечивает выполнение этого требования.

net = [  featureInputLayer(4,'Normalization','none','Name','state')
         fullyConnectedLayer(3,'Name','fc')
         softmaxLayer('Name','actionProb')  ];

Создать актера с помощью rlStochasticActorRepresentation, используя сеть, объекты наблюдений и спецификации действий, а также имена сетевого входного уровня.

actor = rlStochasticActorRepresentation(net,obsInfo,actInfo,'Observation','state')

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Для проверки актера используйте getAction для возврата случайного действия из вектора наблюдения [1 1 1 1], используя текущие веса сети.

act = getAction(actor,{[1 1 1 1]}); 
act{1}

ans = 10

Теперь можно использовать актера для создания подходящего агента, например, rlACAgent, или rlPGAgent агент.

Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное шестимерное пространство, так что одно наблюдение является вектором-столбцом, содержащим 6 дублей.

obsInfo = rlNumericSpec([6 1]);

Создание объекта спецификации действия (или использование getActionInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство действия как непрерывное двумерное пространство, так что одно действие является вектором-столбцом, содержащим 2 удвоения между -10 и 10.

actInfo = rlNumericSpec([2 1],'LowerLimit',-10,'UpperLimit',10);

Создайте глубокий нейронный сетевой аппроксиматор для актера. Входной сигнал наблюдения (здесь называемый myobs) должен принимать шестимерный вектор (вектор наблюдения, только что определенный obsInfo). Выходные данные (здесь называемые myact) должен быть четырехмерным вектором (в два раза больше числа размеров, определенных actInfo). Элементы выходного вектора последовательно представляют все средства и все стандартные отклонения каждого действия.

Тот факт, что стандартные отклонения должны быть неотрицательными, в то время как средние значения должны находиться в пределах выходного диапазона, означает, что сеть должна иметь два отдельных пути. Первый путь предназначен для средних значений, и любая нелинейность вывода должна быть масштабирована так, чтобы она могла создавать значения в выходном диапазоне. Второй путь предназначен для стандартных отклонений, и для обеспечения неотрицательности можно использовать слой softplus или relu.

% input path layers (6 by 1 input and a 2 by 1 output)
inPath = [ imageInputLayer([6 1 1], 'Normalization','none','Name','myobs') 
           fullyConnectedLayer(2,'Name','infc') ]; % 2 by 1 output

% path layers for mean value (2 by 1 input and 2 by 1 output)
% using scalingLayer to scale the range
meanPath = [ tanhLayer('Name','tanh'); % output range: (-1,1)
             scalingLayer('Name','scale','Scale',actInfo.UpperLimit) ]; % output range: (-10,10)

% path layers for standard deviations (2 by 1 input and output)
% using softplus layer to make it non negative
sdevPath =  softplusLayer('Name', 'splus');

% conctatenate two inputs (along dimension #3) to form a single (4 by 1) output layer
outLayer = concatenationLayer(3,2,'Name','mean&sdev');

% add layers to network object
net = layerGraph(inPath);
net = addLayers(net,meanPath);
net = addLayers(net,sdevPath);
net = addLayers(net,outLayer);

% connect layers: the mean value path output MUST be connected to the FIRST input of the concatenationLayer
net = connectLayers(net,'infc','tanh/in');              % connect output of inPath to meanPath input
net = connectLayers(net,'infc','splus/in');             % connect output of inPath to sdevPath input
net = connectLayers(net,'scale','mean&sdev/in1');       % connect output of meanPath to gaussPars input #1
net = connectLayers(net,'splus','mean&sdev/in2');       % connect output of sdevPath to gaussPars input #2

% plot network
plot(net)

Задайте некоторые варианты обучения для актера.

actorOpts = rlRepresentationOptions('LearnRate',8e-3,'GradientThreshold',1);

Создать актера с помощью rlStochasticActorRepresentation, используя сеть, объекты наблюдений и спецификации действий, имена уровня сетевого ввода и объекта опций.

actor = rlStochasticActorRepresentation(net, obsInfo, actInfo, 'Observation','myobs',actorOpts)

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlNumericSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить актера, используйте getAction для возврата случайного действия из вектора наблюдения ones(6,1), используя текущие веса сети.

act = getAction(actor,{ones(6,1)}); 
act{1}

ans = 2x1 single column vector

   -0.0763
    9.6860

Теперь можно использовать актера для создания подходящего агента (например, rlACAgent, rlPGAgent, или rlPPOAgent агент).

Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащим 2 дубля.

obsInfo = rlNumericSpec([2 1]);

Стохастический актер, основанный на пользовательской базисной функции, не поддерживает непрерывные пространства действий. Поэтому создайте объект спецификации пространства дискретного действия (или используйте getActionInfo для извлечения объекта спецификации из среды с дискретным пространством действий). Для этого примера определите пространство действий как конечное множество, состоящее из 3 возможных значений (с именем 7, 5, и 3 в данном случае).

actInfo = rlFiniteSetSpec([7 5 3]);

Создайте пользовательскую базисную функцию. Каждый элемент является функцией наблюдений, определяемых obsInfo.

myBasisFcn = @(myobs) [myobs(2)^2; myobs(1); exp(myobs(2)); abs(myobs(1))]

myBasisFcn = function_handle with value:
    @(myobs)[myobs(2)^2;myobs(1);exp(myobs(2));abs(myobs(1))]

Выходом актера является действие, среди определенных в actInfo, соответствующий элементу softmax(W'*myBasisFcn(myobs)) которая имеет наибольшее значение. W - весовая матрица, содержащая обучаемые параметры, которая должна иметь столько строк, сколько длина вывода базисной функции, и столько столбцов, сколько возможно действий.

Определите начальную матрицу параметров.

W0 = rand(4,3);

Создайте актера. Первый аргумент представляет собой двухэлементную ячейку, содержащую дескриптор пользовательской функции и матрицу начальных параметров. Второй и третий аргументы являются, соответственно, объектами наблюдения и спецификации действия.

actor = rlStochasticActorRepresentation({myBasisFcn,W0},obsInfo,actInfo)

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить актера, используйте getAction функция для возврата одного из трех возможных действий, в зависимости от заданного случайного наблюдения и матрицы текущих параметров.

v = getAction(actor,{rand(2,1)})

v = 1x1 cell array
    {[3]}

Теперь можно использовать актёра (вместе с критиком) для создания подходящего дискретного агента пространства действия.

В этом примере создается стохастический актер с дискретным пространством действия с помощью рекуррентной нейронной сети. Можно также использовать рецидивирующую нейронную сеть для непрерывного стохастического актёра тем же методом.

Создайте среду и получите информацию о наблюдениях и действиях.

env = rlPredefinedEnv('CartPole-Discrete');
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
numObs = obsInfo.Dimension(1);
numDiscreteAct = numel(actInfo.Elements);

Создать повторяющуюся глубокую нейронную сеть для актера. Чтобы создать рецидивирующую нейронную сеть, используйте sequenceInputLayer в качестве входного уровня и включать, по меньшей мере, один lstmLayer.

actorNetwork = [
    sequenceInputLayer(numObs,'Normalization','none','Name','state')
    fullyConnectedLayer(8,'Name','fc')
    reluLayer('Name','relu')
    lstmLayer(8,'OutputMode','sequence','Name','lstm')
    fullyConnectedLayer(numDiscreteAct,'Name','output')
    softmaxLayer('Name','actionProb')];

Создание стохастического представления актера для сети.

actorOptions = rlRepresentationOptions('LearnRate',1e-3,'GradientThreshold',1);
actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,...
    'Observation','state', actorOptions);