Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство наблюдений как непрерывный четырехмерный пробел, так, чтобы одно наблюдение было вектор-столбцом, содержащим четыре, удваивается.

obsInfo = rlNumericSpec([4 1]);

Создайте объект спецификации действия (или альтернативно используйте getActionInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство действий как состоящий из трех значений,-10, 0, и 10.

actInfo = rlFiniteSetSpec([-10 0 10]);

Создайте аппроксимацию глубокой нейронной сети для агента. Вход сети (здесь названный state) должен принять четырехмерный вектор (вектор наблюдения, только заданный obsInfo), и его выход (здесь названный actionProb) должен быть 3D вектор. Каждый элемент выходного вектора должен быть между 0 и 1, поскольку это представляет вероятность выполнения каждого из трех возможных действий (как задано actInfo). Используя softmax, когда выходной слой осуществляет это требование.

net = [  imageInputLayer([4 1 1], 'Normalization', 'none', 'Name', 'state')
         fullyConnectedLayer(3, 'Name', 'fc')
         softmaxLayer('Name','actionProb')  ];

Создайте агента с rlStochasticActorRepresentation, с помощью сети, наблюдений и объектов спецификации действия, а также имен сетевого входного слоя.

actor = rlStochasticActorRepresentation(net, obsInfo, actInfo, 'Observation','state')

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы подтвердить вашего агента, используйте getAction возвратить случайное действие в вектор наблюдения [1 1 1 1], использование текущих сетевых весов.

act = getAction(actor,{[1 1 1 1]}); 
act{1}

ans = 10

Можно теперь использовать агента, чтобы создать подходящего агента, такого как rlACAgent, или rlPGAgent агент.

Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство наблюдений как непрерывный четырехмерный пробел, так, чтобы одно наблюдение было вектор-столбцом, содержащим 6, удваивается.

obsInfo = rlNumericSpec([6 1]);

Создайте объект спецификации действия (или альтернативно используйте getActionInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство действий как непрерывное двумерное пространство, так, чтобы одно действие было вектор-столбцом, содержащим 2, удваивает обоих между -10 и 10.

actInfo = rlNumericSpec([2 1],'LowerLimit',-10,'UpperLimit',10);

Создайте аппроксимацию глубокой нейронной сети для агента. Вход наблюдения (здесь названный myobs) должен принять шестимерный вектор (вектор наблюдения, только заданный obsInfo). Выход (здесь названный myact) должен быть четырехмерный вектор (дважды количество размерностей, заданных actInfo). Элементы выходного вектора представляют, в последовательности, всех средних значениях и всех отклонениях каждого действия. Сеть имеет один путь для среднего значения (который масштабируется к выходной области значений), и другой путь для отклонения (где softplus слой осуществляет неотрицательность).

% observation path layers (6 by 1 input and a 2 by 1 output)
inPath = [ imageInputLayer([6 1 1], 'Normalization','none','Name','myobs') 
           fullyConnectedLayer(2,'Name','infc') ];

% path layers for mean value (2 by 1 input and 2 by 1 output)
% using scalingLayer to scale the range
meanPath = [ tanhLayer('Name','tanh'); 
             scalingLayer('Name','scale','Scale',actInfo.UpperLimit) ];

% path layers for variance (2 by 1 input and output)
% using softplus layer to make it non negative)
variancePath =  softplusLayer('Name', 'splus');

% conctatenate two inputs (along dimension #3) to form a single (4 by 1) output layer
outLayer = concatenationLayer(3,2,'Name','gaussPars');

% add layers to network object
net = layerGraph(inPath);
net = addLayers(net,meanPath);
net = addLayers(net,variancePath);
net = addLayers(net,outLayer);

% connect layers
net = connectLayers(net,'infc','tanh/in');              % connect output of inPath to meanPath input
net = connectLayers(net,'infc','splus/in');             % connect output of inPath to variancePath input
net = connectLayers(net,'scale','gaussPars/in1');       % connect output of meanPath to gaussPars input #1
net = connectLayers(net,'splus','gaussPars/in2');       % connect output of variancePath to gaussPars input #2

% plot network (the output obtained by concatenation is a 2+2 
plot(net)

Создайте агента с rlStochasticActorRepresentation, с помощью сети, наблюдений и объектов спецификации действия, а также имен сетевого входного слоя.

actor = rlStochasticActorRepresentation(net, obsInfo, actInfo, 'Observation','myobs')

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlNumericSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверять вашего агента, используйте getAction возвратить случайное действие в вектор наблюдения ones(6,1), использование текущих сетевых весов.

act = getAction(actor,{ones(6,1)}); 
act{1}

ans = 2x1 single column vector

   -0.0763
    9.6860

Можно теперь использовать агента, чтобы создать подходящего агента (такого как rlACAgent, или rlPGAgent агент)

Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство наблюдений как непрерывный четырехмерный пробел, так, чтобы одно наблюдение было вектор-столбцом, содержащим 2, удваивается.

obsInfo = rlNumericSpec([2 1]);

Стохастический агент на основе пользовательской основной функции не поддерживает непрерывные пространства действий. Поэтому создайте объект спецификации дискретного пространства действий (или альтернативно используйте getActionInfo чтобы извлечь спецификацию возражают средой с дискретным пространством действий). В данном примере задайте пространство действий как конечное множество, состоящее из 3 возможных значений (названный 7, 5, и 3 в этом случае).

actInfo = rlFiniteSetSpec([7 5 3]);

Создайте пользовательскую основную функцию. Каждым элементом является функция наблюдений, заданных obsInfo.

myBasisFcn = @(myobs) [myobs(2)^2; myobs(1); exp(myobs(2)); abs(myobs(1))]

myBasisFcn = function_handle with value:
    @(myobs)[myobs(2)^2;myobs(1);exp(myobs(2));abs(myobs(1))]

Выход агента является действием среди тех заданных в actInfo, соответствие элементу softmax(W'*myBasisFcn(myobs)) который имеет самое высокое значение. W матрица веса, содержа настраиваемые параметры, которые должны иметь столько же строк сколько продолжительность основной функции выход, и столько же столбцов сколько количество возможных действий.

Задайте начальную матрицу параметра.

W0 = rand(4,3);

Создайте агента. Первый аргумент является двухэлементной ячейкой, содержащей и указатель на пользовательскую функцию и начальную матрицу параметра. Вторые и третьи аргументы являются, соответственно, спецификацией наблюдений и объектами спецификации действия.

actor = rlStochasticActorRepresentation({myBasisFcn,W0},obsInfo,actInfo)

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1×1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1×1 rl.util.rlNumericSpec]
            Options: [1×1 rl.option.rlRepresentationOptions]

Чтобы проверять вашего агента используют getAction функционируйте, чтобы возвратить одно из трех возможных действий, в зависимости от данного случайного наблюдения и на текущей матрице параметра.

v = getAction(actor,{rand(2,1)})

v = 1×1 cell array
    {[7]}

Можно теперь использовать агента (вместе с критиком), чтобы создать подходящего агента дискретного пространства действий.

В данном примере вы создаете стохастического агента с дискретным пространством действий с помощью рекуррентной нейронной сети. Можно также использовать рекуррентную нейронную сеть в непрерывном стохастическом агенте с помощью того же метода.

Создайте среду и получите информацию о наблюдении и действии.

env = rlPredefinedEnv('CartPole-Discrete');
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
numObs = obsInfo.Dimension(1);
numDiscreteAct = numel(actInfo.Elements);

Создайте текущую глубокую нейронную сеть для агента. Чтобы создать рекуррентную нейронную сеть, используйте sequenceInputLayer как входной слой и включают по крайней мере один lstmLayer.

actorNetwork = [
    sequenceInputLayer(numObs,'Normalization','none','Name','state')
    fullyConnectedLayer(8,'Name','fc')
    reluLayer('Name','relu')
    lstmLayer(8,'OutputMode','sequence','Name','lstm')
    fullyConnectedLayer(numDiscreteAct,'Name','output')
    softmaxLayer('Name','actionProb')];

Создайте стохастическое представление актера для сети.

actorOptions = rlRepresentationOptions('LearnRate',1e-3,'GradientThreshold',1);
actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,...
    'Observation','state', actorOptions);