Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство наблюдений как непрерывный четырехмерный пробел, так, чтобы одно наблюдение было вектор-столбцом, содержащим четыре, удваивается.

obsInfo = rlNumericSpec([4 1]);

Создайте объект спецификации действия (или альтернативно используйте getActionInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство действий как состоящий из трех значений,-10, 0, и 10.

actInfo = rlFiniteSetSpec([-10 0 10]);

Создайте аппроксимацию глубокой нейронной сети для агента. Вход сети (здесь названный state) должен принять четырехэлементный вектор (вектор наблюдения, только заданный obsInfo), и его выход (здесь названный actionProb) должен быть трехэлементный вектор. Каждый элемент выходного вектора должен быть между 0 и 1, поскольку это представляет вероятность выполнения каждого из трех возможных действий (как задано actInfo). Используя softmax, когда выходной слой осуществляет это требование.

net = [  featureInputLayer(4,'Normalization','none','Name','state')
         fullyConnectedLayer(3,'Name','fc')
         softmaxLayer('Name','actionProb')  ];

Создайте агента с rlStochasticActorRepresentation, с помощью сети, наблюдений и объектов спецификации действия, а также имен сетевого входного слоя.

actor = rlStochasticActorRepresentation(net,obsInfo,actInfo,'Observation','state')

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы подтвердить вашего агента, используйте getAction возвратить случайное действие в вектор наблюдения [1 1 1 1], использование текущих сетевых весов.

act = getAction(actor,{[1 1 1 1]}); 
act{1}

ans = 10

Можно теперь использовать агента, чтобы создать подходящего агента, такого как rlACAgent, или rlPGAgent агент.

Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство наблюдений как непрерывные шесть мерных пространств, так, чтобы одно наблюдение было вектор-столбцом, содержащим 6, удваивается.

obsInfo = rlNumericSpec([6 1]);

Создайте объект спецификации действия (или альтернативно используйте getActionInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство действий как непрерывное двумерное пространство, так, чтобы одно действие было вектор-столбцом, содержащим 2, удваивает обоих между -10 и 10.

actInfo = rlNumericSpec([2 1],'LowerLimit',-10,'UpperLimit',10);

Создайте аппроксимацию глубокой нейронной сети для агента. Вход наблюдения (здесь названный myobs) должен принять шестимерный вектор (вектор наблюдения, только заданный obsInfo). Выход (здесь названный myact) должен быть четырехмерный вектор (дважды количество размерностей, заданных actInfo). Элементы выходного вектора представляют, в последовательности, всех средних значениях и всех стандартных отклонениях каждого действия.

То, что стандартные отклонения должны быть неотрицательными, в то время как средние значения должны находиться в пределах выходной области значений, означает, что сеть должна иметь два отдельных пути. Первый путь для средних значений, и любая выходная нелинейность должна масштабироваться так, чтобы это могло произвести значения в выходной области значений. Второй путь для стандартных отклонений, и можно использовать softplus или relu слой, чтобы осуществить неотрицательность.

% input path layers (6 by 1 input and a 2 by 1 output)
inPath = [ imageInputLayer([6 1 1], 'Normalization','none','Name','myobs') 
           fullyConnectedLayer(2,'Name','infc') ]; % 2 by 1 output

% path layers for mean value (2 by 1 input and 2 by 1 output)
% using scalingLayer to scale the range
meanPath = [ tanhLayer('Name','tanh'); % output range: (-1,1)
             scalingLayer('Name','scale','Scale',actInfo.UpperLimit) ]; % output range: (-10,10)

% path layers for standard deviations (2 by 1 input and output)
% using softplus layer to make it non negative
sdevPath =  softplusLayer('Name', 'splus');

% conctatenate two inputs (along dimension #3) to form a single (4 by 1) output layer
outLayer = concatenationLayer(3,2,'Name','mean&sdev');

% add layers to network object
net = layerGraph(inPath);
net = addLayers(net,meanPath);
net = addLayers(net,sdevPath);
net = addLayers(net,outLayer);

% connect layers: the mean value path output MUST be connected to the FIRST input of the concatenationLayer
net = connectLayers(net,'infc','tanh/in');              % connect output of inPath to meanPath input
net = connectLayers(net,'infc','splus/in');             % connect output of inPath to sdevPath input
net = connectLayers(net,'scale','mean&sdev/in1');       % connect output of meanPath to gaussPars input #1
net = connectLayers(net,'splus','mean&sdev/in2');       % connect output of sdevPath to gaussPars input #2

% plot network
plot(net)

Установите некоторые опции обучения для агента.

actorOpts = rlRepresentationOptions('LearnRate',8e-3,'GradientThreshold',1);

Создайте агента с rlStochasticActorRepresentation, с помощью сети, наблюдений и объектов спецификации действия, имен сетевого входного слоя и объекта опций.

actor = rlStochasticActorRepresentation(net, obsInfo, actInfo, 'Observation','myobs',actorOpts)

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlNumericSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверять вашего агента, используйте getAction возвратить случайное действие в вектор наблюдения ones(6,1), использование текущих сетевых весов.

act = getAction(actor,{ones(6,1)}); 
act{1}

ans = 2x1 single column vector

   -0.0763
    9.6860

Можно теперь использовать агента, чтобы создать подходящего агента (такого как rlACAgent, rlPGAgent, или rlPPOAgent агент).

Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo чтобы извлечь спецификацию возражают средой). В данном примере задайте пространство наблюдений как непрерывный четырехмерный пробел, так, чтобы одно наблюдение было вектор-столбцом, содержащим 2, удваивается.

obsInfo = rlNumericSpec([2 1]);

Стохастический агент на основе пользовательской основной функции не поддерживает непрерывные пространства действий. Поэтому создайте объект спецификации дискретного пространства действий (или альтернативно используйте getActionInfo чтобы извлечь спецификацию возражают средой с дискретным пространством действий). В данном примере задайте пространство действий как конечное множество, состоящее из 3 возможных значений (названный 7, 5, и 3 в этом случае).

actInfo = rlFiniteSetSpec([7 5 3]);

Создайте пользовательскую основную функцию. Каждым элементом является функция наблюдений, заданных obsInfo.

myBasisFcn = @(myobs) [myobs(2)^2; myobs(1); exp(myobs(2)); abs(myobs(1))]

myBasisFcn = function_handle with value:
    @(myobs)[myobs(2)^2;myobs(1);exp(myobs(2));abs(myobs(1))]

Выход агента является действием среди тех заданных в actInfo, соответствие элементу softmax(W'*myBasisFcn(myobs)) который имеет самое высокое значение. W матрица веса, содержа настраиваемые параметры, которые должны иметь столько же строк сколько продолжительность основной функции выход, и столько же столбцов сколько количество возможных действий.

Задайте начальную матрицу параметра.

W0 = rand(4,3);

Создайте агента. Первый аргумент является двухэлементной ячейкой, содержащей и указатель на пользовательскую функцию и начальную матрицу параметра. Вторые и третьи аргументы являются, соответственно, спецификацией наблюдений и объектами спецификации действия.

actor = rlStochasticActorRepresentation({myBasisFcn,W0},obsInfo,actInfo)

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверять вашего агента используют getAction функционируйте, чтобы возвратить одно из трех возможных действий, в зависимости от данного случайного наблюдения и на текущей матрице параметра.

v = getAction(actor,{rand(2,1)})

v = 1x1 cell array
    {[3]}

Можно теперь использовать агента (вместе с критиком), чтобы создать подходящего агента дискретного пространства действий.

В данном примере вы создаете стохастического агента с дискретным пространством действий с помощью рекуррентной нейронной сети. Можно также использовать рекуррентную нейронную сеть для непрерывного стохастического агента с помощью того же метода.

Создайте среду и получите информацию о наблюдении и действии.

env = rlPredefinedEnv('CartPole-Discrete');
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
numObs = obsInfo.Dimension(1);
numDiscreteAct = numel(actInfo.Elements);

Создайте текущую глубокую нейронную сеть для агента. Чтобы создать рекуррентную нейронную сеть, используйте sequenceInputLayer как входной слой и включают по крайней мере один lstmLayer.

actorNetwork = [
    sequenceInputLayer(numObs,'Normalization','none','Name','state')
    fullyConnectedLayer(8,'Name','fc')
    reluLayer('Name','relu')
    lstmLayer(8,'OutputMode','sequence','Name','lstm')
    fullyConnectedLayer(numDiscreteAct,'Name','output')
    softmaxLayer('Name','actionProb')];

Создайте стохастическое представление актера для сети.

actorOptions = rlRepresentationOptions('LearnRate',1e-3,'GradientThreshold',1);
actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,...
    'Observation','state', actorOptions);