Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo для извлечения объекта спецификации из окружения). В данном примере задайте пространство наблюдений как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащей 4 двойных.

obsInfo = rlNumericSpec([4 1]);

Создайте глубокую нейронную сеть, чтобы аппроксимировать функцию ценности внутри критика. Вход сети (здесь называется myobs) должен принять вектор с четырьмя элементами (вектор наблюдения, заданный как obsInfo), и выход должен быть скаляром (значение, представляющее ожидаемое совокупное долгосрочное вознаграждение, когда агент начинает с заданного наблюдения).

net = [featureInputLayer(4, 'Normalization','none','Name','myobs') 
       fullyConnectedLayer(1,'Name','value')];

Создайте критика, используя сеть, объект спецификации наблюдений и имя входного слоя сети.

critic = rlValueRepresentation(net,obsInfo,'Observation',{'myobs'})

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить своего критика, используйте getValue функция для возврата значения случайного наблюдения с использованием текущих весов сети.

v = getValue(critic,{rand(4,1)})

v = single
    0.7904

Теперь можно использовать критика (наряду с актером), чтобы создать агента, полагающегося на функцию ценности критика (такого как rlACAgent или rlPGAgent).

Создайте представление актера и представление критика, которое можно использовать, чтобы задать агента обучения с подкреплением, такого как агент критика актёра (AC).

В данном примере создайте представления актёра и критика для агента, который может быть обучен против тележки с шестом, окружением описано в Train AC Agent для балансировки системы тележки с шестом. Во-первых, создайте окружение. Затем извлеките наблюдения и спецификации действия из окружения. Вам нужны эти спецификации, чтобы задать представления агента и критика.

env = rlPredefinedEnv("CartPole-Discrete");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);

Для критика функции значения состояния, такого как используемые для агентов AC или PG, входами являются наблюдения, и выход должен быть скалярным значением, значением состояния. В данном примере создайте представление критика с помощью глубокой нейронной сети с одним выходом и с сигналами наблюдения, соответствующими x, xdot, theta, и thetadot как описано в Train AC Agent для балансировки тележки с шестом. Можно получить количество наблюдений от obsInfo спецификация. Назовите входной параметр слоя сети 'observation'.

numObservation = obsInfo.Dimension(1);
criticNetwork = [
    featureInputLayer(numObservation,'Normalization','none','Name','observation')
    fullyConnectedLayer(1,'Name','CriticFC')];

Задайте опции для представления критика используя rlRepresentationOptions. Эти опции управляют обучением параметров сети критика. В данном примере установите скорость обучения равной 0,05, а градиентный порог равным 1.

repOpts = rlRepresentationOptions('LearnRate',5e-2,'GradientThreshold',1);

Создайте представление критика с помощью заданной нейронной сети и опций. Также укажите информацию о действии и наблюдении для критика. Установите имя наблюдения равным 'observation', который является частью criticNetwork входной слой.

critic = rlValueRepresentation(criticNetwork,obsInfo,'Observation',{'observation'},repOpts)

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Точно так же создайте сеть для актёра. Агент AC решает, какое действие взять заданные наблюдения с помощью представления актера. Для актёра входами являются наблюдения, и выход зависит от того, дискретно ли пространство действий или непрерывно. Для актёра этого примера существует два возможных дискретных действия, -10 или 10. Чтобы создать актёра, используйте глубокую нейронную сеть с тем же входом наблюдений, что и критик, которая может вывести эти два значения. Вы можете получить количество действий от actInfo спецификация. Назовите выходной 'action'.

numAction = numel(actInfo.Elements); 
actorNetwork = [
    featureInputLayer(numObservation,'Normalization','none','Name','observation')
    fullyConnectedLayer(numAction,'Name','action')];

Создайте представление актера с помощью имени наблюдения и спецификации и тех же опций представления.

actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,...
    'Observation',{'observation'},repOpts)

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Создайте агента AC, используя представления актёра и критика.

agentOpts = rlACAgentOptions(...
    'NumStepsToLookAhead',32,...
    'DiscountFactor',0.99);
agent = rlACAgent(actor,critic,agentOpts)

agent = 
  rlACAgent with properties:

    AgentOptions: [1x1 rl.option.rlACAgentOptions]

Для дополнительных примеров, показывающих, как создать представления актёра и критика для различных типов агентов, смотрите:

Создайте объект спецификации наблюдений конечного набора (или альтернативно используйте getObservationInfo извлечь объект спецификации из окружения с дискретным пространством наблюдений). В данном примере задайте пространство наблюдений как конечное множество, состоящее из 4 возможных значений.

obsInfo = rlFiniteSetSpec([1 3 5 7]);

Создайте таблицу, чтобы аппроксимировать функцию ценности в критике.

vTable = rlTable(obsInfo);

Таблица является вектором-столбцом, в которой каждая запись сохраняет ожидаемое совокупное долгосрочное вознаграждение для каждого возможного наблюдения, как определено obsInfo. Вы можете получить доступ к таблице с помощью Table свойство vTable объект. Начальное значение каждого элемента равняется нулю.

vTable.Table

ans = 4×1

     0
     0
     0
     0

Можно также инициализировать таблицу в любое значение, в этом случае массив, содержащий все целые числа от 1 на 4.

vTable.Table = reshape(1:4,4,1)

vTable = 
  rlTable with properties:

    Table: [4x1 double]

Создайте критика, используя таблицу и объект спецификации наблюдений.

critic = rlValueRepresentation(vTable,obsInfo)

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlFiniteSetSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить своего критика, используйте getValue функция для возврата значения заданного наблюдения с помощью текущих записей таблицы.

v = getValue(critic,{7})

v = 4

Теперь можно использовать критика (наряду с актером), чтобы создать агента, полагающегося на функцию ценности критика (такого как rlACAgent или rlPGAgent agent).

Создайте объект спецификации наблюдений (или альтернативно используйте getObservationInfo для извлечения объекта спецификации из окружения). В данном примере задайте пространство наблюдений как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащей 4 двойных.

obsInfo = rlNumericSpec([4 1]);

Создайте пользовательскую функцию базиса, чтобы аппроксимировать функцию ценности в критике. Функция пользовательского базиса должна вернуть вектор-столбец. Каждый векторный элемент должен быть функцией наблюдений, заданных obsInfo.

myBasisFcn = @(myobs) [myobs(2)^2; myobs(3)+exp(myobs(1)); abs(myobs(4))]

myBasisFcn = function_handle with value:
    @(myobs)[myobs(2)^2;myobs(3)+exp(myobs(1));abs(myobs(4))]

Выходом критика является скаляр W'*myBasisFcn(myobs), где W - вектор-столбец веса, который должен иметь тот же размер пользовательского базиса выхода функции. Этот выход является ожидаемым совокупным долгосрочным вознаграждением, когда агент начинает с заданного наблюдения и принимает лучшее возможное действие. Элементы W являются настраиваемыми параметрами.

Задайте вектор начального параметра.

W0 = [3;5;2];

Создайте критика. Первый аргумент является двухэлементной камерой, содержащим как указатель на пользовательскую функцию, так и начальный вектор веса. Вторым аргументом является объект спецификации наблюдений.

critic = rlValueRepresentation({myBasisFcn,W0},obsInfo)

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить своего критика, используйте getValue функция, чтобы вернуть значение заданного наблюдения, используя вектор текущего параметра.

v = getValue(critic,{[2 4 6 8]'})

v = 
  1x1 dlarray

  130.9453

Теперь можно использовать критика (наряду с актером), чтобы создать агента, полагающегося на функцию ценности критика (например rlACAgent или rlPGAgent).

Создайте окружение и получите информацию о наблюдении и действии.

env = rlPredefinedEnv('CartPole-Discrete');
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
numObs = obsInfo.Dimension(1);
numDiscreteAct = numel(actInfo.Elements);

Создайте рецидивирующую глубокую нейронную сеть для критика. Чтобы создать рекуррентную нейронную сеть, используйте sequenceInputLayer в качестве входа слоя и включать, по меньшей мере, один lstmLayer.

criticNetwork = [
    sequenceInputLayer(numObs,'Normalization','none','Name','state')
    fullyConnectedLayer(8, 'Name','fc')
    reluLayer('Name','relu')
    lstmLayer(8,'OutputMode','sequence','Name','lstm')
    fullyConnectedLayer(1,'Name','output')];

Создайте объект представления функции ценности для критика.

criticOptions = rlRepresentationOptions('LearnRate',1e-2,'GradientThreshold',1);
critic = rlValueRepresentation(criticNetwork,obsInfo,...
    'Observation','state',criticOptions);