Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащим 4 дубля.

obsInfo = rlNumericSpec([4 1]);

Создайте глубокую нейронную сеть для аппроксимации функции значения внутри критика. Вход сети (здесь называемый myobs) должен принимать четырехэлементный вектор (вектор наблюдения, определенный obsInfo), и выход должен быть скаляром (значение, представляющее ожидаемое совокупное долгосрочное вознаграждение, когда агент начинается с данного наблюдения).

net = [featureInputLayer(4, 'Normalization','none','Name','myobs') 
       fullyConnectedLayer(1,'Name','value')];

Создайте критика, используя сеть, объект спецификации наблюдения и имя сетевого входного уровня.

critic = rlValueRepresentation(net,obsInfo,'Observation',{'myobs'})

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значения случайного наблюдения с использованием текущих весов сети.

v = getValue(critic,{rand(4,1)})

v = single
    0.7904

Теперь можно использовать критика (вместе с актером) для создания агента, опирающегося на критика функции значения (например, rlACAgent или rlPGAgent).

Создайте представление актера и представление критика, которое можно использовать для определения агента обучения усилению, такого как агент критика актера (AC).

Для этого примера создайте представления актера и критика для агента, который может быть обучен работе с средой тележек, описанной в документе Train AC Agent to Balance Cart-Pole System. Сначала создайте среду. Затем извлеките спецификации наблюдения и действий из среды. Эти спецификации необходимы для определения представлений агента и критика.

env = rlPredefinedEnv("CartPole-Discrete");
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);

Для критиков state-value-function, таких как используемые для агентов AC или PG, входами являются наблюдения, а выходом должно быть скалярное значение, значение состояния. Для этого примера создайте критическое представление с помощью глубокой нейронной сети с одним выходом и с сигналами наблюдения, соответствующими x, xdot, theta, и thetadot как описано в документе «Подготовка агента переменного тока к балансированию системы тележек-полюсов». Количество наблюдений можно получить из obsInfo спецификация. Присвойте имя входному сигналу сетевого уровня 'observation'.

numObservation = obsInfo.Dimension(1);
criticNetwork = [
    featureInputLayer(numObservation,'Normalization','none','Name','observation')
    fullyConnectedLayer(1,'Name','CriticFC')];

Укажите параметры критического представления с помощью rlRepresentationOptions. Эти опции управляют изучением параметров сети критиков. Для этого примера установите коэффициент обучения 0,05, а порог градиента - 1.

repOpts = rlRepresentationOptions('LearnRate',5e-2,'GradientThreshold',1);

Создайте критическое представление, используя указанную нейронную сеть и опции. Также укажите для критика информацию о действиях и наблюдениях. Задайте для имени наблюдения значение 'observation', который является из criticNetwork входной слой.

critic = rlValueRepresentation(criticNetwork,obsInfo,'Observation',{'observation'},repOpts)

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Аналогично, создайте сеть для актера. Агент AC решает, какое действие следует предпринять для данных наблюдений, используя представление актера. Для актера входами являются наблюдения, а выход зависит от того, является ли пространство действия дискретным или непрерывным. Для актёра этого примера существует два возможных дискретных действия, -10 или 10. Чтобы создать актера, используйте глубокую нейронную сеть с тем же входом наблюдения, что и критик, которая может вывести эти два значения. Вы можете получить количество действий из actInfo спецификация. Назовите выходные данные 'action'.

numAction = numel(actInfo.Elements); 
actorNetwork = [
    featureInputLayer(numObservation,'Normalization','none','Name','observation')
    fullyConnectedLayer(numAction,'Name','action')];

Создайте представление актера, используя имя и спецификацию наблюдения и те же опции представления.

actor = rlStochasticActorRepresentation(actorNetwork,obsInfo,actInfo,...
    'Observation',{'observation'},repOpts)

actor = 
  rlStochasticActorRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Создайте агент AC, используя представление актера и критика.

agentOpts = rlACAgentOptions(...
    'NumStepsToLookAhead',32,...
    'DiscountFactor',0.99);
agent = rlACAgent(actor,critic,agentOpts)

agent = 
  rlACAgent with properties:

    AgentOptions: [1x1 rl.option.rlACAgentOptions]

Дополнительные примеры создания представлений актера и критика для различных типов агентов см. в разделе:

Создать конечный объект спецификации наблюдения (или использовать getObservationInfo для извлечения объекта спецификации из среды с пространством дискретных наблюдений). Для этого примера определите пространство наблюдения как конечное множество, состоящее из 4 возможных значений.

obsInfo = rlFiniteSetSpec([1 3 5 7]);

Создайте таблицу для аппроксимации функции значения в критике.

vTable = rlTable(obsInfo);

Таблица представляет собой вектор столбца, в котором каждая запись хранит ожидаемое совокупное долгосрочное вознаграждение для каждого возможного наблюдения, как определено obsInfo. Доступ к таблице можно получить с помощью Table имущества vTable объект. Начальное значение каждого элемента равно нулю.

vTable.Table

ans = 4×1

     0
     0
     0
     0

Можно также инициализировать таблицу для любого значения, в этом случае массив, содержащий все целые числа из 1 кому 4.

vTable.Table = reshape(1:4,4,1)

vTable = 
  rlTable with properties:

    Table: [4x1 double]

Создайте критика с помощью таблицы и объекта спецификации наблюдения.

critic = rlValueRepresentation(vTable,obsInfo)

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlFiniteSetSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значения данного наблюдения с использованием текущих записей таблицы.

v = getValue(critic,{7})

v = 4

Теперь можно использовать критика (вместе с актером) для создания агента, опирающегося на критика функции значения (например, rlACAgent или rlPGAgent agent).

Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащим 4 дубля.

obsInfo = rlNumericSpec([4 1]);

Создайте пользовательскую базисную функцию для аппроксимации функции значения в критике. Пользовательская базисная функция должна возвращать вектор столбца. Каждый векторный элемент должен быть функцией наблюдений, определенных obsInfo.

myBasisFcn = @(myobs) [myobs(2)^2; myobs(3)+exp(myobs(1)); abs(myobs(4))]

myBasisFcn = function_handle with value:
    @(myobs)[myobs(2)^2;myobs(3)+exp(myobs(1));abs(myobs(4))]

Выходом критика является скаляр W'*myBasisFcn(myobs), где W - вектор весового столбца, который должен иметь одинаковый размер вывода пользовательской базисной функции. Этот результат является ожидаемым накопленным долгосрочным вознаграждением, когда агент начинает с данного наблюдения и предпринимает наилучшие возможные действия. Элементами W являются обучаемые параметры.

Определите начальный вектор параметра.

W0 = [3;5;2];

Создайте критика. Первый аргумент - это двухэлементная ячейка, содержащая как дескриптор пользовательской функции, так и начальный весовой вектор. Вторым аргументом является объект спецификации наблюдения.

critic = rlValueRepresentation({myBasisFcn,W0},obsInfo)

critic = 
  rlValueRepresentation with properties:

    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значения данного наблюдения с использованием вектора текущего параметра.

v = getValue(critic,{[2 4 6 8]'})

v = 
  1x1 dlarray

  130.9453

Теперь можно использовать критика (вместе с актером) для создания агента, опирающегося на критика функции значения (например, rlACAgent или rlPGAgent).

Создайте среду и получите информацию о наблюдениях и действиях.

env = rlPredefinedEnv('CartPole-Discrete');
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
numObs = obsInfo.Dimension(1);
numDiscreteAct = numel(actInfo.Elements);

Создайте повторяющуюся глубокую нейронную сеть для критика. Чтобы создать рецидивирующую нейронную сеть, используйте sequenceInputLayer в качестве входного уровня и включать, по меньшей мере, один lstmLayer.

criticNetwork = [
    sequenceInputLayer(numObs,'Normalization','none','Name','state')
    fullyConnectedLayer(8, 'Name','fc')
    reluLayer('Name','relu')
    lstmLayer(8,'OutputMode','sequence','Name','lstm')
    fullyConnectedLayer(1,'Name','output')];

Создайте объект представления функции значения для критика.

criticOptions = rlRepresentationOptions('LearnRate',1e-2,'GradientThreshold',1);
critic = rlValueRepresentation(criticNetwork,obsInfo,...
    'Observation','state',criticOptions);