Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором столбца, содержащим четыре двойника.

obsInfo = rlNumericSpec([4 1]);

Создание объекта спецификации действия (или использование getActionInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство действия как непрерывное двумерное пространство, так что одно действие является вектором столбца, содержащим две двойки.

actInfo = rlNumericSpec([2 1]);

Создайте глубокую нейронную сеть для аппроксимации функции Q-значения. Сеть должна иметь два входа, один для наблюдения и один для действия. Входной сигнал наблюдения (здесь называемый myobs) должен принимать четырехэлементный вектор (вектор наблюдения, определенный obsInfo). Ввод действия (здесь называется myact) должен принимать двухэлементный вектор (вектор действия, определенный actInfo). Выход сети должен быть скаляром, представляющим ожидаемое совокупное долгосрочное вознаграждение, когда агент начинает с заданного наблюдения и выполняет заданное действие.

% observation path layers
obsPath = [featureInputLayer(4, 'Normalization','none','Name','myobs') 
    fullyConnectedLayer(1,'Name','obsout')];

% action path layers
actPath = [featureInputLayer(2, 'Normalization','none','Name','myact') 
    fullyConnectedLayer(1,'Name','actout')];

% common path to output layers
comPath = [additionLayer(2,'Name', 'add')  fullyConnectedLayer(1, 'Name', 'output')];

% add layers to network object
net = addLayers(layerGraph(obsPath),actPath); 
net = addLayers(net,comPath);

% connect layers
net = connectLayers(net,'obsout','add/in1');
net = connectLayers(net,'actout','add/in2');

% plot network
plot(net)

Создать критика с помощью rlQValueRepresentation, используя сеть, объекты наблюдений и спецификации действий, а также имена входных слоев сети.

critic = rlQValueRepresentation(net,obsInfo,actInfo, ...
    'Observation',{'myobs'},'Action',{'myact'})

critic = 
  rlQValueRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlNumericSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значения случайного наблюдения и действия с использованием текущих весов сети.

v = getValue(critic,{rand(4,1)},{rand(2,1)})

v = single
    0.1102

Теперь можно использовать критика (вместе с актёром) для создания агента, опирающегося на критика функции Q-value (например, rlQAgent, rlDQNAgent, rlSARSAAgent, или rlDDPGAgent агент).

В этом примере показано, как создать критик функции Q-значения с множеством выходов для пространства дискретного действия с использованием аппроксиматора глубокой нейронной сети.

Этот критик принимает в качестве входных данных только наблюдение и выдает в качестве выходных вектор с максимально возможным количеством элементов. Каждый элемент представляет ожидаемое совокупное долгосрочное вознаграждение, когда агент начинает с данного наблюдения и выполняет действие, соответствующее положению элемента в выходном векторе.

Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором столбца, содержащим четыре двойника.

obsInfo = rlNumericSpec([4 1]);

Создать объект спецификации действия конечного набора (или использовать getActionInfo для извлечения объекта спецификации из среды с дискретным пространством действий). Для этого примера определите пространство действий как конечное множество, состоящее из трех возможных значений (с именем 7, 5, и 3 в данном случае).

actInfo = rlFiniteSetSpec([7 5 3]);

Создайте глубокий аппроксиматор нейронной сети для аппроксимации функции Q-значения внутри критика. Вход сети (здесь называемый myobs) должен принимать четырехэлементный вектор, как определено obsInfo. Выход должен быть одним выходным слоем, имеющим столько элементов, сколько возможно дискретных действий (три в этом случае, как определено actInfo).

net = [featureInputLayer(4,'Normalization','none','Name','myobs') 
       fullyConnectedLayer(3,'Name','value')];

Создайте критика с помощью сети, объекта спецификации наблюдений и имени сетевого входного уровня.

critic = rlQValueRepresentation(net,obsInfo,actInfo,'Observation',{'myobs'})

critic = 
  rlQValueRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значений случайного наблюдения с использованием текущих весов сети. Существует одно значение для каждого из трех возможных действий.

v = getValue(critic,{rand(4,1)})

v = 3x1 single column vector

    0.7232
    0.8177
   -0.2212

Теперь можно использовать критика (вместе с актёром) для создания дискретного агента пространства действия, основанного на критике функции Q-value (например, rlQAgent, rlDQNAgent, или rlSARSAAgent агент).

Создать конечный объект спецификации наблюдения (или использовать getObservationInfo для извлечения объекта спецификации из среды с пространством дискретных наблюдений). В этом примере пространство наблюдения определяется как конечное множество с 4 возможными значениями.

obsInfo = rlFiniteSetSpec([7 5 3 1]);

Создать объект спецификации действия конечного набора (или использовать getActionInfo для извлечения объекта спецификации из среды с дискретным пространством действий). В этом примере пространство действий определяется как конечное множество с 2 возможными значениями.

actInfo = rlFiniteSetSpec([4 8]);

Создайте таблицу для аппроксимации функции значения в критике. rlTable создает объект таблицы значений из объектов спецификаций наблюдения и действий.

qTable = rlTable(obsInfo,actInfo);

В таблице хранится значение (представляющее ожидаемое совокупное долгосрочное вознаграждение) для каждой возможной пары наблюдение-действие. Каждая строка соответствует наблюдению, а каждый столбец - действию. Доступ к таблице можно получить с помощью Table имущества vTable объект. Начальное значение каждого элемента равно нулю.

qTable.Table

ans = 4×2

     0     0
     0     0
     0     0
     0     0

Можно инициализировать таблицу любым значением, в данном случае массивом, содержащим целое число из 1 через 8.

qTable.Table=reshape(1:8,4,2)

qTable = 
  rlTable with properties:

    Table: [4x2 double]

Создайте критика, используя таблицу, а также объекты наблюдений и спецификации действий.

critic = rlQValueRepresentation(qTable,obsInfo,actInfo)

critic = 
  rlQValueRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlFiniteSetSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значения данного наблюдения и действия с использованием текущих записей таблицы.

v = getValue(critic,{5},{8})

v = 6

Теперь можно использовать критика (вместе с актёром) для создания дискретного агента пространства действия, основанного на критике функции Q-value (например, rlQAgent, rlDQNAgent, или rlSARSAAgent агент).

Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащим 3 дубля.

obsInfo = rlNumericSpec([3 1]);

Создание объекта спецификации действия (или использование getActionInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство действия как непрерывное двумерное пространство, так что одно действие является вектором столбца, содержащим 2 двойных значения.

actInfo = rlNumericSpec([2 1]);

Создайте пользовательскую базисную функцию для аппроксимации функции значения в критике. Пользовательская базисная функция должна возвращать вектор столбца. Каждый векторный элемент должен быть функцией наблюдений и действий, соответственно определенных obsInfo и actInfo.

myBasisFcn = @(myobs,myact) [myobs(2)^2; myobs(1)+exp(myact(1)); abs(myact(2)); myobs(3)]

myBasisFcn = function_handle with value:
    @(myobs,myact)[myobs(2)^2;myobs(1)+exp(myact(1));abs(myact(2));myobs(3)]

Выходом критика является скаляр W'*myBasisFcn(myobs,myact), где W - вектор весового столбца, который должен иметь одинаковый размер вывода пользовательской базисной функции. Этот результат является ожидаемым накопленным долгосрочным вознаграждением, когда агент начинает с данного наблюдения и предпринимает наилучшие возможные действия. Элементами W являются обучаемые параметры.

Определите начальный вектор параметра.

W0 = [1;4;4;2];

Создайте критика. Первый аргумент - это двухэлементная ячейка, содержащая как дескриптор пользовательской функции, так и начальный весовой вектор. Второй и третий аргументы являются, соответственно, объектами наблюдения и спецификации действия.

critic = rlQValueRepresentation({myBasisFcn,W0},obsInfo,actInfo)

critic = 
  rlQValueRepresentation with properties:

         ActionInfo: [1×1 rl.util.rlNumericSpec]
    ObservationInfo: [1×1 rl.util.rlNumericSpec]
            Options: [1×1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значения данной пары наблюдение-действие с использованием вектора текущего параметра.

v = getValue(critic,{[1 2 3]'},{[4 5]'})

v = 
  1×1 dlarray

  252.3926

Теперь можно использовать критика (вместе с актёром) для создания агента, опирающегося на критика функции Q-value (например, rlQAgent, rlDQNAgent, rlSARSAAgent, или rlDDPGAgent агент).

В этом примере показано, как создать критик функции Q-значения с несколькими выходами для пространства дискретных действий с использованием аппроксиматора пользовательской базисной функции.

Этот критик принимает в качестве входных данных только наблюдение и выдает в качестве выходных вектор с максимально возможным количеством элементов. Каждый элемент представляет ожидаемое совокупное долгосрочное вознаграждение, когда агент начинает с данного наблюдения и выполняет действие, соответствующее положению элемента в выходном векторе.

Создание объекта спецификации наблюдения (или использование getObservationInfo для извлечения объекта спецификации из среды). Для этого примера определите пространство наблюдения как непрерывное четырехмерное пространство, так что одно наблюдение является вектором-столбцом, содержащим 2 дубля.

obsInfo = rlNumericSpec([2 1]);

Создать объект спецификации действия конечного набора (или использовать getActionInfo для извлечения объекта спецификации из среды с дискретным пространством действий). Для этого примера определите пространство действий как конечное множество, состоящее из 3 возможных значений (с именем 7, 5, и 3 в данном случае).

actInfo = rlFiniteSetSpec([7 5 3]);

Создайте пользовательскую базисную функцию для аппроксимации функции значения в критике. Пользовательская базисная функция должна возвращать вектор столбца. Каждый векторный элемент должен быть функцией наблюдений, определенных obsInfo.

myBasisFcn = @(myobs) [myobs(2)^2; myobs(1); exp(myobs(2)); abs(myobs(1))]

myBasisFcn = function_handle with value:
    @(myobs)[myobs(2)^2;myobs(1);exp(myobs(2));abs(myobs(1))]

Выходом критика является вектор c = W'*myBasisFcn(myobs), где W - весовая матрица, которая должна иметь столько строк, сколько длина вывода базисной функции, и столько столбцов, сколько возможно действий.

Каждый элемент с является ожидаемым накопленным долгосрочным вознаграждением, когда агент начинается с данного наблюдения и принимает действие, соответствующее положению рассматриваемого элемента. Элементами W являются обучаемые параметры.

Определите начальную матрицу параметров.

W0 = rand(4,3);

Создайте критика. Первый аргумент представляет собой двухэлементную ячейку, содержащую дескриптор пользовательской функции и матрицу начальных параметров. Второй и третий аргументы являются, соответственно, объектами наблюдения и спецификации действия.

critic = rlQValueRepresentation({myBasisFcn,W0},obsInfo,actInfo)

critic = 
  rlQValueRepresentation with properties:

         ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
    ObservationInfo: [1x1 rl.util.rlNumericSpec]
            Options: [1x1 rl.option.rlRepresentationOptions]

Чтобы проверить критика, используйте getValue функция для возврата значений случайного наблюдения с использованием матрицы текущих параметров. Обратите внимание, что существует одно значение для каждого из трех возможных действий.

v = getValue(critic,{rand(2,1)})

v = 
  3x1 dlarray

    2.1395
    1.2183
    2.3342

Теперь можно использовать критика (вместе с актёром) для создания дискретного агента пространства действия, основанного на критике функции Q-value (например, rlQAgent, rlDQNAgent, или rlSARSAAgent агент).

Создайте среду и получите информацию о наблюдениях и действиях.

env = rlPredefinedEnv('CartPole-Discrete');
obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
numObs = obsInfo.Dimension(1);
numDiscreteAct = numel(actInfo.Elements);

Создайте повторяющуюся глубокую нейронную сеть для вашего критика. Чтобы создать рецидивирующую нейронную сеть, используйте sequenceInputLayer в качестве входного уровня и включать, по меньшей мере, один lstmLayer.

Создайте повторяющуюся нейронную сеть для представления функции Q-значения с множеством выходов.

criticNetwork = [
    sequenceInputLayer(numObs,'Normalization','none','Name','state')
    fullyConnectedLayer(50, 'Name', 'CriticStateFC1')
    reluLayer('Name','CriticRelu1')
    lstmLayer(20,'OutputMode','sequence','Name','CriticLSTM');
    fullyConnectedLayer(20,'Name','CriticStateFC2')
    reluLayer('Name','CriticRelu2')
    fullyConnectedLayer(numDiscreteAct,'Name','output')];

Создайте представление для критика, используя повторяющуюся нейронную сеть.

criticOptions = rlRepresentationOptions('LearnRate',1e-3,'GradientThreshold',1);
critic = rlQValueRepresentation(criticNetwork,obsInfo,actInfo,...
    'Observation','state',criticOptions);