Exponenta Banner
exponenta event banner

rlTable

Таблица значений или таблица Q

развернуть все на странице

Описание

Таблицы значений и таблицы Q являются одним из способов представления критических сетей для обучения усилению. В таблицах значений хранятся вознаграждения за ограниченный набор наблюдений. В таблицах Q хранятся вознаграждения для соответствующих пар конечное наблюдение-действие.

Создание представления функции значения с помощью rlTable объект, используйте rlValueRepresentation или rlQValueRepresentation объект.

Создание

Синтаксис

T = rlТаблица (obsinfo)
T = rlТаблица (obsinfo, actinfo)

Описание

пример

T = rlTable(obsinfo) создает таблицу значений для данных дискретных наблюдений.

пример

T = rlTable(obsinfo,actinfo) создает таблицу Q для данных дискретных наблюдений и действий.

Входные аргументы

развернуть все

Спецификация наблюдения, указанная как rlFiniteSetSpec объект.

Спецификация действия, указанная как rlFiniteSetSpec объект.

Свойства

развернуть все

Таблица вознаграждений, возвращенная в виде массива. Когда Table является:

  • Таблица значений содержит строки NO, где NO - количество конечных значений наблюдения.

  • Таблица Q содержит строки NO и столбцы NA, где NA - количество возможных конечных действий.

Функции объекта

rlValueRepresentationКритическое представление функции оценки для агентов обучения по усилению
rlQValueRepresentation Критическое представление функции Q-Value для агентов обучения усиления

Примеры

свернуть все

Открыть сценарий в реальном времени

В этом примере показано, как использовать rlTable для создания таблицы значений. Такую таблицу можно использовать для представления критика актёра-агента-критика с конечным пространством наблюдения.

Создайте интерфейс среды и получите его спецификации наблюдения.

env = rlPredefinedEnv("BasicGridWorld");
obsInfo = getObservationInfo(env)
obsInfo = 
  rlFiniteSetSpec with properties:

       Elements: [25x1 double]
           Name: "MDP Observations"
    Description: [0x0 string]
      Dimension: [1 1]
       DataType: "double"

Создайте таблицу значений с помощью спецификации наблюдения.

vTable = rlTable(obsInfo)
vTable = 
  rlTable with properties:

    Table: [25x1 double]
Открыть сценарий в реальном времени

В этом примере показано, как использовать rlTable для создания таблицы Q. Такая таблица может использоваться для представления актера или критика агента с конечными пространствами наблюдения и действия.

Создайте интерфейс среды и получите его спецификации наблюдения и действий.

env=rlMDPEnv(createMDP(8,["up";"down"]));
obsInfo = getObservationInfo(env)
obsInfo = 
  rlFiniteSetSpec with properties:

       Elements: [8x1 double]
           Name: "MDP Observations"
    Description: [0x0 string]
      Dimension: [1 1]
       DataType: "double"


actInfo = getActionInfo(env)
actInfo = 
  rlFiniteSetSpec with properties:

       Elements: [2x1 double]
           Name: "MDP Actions"
    Description: [0x0 string]
      Dimension: [1 1]
       DataType: "double"

Создайте таблицу Q, используя спецификации наблюдения и действий.

qTable = rlTable(obsInfo,actInfo)
qTable = 
  rlTable with properties:

    Table: [8x2 double]

См. также

Темы

Представлен в R2019a

Документация по инструментам обучения для усиления

Поддержка