Документация

Размеры сетки, отображаемые в виде массива m-by-n. Здесь m представляет количество строк сетки, а n - количество столбцов сетки.

Имя текущего состояния агента, указанное как строка. Это свойство можно использовать для установки начального состояния агента. Агент всегда начинается с ячейки [1,1] по умолчанию.

Агент начинается с CurrentState после использования функции сброса в rlMDPEnv объект среды.

Строковый вектор, содержащий имена состояний сеточного мира. Например, для модели мира сетки 2 на 2 GW, укажите следующее:

GW.States = ["[1,1]";
             "[2,1]";
             "[1,2]";
             "[2,2]"];

Строковый вектор, содержащий список возможных действий, которые может использовать агент. Можно задать действия при создании модели мира сетки с помощью moves аргумент:

GW = createGridWorld(m,n,moves)

Определить moves как либо 'Standard' или 'Kings'.

Матрица перехода состояния, заданная как массив 3-D. T - матрица вероятности, указывающая вероятность перехода агента из текущего состояния s в любое возможное следующее состояние s' путем выполнения действия a.

T может быть обозначен как

Например, рассмотрим детерминированный объект мира сетки 5 на 5 GW с агентом в ячейке [3,1]. Просмотрите матрицу перехода состояния для северного направления.

northStateTransition = GW.T(:,:,1)

На приведенном выше рисунке указано значение northStateTransition(3,2) равно 1, так как агент перемещается из ячейки [3,1] к клетке [2,1] с действием 'N'. Вероятность 1 указывает на то, что из данного состояния, если агент идет на север, он имеет 100% вероятность перемещения одной ячейки на север по сетке. Пример настройки матрицы перехода состояний см. в разделе Подготовка агента обучения усилению в Basic Grid World.

Матрица перехода вознаграждения, заданная как массив 3-D. R определяет, сколько вознаграждения получает агент после выполнения действия в среде. R имеет ту же форму и размер, что и матрица перехода состояния T.

Матрица перехода вознаграждения R может быть обозначен как

Настроить R такой, чтобы была награда агенту после каждого действия. Например, можно настроить положительное вознаграждение, если агент переходит в состояние препятствия и когда он достигает состояния терминала. Можно также настроить вознаграждение по умолчанию -11 для всех действий, выполняемых агентом, независимо от текущего состояния и следующего состояния. Пример настройки матрицы перехода вознаграждения см. в разделе Обучение агента обучения усилению в Basic Grid World.

ObstacleStates - это состояния, которые не могут быть достигнуты в сетке, указанной как строковый вектор. Рассмотрим следующую модель мира сетки 5 на 5 GW.

Черные ячейки являются состояниями препятствий, и их можно задать с помощью следующего синтаксиса:

GW.ObstacleStates = ["[3,3]";"[3,4]";"[3,5]";"[4,3]"];

Пример рабочего процесса см. в разделе Подготовка агента обучения усилению в Basic Grid World.

TerminalStates являются конечными состояниями в сеточном мире, заданными как строковый вектор. Рассмотрим предыдущую модель мира сетки 5 на 5 GW. Синяя ячейка является состоянием клеммы и ее можно указать следующим образом:

GW.TerminalStates = "[5,5]";

Пример рабочего процесса см. в разделе Подготовка агента обучения усилению в Basic Grid World.