Создайте среду процесса принятия решений Маркова для изучения укрепления
Процесс принятия решений Маркова (MDP) является дискретным временем стохастический процесс управления. Это служит математической основой для моделирования принятия решения в ситуациях, где результаты частично случайны и частично под управлением лица, принимающего решения. MDPs полезны для изучения задач оптимизации, решенных с помощью изучения укрепления. Используйте rlMDPEnv, чтобы создать основанный на MATLAB® объект rlMDPEnv среды процесса принятия решений Маркова для изучения укрепления.
env = rlMDPEnv(MDP)getActionInfo | Получите спецификации данных о действии из среды обучения укрепления или агента |
getObservationInfo | Получите спецификации данных о наблюдении из среды обучения укрепления или агента |
sim | Моделируйте обученный агент изучения укрепления в заданной среде |
train | Обучите агент изучения укрепления в заданной среде |
validateEnvironment | Подтвердите пользовательскую среду обучения укрепления |
В данном примере рассмотрите мир сетки 5 на 5 со следующими правилами:
Мир сетки 5 на 5 ограничен границами, с 4 возможными действиями (Север = 1, Юг = 2, Восток = 3, Запад = 4).
Агент начинается с ячейки [2,1] (вторая строка, первый столбец).
Агент получает вознаграждение +10, если это достигает терминального состояния в ячейке [5,5] (синий).
Среда содержит специальный скачок от ячейки [2,4] к ячейке [4,4] с +5 вознаграждениями.
Агент блокируется препятствиями в ячейках [3,3], [3,4], [3,5] и [4,3] (черные ячейки).
Все другие действия приводят к-1 вознаграждению.
Во-первых, создайте объект GridWorld с помощью функции createGridWorld.
GW = createGridWorld(5,5)
GW =
GridWorld with properties:
GridSize: [5 5]
CurrentState: "[1,1]"
States: [25×1 string]
Actions: [4×1 string]
T: [25×25×4 double]
R: [25×25×4 double]
ObstacleStates: [0×1 string]
TerminalStates: [0×1 string]
Теперь, установите начальную букву, терминал и состояния препятствия.
GW.CurrentState = '[2,1]'; GW.TerminalStates = '[5,5]'; GW.ObstacleStates = ["[3,3]";"[3,4]";"[3,5]";"[4,3]"];
Обновите матрицу Грина для состояний препятствия и установите правило скачка по состояниям препятствия.
updateStateTranstionForObstacles(GW) GW.T(state2idx(GW,"[2,4]"),:,:) = 0; GW.T(state2idx(GW,"[2,4]"),state2idx(GW,"[4,4]"),:) = 1;
Затем, задайте вознаграждения в премиальной матрице перехода.
nS = numel(GW.States); nA = numel(GW.Actions); GW.R = -1*ones(nS,nS,nA); GW.R(state2idx(GW,"[2,4]"),state2idx(GW,"[4,4]"),:) = 5; GW.R(:,state2idx(GW,GW.TerminalStates),:) = 10;
Теперь, используйте rlMDPEnv, чтобы создать среду мира сетки с помощью объекта GridWorld GW.
env = rlMDPEnv(GW)
env =
rlMDPEnv with properties:
Model: [1×1 rl.env.GridWorld]
ResetFcn: []
Можно визуализировать среду мира сетки с помощью функции plot.
plot(env)
