Создайте модель марковского процесса принятия решений
Создайте модель MDP с восемью состояниями и двумя возможными действиями.
MDP = createMDP(8,["up";"down"]);
Задайте изменения состояния и их связанные вознаграждения.
% State 1 Transition and Reward MDP.T(1,2,1) = 1; MDP.R(1,2,1) = 3; MDP.T(1,3,2) = 1; MDP.R(1,3,2) = 1; % State 2 Transition and Reward MDP.T(2,4,1) = 1; MDP.R(2,4,1) = 2; MDP.T(2,5,2) = 1; MDP.R(2,5,2) = 1; % State 3 Transition and Reward MDP.T(3,5,1) = 1; MDP.R(3,5,1) = 2; MDP.T(3,6,2) = 1; MDP.R(3,6,2) = 4; % State 4 Transition and Reward MDP.T(4,7,1) = 1; MDP.R(4,7,1) = 3; MDP.T(4,8,2) = 1; MDP.R(4,8,2) = 2; % State 5 Transition and Reward MDP.T(5,7,1) = 1; MDP.R(5,7,1) = 1; MDP.T(5,8,2) = 1; MDP.R(5,8,2) = 9; % State 6 Transition and Reward MDP.T(6,7,1) = 1; MDP.R(6,7,1) = 5; MDP.T(6,8,2) = 1; MDP.R(6,8,2) = 1; % State 7 Transition and Reward MDP.T(7,7,1) = 1; MDP.R(7,7,1) = 0; MDP.T(7,7,2) = 1; MDP.R(7,7,2) = 0; % State 8 Transition and Reward MDP.T(8,8,1) = 1; MDP.R(8,8,1) = 0; MDP.T(8,8,2) = 1; MDP.R(8,8,2) = 0;
Задайте конечные состояния модели.
MDP.TerminalStates = ["s7";"s8"];
states
— Состояния моделиСостояния модели в виде одного из следующего:
Положительное целое число — Задает количество состояний модели. В этом случае каждое состояние имеет имя по умолчанию, такое как "s1"
для первого состояния.
Вектор строки — Задает имена состояния. В этом случае общее количество состояний равно длине вектора.
actions
— Действия моделиДействия модели в виде одного из следующего:
Положительное целое число — Задает количество действий модели. В этом случае каждое действие имеет имя по умолчанию, такое как "a1"
для первого действия.
Вектор строки — Задает имена действия. В этом случае общее количество действий равно длине вектора.
MDP
— Модель MDPGenericMDP
объектМодель MDP, возвращенная как GenericMDP
объект со следующими свойствами.
CurrentState
— Имя текущего состоянияИмя текущего состояния в виде строки.
States
— Имена состоянияИмена состояния в виде вектора строки с длиной равняются количеству состояний.
Actions
— Имена действияДействие называет в виде вектора строки с длиной равный количеству действий.
T
— Матрица переходовМатрица переходов в виде трехмерного массива, который определяет возможные перемещения агента в среде. Матрица переходов T
матрица вероятности, которая указывает, с какой вероятностью агент переместит от текущего состояния s
к любому возможному следующему s'
состояния путем выполнения действия
a
T
S-by-S-by-A массив, где S является количеством состояний, и A является количеством действий. Этим дают:
Сумма вероятностей перехода от нетерминального s
состояния после данного действия должен суммировать до одного. Поэтому все стохастические переходы из данного состояния должны быть заданы одновременно.
Например, чтобы указать на это в 1
состояния следующее действие
4
существует равная вероятность перемещения в состояния 2
или 3
, используйте следующее:
MDP.T(1,[2 3],4) = [0.5 0.5];
Можно также указать, что после действия существует некоторая вероятность оставления в том же состоянии. Например:
MDP.T(1,[1 2 3 4],1) = [0.25 0.25 0.25 0.25];
R
— Матрица вознаграждений при переходеМатрица вознаграждений при переходе в виде трехмерного массива, который определяет, сколько вознаграждение агент получает после выполнения действия в среде. R
имеет ту же форму и размер как матрица переходов T
. Вознаграждение за перемещение от s
состояния утверждать
s'
путем выполнения действия a
дают:
TerminalStates
— Конечное состояние называет в мире сеткиКонечное состояние называет в мире сетки в виде вектора строки из имен состояния.
У вас есть модифицированная версия этого примера. Вы хотите открыть этот пример со своими редактированиями?
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.