Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [0.5 0.5 0 0; 0.5 0.4 0.1 0; 0 0 0 1; 0 0 1 0];
mc = dtmc(P);

Постройте направленный график цепи Маркова. Визуально определите класс связи, к которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Государства 3 и 4 принадлежат классу связи с периодом 2. Государства 1 и 2 являются переходными.

Программно определить, к каким классам связи относятся эти состояния.

bins = classify(mc)

bins = 1×4

     1     1     2     2

bins является вектором 1 на 4 сообщающихся меток класса. Элементы bins соответствуют состояниям в mc.StateNames. Например, bins(3) = 2 указывает, что состояние 3 находится в классе связи 2.

Определите классы связи цепи Маркова. Затем определите, являются ли классы повторяющимися, и их периодичность.

Создать случайную цепочку Маркова из семи состояний. Укажите, что 40 случайных элементов в матрице перехода должны быть равны нулю.

rng(1); % For reproducibility
mc = mcmix(7,'Zeros',40);

Постройте направленный график цепи Маркова. Визуально определите класс связи, к которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true)

Определение взаимодействующих классов в mc, а затем определить:

[bins,ClassStates,ClassRecurrence,ClassPeriod] = classify(mc)

bins = 1×7

     6     4     6     3     2     5     1

ClassStates=1×6 cell array
    {["7"]}    {["5"]}    {["4"]}    {["2"]}    {["6"]}    {["1"    "3"]}

ClassRecurrence = 1x6 logical array

   0   0   0   0   0   1

ClassPeriod = 1×6

     1     1     1     1     1     2

mc имеет семь классов. Каждое состояние - это собственный класс связи, за исключением состояний 1 и 3, которые вместе составляют класс 6. Класс 6 является единственным повторяющимся классом; классы с 1 по 5 являются переходными. Класс 6 имеет период 2; все остальные классы являются апериодическими.

Определите классы связи цепи Маркова. Затем извлеките все повторяющиеся подцепи из цепи Маркова.

Создать случайную цепочку Маркова из семи состояний. Укажите, что 40 случайных элементов в матрице перехода должны быть равны нулю.

rng(1); % For reproducibility
mc = mcmix(7,'Zeros',40);

Определите все сообщающиеся классы в цепочке Маркова и повторяющиеся ли классы.

[bins,~,ClassRecurrence] = classify(mc);
recurrentClass = find(ClassRecurrence,1) 

recurrentClass = 6

recurrentState = find((bins == recurrentClass))

recurrentState = 1×2

     1     3

Класс 6, состоит из штатов 1 и 3, является единственным повторяющимся классом в mc.

Создать подцепь из класса 6 путем указания по меньшей мере одного состояния в подцепи. Постройте график подцепи.

sc = subchain(mc,recurrentState);

figure;
graphplot(sc,'ColorNodes',true);