Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [0 1 0 0; 0.5 0 0.5 0; 0 0 0.5 0.5; 0 0 0.5 0.5];
mc = dtmc(P);

Постройте направленный график цепи Маркова. Визуально определите класс связи, к которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Определить стационарное распределение марковской цепи.

x = asymptotics(mc)

x = 1×4

    0.0000    0.0000    0.5000    0.5000

Марковская цепь в конце концов поглощается государствами 3 и 4и последующие переходы являются стохастическими.

Извлечь повторяющуюся подцепь цепи Маркова пропуском mc кому subchain и определение одного из состояний в рецидивирующем апериодическом связном классе.

sc = subchain(mc,3);

sc является dtmc объект.

Постройте направленный график подцепи.

figure;
graphplot(sc,'ColorNodes',true)

Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P. Назовите состояния Режим 1 - Режим 4.

P = [0.5 0.5 0 0; 0 0.5 0.5 0; 0 0 0.5 0.5; 0 0 0.5 0.5];
mc = dtmc(P,'StateNames',["Regime 1" "Regime 2" "Regime 3" "Regime 4"]);

Постройте график цепочки. Визуально определите класс связи, к которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Режимы 1 и 2 имеют собственный класс связи, поскольку Режим 2 не переходит к Режиму 1.

Извлеките подцепь, содержащую режим 2, переходное состояние. Отображение матрицы перехода подцепи.

sc = subchain(mc,"Regime 2");
sc.P

ans = 3×3

    0.5000    0.5000         0
         0    0.5000    0.5000
         0    0.5000    0.5000

Режим 1 не входит в подцепь.

Постройте график подцепи.

figure;
graphplot(sc,'ColorNodes',true);

На сюжете показан унихейн: цепь Маркова, содержащая один повторяющийся сообщающийся класс и выбранный переходный класс.