Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [0 1 0 0; 0.5 0 0.5 0; 0 0 0.5 0.5; 0 0 0.5 0.5];
mc = dtmc(P);

Постройте ориентированный график марковской цепи. Визуально идентифицируйте класс связи, которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Определите стационарное распределение цепи Маркова.

x = asymptotics(mc)

x = 1×4

    0.0000    0.0000    0.5000    0.5000

Марковская цепь в конечном счете поглощается состояниями 3 и 4, и последующие переходы являются стохастическими.

Извлеките рекуррентную подцепь марковской цепи путем прохождения mc на subchain и определение одного из состояний в рекуррентном, апериодическом классе связи.

sc = subchain(mc,3);

sc является dtmc объект.

Постройте график ориентированного графа подцепи.

figure;
graphplot(sc,'ColorNodes',true)

Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P. Назовите состояния Режим 1 - Режим 4.

P = [0.5 0.5 0 0; 0 0.5 0.5 0; 0 0 0.5 0.5; 0 0 0.5 0.5];
mc = dtmc(P,'StateNames',["Regime 1" "Regime 2" "Regime 3" "Regime 4"]);

Постройте график цепи. Визуально идентифицируйте класс связи, которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Режимы 1 и 2 находятся в своем собственном классе связи, поскольку режим 2 не переходит к режиму 1.

Извлеките подцепь, содержащую Режим 2, переходное состояние. Отобразите матрицу переходов подцепи.

sc = subchain(mc,"Regime 2");
sc.P

ans = 3×3

    0.5000    0.5000         0
         0    0.5000    0.5000
         0    0.5000    0.5000

Режим 1 не находится в подцепи.

Постройте график подцепи.

figure;
graphplot(sc,'ColorNodes',true);

На график показан унихаин: марковская цепь, содержащий один повторяющийся класс связи и выбранный переходный класс.