Рассмотрите эту теоретическую, правильно-стохастическую матрицу перехода стохастического процесса.

Создайте Цепь Маркова, которая характеризуется матрицей P перехода.

P = [0 1 0 0; 0.5 0 0.5 0; 0 0 0.5 0.5; 0 0 0.5 0.5];
mc = dtmc(P);

Постройте ориентированного графа Цепи Маркова. Визуально идентифицируйте связывающийся класс, которому каждое состояние принадлежит при помощи цветов узла.

figure;
graphplot(mc,'ColorNodes',true);

Определите стационарное распределение Цепи Маркова.

x = asymptotics(mc)

x = 1×4

    0.0000    0.0000    0.5000    0.5000

Цепь Маркова в конечном счете поглощена в состояния 3 и 4, и последующие переходы являются стохастическими.

Извлеките текущую подцепь Цепи Маркова путем передачи mc к subchain и определение одного из состояний в текущем, апериодическом классе передачи.

sc = subchain(mc,3);

sc dtmc объект.

Постройте ориентированного графа подцепи.

figure;
graphplot(sc,'ColorNodes',true)

Рассмотрите эту теоретическую, правильно-стохастическую матрицу перехода стохастического процесса.

Создайте Цепь Маркова, которая характеризуется матрицей P перехода. Назовите Режим состояний 1 через Режим 4.

P = [0.5 0.5 0 0; 0 0.5 0.5 0; 0 0 0.5 0.5; 0 0 0.5 0.5];
mc = dtmc(P,'StateNames',["Regime 1" "Regime 2" "Regime 3" "Regime 4"]);

Постройте диграф цепи. Визуально идентифицируйте связывающийся класс, которому каждое состояние принадлежит при помощи цветов узла.

figure;
graphplot(mc,'ColorNodes',true);

Режимы 1 и 2 находятся в их собственном классе передачи, потому что Режим 2 не переходит к Режиму 1.

Извлеките подцепь, содержащую Режим 2, переходное состояние. Отобразите матрицу перехода подцепи.

sc = subchain(mc,"Regime 2");
sc.P

ans = 3×3

    0.5000    0.5000         0
         0    0.5000    0.5000
         0    0.5000    0.5000

Режим 1 не находится в подцепи.

Постройте диграф подцепи.

figure;
graphplot(sc,'ColorNodes',true);

График показывает unichain: Цепь Маркова, содержащая один текущий класс передачи и выбранный переходный класс.