Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [1 0 0 0; 1/2 0 1/2 0; 0 1/2 0 1/2; 0 0 0 1];
mc = dtmc(P);

Постройте направленный график цепи Маркова. Визуально определите класс связи, к которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Вычислите вероятности попадания для состояния 1, начиная с каждого состояния в цепи Маркова.

hp = hitprob(mc,1)

hp = 4×1

    1.0000
    0.6667
    0.3333
         0

Поскольку состояние 1 является целью, вероятность достижения состояния 1 равна 1.

Состояние 1 достижимо из состояний 2 и 3. Следовательно, вероятности попадания для состояния 1, начиная с этих состояний, являются положительными.

Поскольку состояние 1 недоступно из состояния 4, состояние 4 имеет вероятность попадания 0 для состояния 1. Следовательно, состояние 4 является удаленным состоянием относительно состояния 1.

Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [1/2 0   1/2 0   0   0   0
     0   1/3 0   2/3 0   0   0
     1/4 0   3/4 0   0   0   0
     0   2/3 0   1/3 0   0   0
     1/4 1/8 1/8 1/8 1/4 1/8 0
     1/6 1/6 1/6 1/6 1/6 1/6 0
     1/2 0   0   0   0   0   1/2];
mc = dtmc(P);

Наметить диграф марковской цепи mc. Укажите цвета узлов, представляющие вероятности попадания для состояния 1, начиная с каждого состояния в цепочке Маркова.

hitprob(mc,1,'Graph',true);

Постройте еще один график. Включить состояние 3 в качестве целевого состояния.

hitprob(mc,[1 3],'Graph',true);

Вероятность попадания в состояния 1 или 3 из состояния 6 составляет приблизительно 0,5.

Создайте цепочку Маркова из 20 состояний из матрицы случайного перехода, содержащей 375 случайно размещенных неосуществимых переходов. Неосуществимый переход - это переход, вероятность возникновения которого равна нулю.

rng(4) % For reproducibility
mc = mcmix(20,'Zeros',375);

Постройте график, показывающий для каждого состояния вероятность перехода в подкласс, содержащий состояния 1 и 2.

target = [1 2];
hitprob(mc,target,'Graph',true);

Создайте цепочку Маркова из 20 состояний из матрицы случайного перехода, содержащей 375 случайно размещенных неосуществимых переходов. Постройте диграф марковской цепи.

rng(4)
mc = mcmix(20,'Zeros',375);

Найти повторяющийся класс в цепи Маркова mc следуя этой процедуре:

[~,ClassStates,ClassRecurrence] = classify(mc);
s = ClassStates{ClassRecurrence}

s = 1x2 string
    "4"    "15"

Государства 4 и 15 образуют повторяющийся класс.

Сюжет два диграфа марковской цепи mc. Для первого диграфа используйте цвета узлов для идентификации классификации состояний. Для второго диграфа показать вероятность поглощения в повторяющийся класс для каждого состояния.

subplot(2,1,1)
graphplot(mc,'ColorNodes',true)
legend off
subplot(2,1,2)
hitprob(mc,s,'Graph',true);

Состояния слева от состояний 2, 11, 18 и 13 являются удаленными относительно повторяющегося класса. Поэтому их вероятность поглощения равна 0.