Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [1 0 0 0; 1/2 0 1/2 0; 0 1/2 0 1/2; 0 0 0 1];
mc = dtmc(P);

Постройте ориентированный график марковской цепи. Визуально идентифицируйте класс связи, которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Вычислите вероятности столкновения для состояния 1, начиная с каждого состояния в цепи Маркова.

hp = hitprob(mc,1)

hp = 4×1

    1.0000
    0.6667
    0.3333
         0

Поскольку состояние 1 является целью, вероятность достижения состояния 1 сама собой 1.

Состояние 1 доступно из состояний 2 и 3. Поэтому вероятности столкновения для состояния 1, начиная с этих состояний, положительны.

Поскольку состояние 1 недоступно из состояния 4, состояние 4 имеет вероятность столкновения 0 для состояния 1. Поэтому состояние 4 является удаленным состоянием относительно состояния 1.

Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [1/2 0   1/2 0   0   0   0
     0   1/3 0   2/3 0   0   0
     1/4 0   3/4 0   0   0   0
     0   2/3 0   1/3 0   0   0
     1/4 1/8 1/8 1/8 1/4 1/8 0
     1/6 1/6 1/6 1/6 1/6 1/6 0
     1/2 0   0   0   0   0   1/2];
mc = dtmc(P);

Постройте график Марковской цепи mc. Задайте цвета узлов, представляющие вероятности столкновения для состояния 1, начиная с каждого состояния в цепь Маркова.

hitprob(mc,1,'Graph',true);

Постройте еще один диграф. Включите состояние 3 в качестве целевого состояния.

hitprob(mc,[1 3],'Graph',true);

Вероятность столкновения состояний 1 или 3 из состояния 6 составляет приблизительно 0,5.

Создайте марковскую цепь с 20 состояниями из матрицы случайного перехода, содержащей 375 случайным образом размещенных недопустимых переходов. Недопустимый переход является переходом, вероятность наступления которого равна нулю.

rng(4) % For reproducibility
mc = mcmix(20,'Zeros',375);

Постройте график, показывающий для каждого состояния вероятность перехода к подклассу, содержащему состояния 1 и 2.

target = [1 2];
hitprob(mc,target,'Graph',true);

Создайте марковскую цепь с 20 состояниями из матрицы случайного перехода, содержащей 375 случайным образом размещенных недопустимых переходов. Постройте график марковской цепи.

rng(4)
mc = mcmix(20,'Zeros',375);

Найдите повторяющийся класс в марковской цепи mc следуя этой процедуре:

[~,ClassStates,ClassRecurrence] = classify(mc);
s = ClassStates{ClassRecurrence}

s = 1x2 string
    "4"    "15"

Состояния 4 и 15 образуют повторяющийся класс.

Постройте два диграфа Марковской цепи mc. Для первого диграф используйте цвета узлов, чтобы идентифицировать классификацию состояний. Для второго диграф, покажите вероятность поглощения в рекуррентный класс для каждого состояния.

subplot(2,1,1)
graphplot(mc,'ColorNodes',true)
legend off
subplot(2,1,2)
hitprob(mc,s,'Graph',true);

Состояния слева от состояний 2, 11, 18 и 13 являются удаленными относительно рекуррентного класса. Поэтому их вероятность поглощения равна 0.