Рассмотрите эту теоретическую, правильно-стохастическую матрицу перехода стохастического процесса.

Создайте Цепь Маркова, которая характеризуется матрицей P перехода.

P = [1 0 0 0; 1/2 0 1/2 0; 0 1/2 0 1/2; 0 0 0 1];
mc = dtmc(P);

Постройте ориентированного графа Цепи Маркова. Визуально идентифицируйте связывающийся класс, которому каждое состояние принадлежит при помощи цветов узла.

figure;
graphplot(mc,'ColorNodes',true);

Вычислите совершающие нападки вероятности для состояния 1, начав с каждого состояния в Цепи Маркова.

hp = hitprob(mc,1)

hp = 4×1

    1.0000
    0.6667
    0.3333
         0

Поскольку состояние 1 является целью, вероятностью состояния, 1 достижением себя является 1.

Состояние 1 достижимо от состояний 2 и 3. Поэтому совершающие нападки вероятности для состояния 1 начало от тех состояний положительны.

Поскольку состояние 1 недостижимо от состояния 4, состояние 4 имеет совершающую нападки вероятность 0 для состояния 1. Поэтому состояние 4 является удаленным состоянием относительно состояния 1.

Рассмотрите эту теоретическую, правильно-стохастическую матрицу перехода стохастического процесса.

Создайте Цепь Маркова, которая характеризуется матрицей P перехода.

P = [1/2 0   1/2 0   0   0   0
     0   1/3 0   2/3 0   0   0
     1/4 0   3/4 0   0   0   0
     0   2/3 0   1/3 0   0   0
     1/4 1/8 1/8 1/8 1/4 1/8 0
     1/6 1/6 1/6 1/6 1/6 1/6 0
     1/2 0   0   0   0   0   1/2];
mc = dtmc(P);

Постройте диграф Цепи Маркова mc. Задайте цвета узла, представляющие совершающие нападки вероятности для состояния 1, начав с каждого состояния в Цепи Маркова.

hitprob(mc,1,'Graph',true);

Постройте другой диграф. Включайте состояние 3 как целевое состояние.

hitprob(mc,[1 3],'Graph',true);

Вероятность удара состояний 1 или 3 от состояния 6 является приблизительно 0,5.

Создайте Цепь Маркова с 20 состояниями из случайной матрицы перехода, содержащей 375 случайным образом помещенных неосуществимых переходов. Неосуществимый переход является переходом, чья вероятность появления является нулем.

rng(4) % For reproducibility
mc = mcmix(20,'Zeros',375);

Постройте показ диграфа, для каждого состояния, вероятности перехода к подклассу, содержащему состояния 1 и 2.

target = [1 2];
hitprob(mc,target,'Graph',true);

Создайте Цепь Маркова с 20 состояниями из случайной матрицы перехода, содержащей 375 случайным образом помещенных неосуществимых переходов. Постройте диграф Цепи Маркова.

rng(4)
mc = mcmix(20,'Zeros',375);

Найдите текущий класс в Цепи Маркова mc путем выполнения этой процедуры:

[~,ClassStates,ClassRecurrence] = classify(mc);
s = ClassStates{ClassRecurrence}

s = 1x2 string
    "4"    "15"

Состояния 4 и 15 формируют текущий класс.

Постройте два диграфа Цепи Маркова mc. Для первого диграфа используйте цвета узла, чтобы идентифицировать классификацию состояния. Для второго диграфа покажите вероятность поглощения в текущий класс для каждого состояния.

subplot(2,1,1)
graphplot(mc,'ColorNodes',true)
legend off
subplot(2,1,2)
hitprob(mc,s,'Graph',true);

Состояния слева от состояний 2, 11, 18, и 13 являются удаленными относительно текущего класса. Поэтому их вероятность поглощения 0.