Рассмотрите эту теоретическую, правильно-стохастическую матрицу перехода стохастического процесса.

Создайте Цепь Маркова, которая характеризуется матрицей P перехода.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Постройте ориентированного графа Цепи Маркова. Укажите на вероятность перехода при помощи цветов обводки.

figure;
graphplot(mc,'ColorEdges',true);

Моделируйте случайный обход с 20 шагами, который начинает со случайного состояния.

rng(1); % For reproducibility
numSteps = 20;
X = simulate(mc,numSteps)

X = 21×1

     3
     7
     1
     3
     6
     1
     3
     7
     2
     5
      ⋮

X 21 1 матрица. Строки соответствуют шагам в случайном обходе. Поскольку X(1) является 3, случайный обход начинается в состоянии 3.

Визуализируйте случайный обход.

figure;
simplot(mc,X);

Создайте Цепь Маркова с четырьмя состояниями из случайным образом сгенерированной матрицы перехода, содержащей восемь неосуществимых переходов.

rng('default'); % For reproducibility 
mc = mcmix(4,'Zeros',8);

mc является объектом dtmc.

Постройте диграф Цепи Маркова.

figure;
graphplot(mc);

4 состояния является абсорбирующим состоянием.

Запустите три симуляции с 10 шагами для каждого состояния.

x0 = 3*ones(1,mc.NumStates);
numSteps = 10;
X = simulate(mc,numSteps,'X0',x0);

X 11 12 матрица. Строки соответствуют шагам в случайном обходе. Столбцы 1-3 являются симуляциями, которые запускаются в состоянии 1; столбец 4-6 является симуляциями, которые запускаются в состоянии 2; столбцы 7-9 являются симуляциями, которые запускаются в состоянии 3; и столбцы 10-12 являются симуляциями, которые запускаются в состоянии 4.

В течение каждого раза постройте состояния пропорций, которые посещают по всем симуляциям.

figure;
simplot(mc,X)