Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Постройте ориентированный график марковской цепи. Укажите вероятность перехода при помощи краевых цветов.

figure;
graphplot(mc,'ColorEdges',true);

Симулируйте 20-ступенчатую случайную прогулку, которая начинается со случайного состояния.

rng(1); % For reproducibility
numSteps = 20;
X = simulate(mc,numSteps)

X = 21×1

     3
     7
     1
     3
     6
     1
     3
     7
     2
     5
      ⋮

X является матрицей 21 на 1. Строки соответствуют шагам в случайной ходьбе. Потому что X(1) является 3Случайная прогулка начинается в состоянии 3.

Визуализируйте случайную прогулку.

figure;
simplot(mc,X);

Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Сгенерируйте 100 20-ступенчатых случайных ходов, начиная с состояния 1.

rng(1); % For reproducibility
numSteps = 20;
X0 = zeros(mc.NumStates,1);
X0(1) = 100; % 100 random walks starting from state 1 only
X = simulate(mc,numSteps,'X0',X0);

X является матрицей 21 на 100.

Визуализируйте долю раз, когда состояния переходят в другие состояния для всех случайных прогулок с помощью тепловой карты.

figure;
simplot(mc,X,'Type','transitions');

Строки и столбцы тепловой карты соответствуют номерам состояний.

Сравните реализованную матрицу перехода с теоретической матрицей перехода с помощью тепловой карты.

figure;
imagesc(mc.P);
colormap(jet);
axis square;
colorbar;

Реализованные и теоретические матрицы переходов аналогичны.