Создайте цепь Маркова с четырьмя состояниями из случайным образом сгенерированной матрицы перехода, содержащей восемь недопустимых переходов.

rng('default'); % For reproducibility 
mc = mcmix(4,'Zeros',8);

mc является dtmc объект.

Постройте график марковской цепи.

figure;
graphplot(mc);

Конечные 4 является поглощающим состоянием.

Вычислите перераспределения состояний на каждом шаге в течение 10 дискретных временных шагов. Предположим, что начальное равномерное распределение по состояниям.

X = redistribute(mc,10)

X = 11×4

    0.2500    0.2500    0.2500    0.2500
    0.0869    0.2577    0.3088    0.3467
    0.1073    0.2990    0.1536    0.4402
    0.0533    0.2133    0.1844    0.5489
    0.0641    0.2010    0.1092    0.6257
    0.0379    0.1473    0.1162    0.6985
    0.0404    0.1316    0.0765    0.7515
    0.0266    0.0997    0.0746    0.7991
    0.0259    0.0864    0.0526    0.8351
    0.0183    0.0670    0.0484    0.8663
      ⋮

X является матрицей 11 на 4. Строки соответствуют временным шагам, а столбцы - состояниям.

Визуализация государственного перераспределения.

figure;
distplot(mc,X)

После 10 переходов распределение, по-видимому, оседает с большинством массы вероятностей в состоянии 4.

Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Вычислите перераспределения состояний на каждом шаге в течение 20 дискретных временных шагов.

X = redistribute(mc,20);

Анимируйте перераспределения в гистограмме. Задайте полсекундную частоту систем координат.

figure;
distplot(mc,X,'Type','histogram','FrameRate',0.5);