Создайте цепочку Маркова с четырьмя состояниями из случайно сгенерированной матрицы перехода, содержащей восемь неосуществимых переходов.

rng('default'); % For reproducibility 
mc = mcmix(4,'Zeros',8);

mc является dtmc объект.

Постройте диграф марковской цепи.

figure;
graphplot(mc);

Государство 4 является поглощающим состоянием.

Вычислите перераспределение состояний на каждом шаге в течение 10 дискретных временных шагов. Предположим начальное равномерное распределение по состояниям.

X = redistribute(mc,10)

X = 11×4

    0.2500    0.2500    0.2500    0.2500
    0.0869    0.2577    0.3088    0.3467
    0.1073    0.2990    0.1536    0.4402
    0.0533    0.2133    0.1844    0.5489
    0.0641    0.2010    0.1092    0.6257
    0.0379    0.1473    0.1162    0.6985
    0.0404    0.1316    0.0765    0.7515
    0.0266    0.0997    0.0746    0.7991
    0.0259    0.0864    0.0526    0.8351
    0.0183    0.0670    0.0484    0.8663
      ⋮

X является матрицей 11 на 4. Строки соответствуют временным шагам, а столбцы - состояниям.

Визуализация перераспределения государства.

figure;
distplot(mc,X)

После 10 переходов распределение, по-видимому, оседает с большинством вероятной массы в состоянии 4.

Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Вычислите перераспределение состояний на каждом шаге в течение 20 дискретных временных шагов.

X = redistribute(mc,20);

Анимация перераспределений в гистограмме. Укажите частоту кадров в полсекунды.

figure;
distplot(mc,X,'Type','histogram','FrameRate',0.5);