Создайте цепочку Маркова с четырьмя состояниями из случайно сгенерированной матрицы перехода, содержащей восемь неосуществимых переходов.

rng('default'); % For reproducibility 
mc = mcmix(4,'Zeros',8);

mc является dtmc объект.

Постройте диграф марковской цепи.

figure;
graphplot(mc);

Государство 4 является поглощающим состоянием.

Вычислите перераспределение состояний на каждом шаге в течение 10 дискретных временных шагов. Предположим начальное равномерное распределение по состояниям.

X = redistribute(mc,10)

X = 11×4

    0.2500    0.2500    0.2500    0.2500
    0.0869    0.2577    0.3088    0.3467
    0.1073    0.2990    0.1536    0.4402
    0.0533    0.2133    0.1844    0.5489
    0.0641    0.2010    0.1092    0.6257
    0.0379    0.1473    0.1162    0.6985
    0.0404    0.1316    0.0765    0.7515
    0.0266    0.0997    0.0746    0.7991
    0.0259    0.0864    0.0526    0.8351
    0.0183    0.0670    0.0484    0.8663
      ⋮

X является матрицей 11 на 4. Строки соответствуют временным шагам, а столбцы - состояниям.

Визуализация перераспределения государства.

figure;
distplot(mc,X)

После 10 переходов распределение, по-видимому, оседает с большинством вероятной массы в состоянии 4.

Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Постройте направленный график цепи Маркова. Укажите вероятность перехода с помощью краевых цветов.

figure;
graphplot(mc,'ColorEdges',true);

Вычислите 20-ступенчатое перераспределение цепи Маркова, используя случайные начальные значения.

rng(1); % For reproducibility
x0 = rand(mc.NumStates,1);
rd = redistribute(mc,20,'X0',x0);

Постройте график перераспределения.

figure;
distplot(mc,rd);

Перераспределение предполагает, что цепочка периодическая с периодом три.

Удалите периодичность, создав ленивый вариант марковской цепочки.

lc = lazy(mc);

Вычислите 20-ступенчатое перераспределение ленивой цепи, используя случайные начальные значения. Постройте график перераспределения.

x0 = rand(mc.NumStates,1);
lrd1 = redistribute(lc,20,'X0',x0);

figure;
distplot(lc,lrd1);

Перераспределение, похоже, установится после нескольких шагов.