Создайте цепь Маркова с четырьмя состояниями из случайным образом сгенерированной матрицы перехода, содержащей восемь недопустимых переходов.

rng('default'); % For reproducibility 
mc = mcmix(4,'Zeros',8);

mc является dtmc объект.

Постройте график марковской цепи.

figure;
graphplot(mc);

Конечные 4 является поглощающим состоянием.

Вычислите перераспределения состояний на каждом шаге в течение 10 дискретных временных шагов. Предположим, что начальное равномерное распределение по состояниям.

X = redistribute(mc,10)

X = 11×4

    0.2500    0.2500    0.2500    0.2500
    0.0869    0.2577    0.3088    0.3467
    0.1073    0.2990    0.1536    0.4402
    0.0533    0.2133    0.1844    0.5489
    0.0641    0.2010    0.1092    0.6257
    0.0379    0.1473    0.1162    0.6985
    0.0404    0.1316    0.0765    0.7515
    0.0266    0.0997    0.0746    0.7991
    0.0259    0.0864    0.0526    0.8351
    0.0183    0.0670    0.0484    0.8663
      ⋮

X является матрицей 11 на 4. Строки соответствуют временным шагам, а столбцы - состояниям.

Визуализация государственного перераспределения.

figure;
distplot(mc,X)

После 10 переходов распределение, по-видимому, оседает с большинством массы вероятностей в состоянии 4.

Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Постройте ориентированный график марковской цепи. Укажите вероятность перехода при помощи краевых цветов.

figure;
graphplot(mc,'ColorEdges',true);

Вычислите 20-шаговое перераспределение марковской цепи с помощью случайных начальных значений.

rng(1); % For reproducibility
x0 = rand(mc.NumStates,1);
rd = redistribute(mc,20,'X0',x0);

Постройте график перераспределения.

figure;
distplot(mc,rd);

Перераспределение предполагает, что цепь является периодической с периодом в три.

Снимите периодичность, создав ленивую версию марковской цепи.

lc = lazy(mc);

Вычислите 20-шаговое перераспределение ленивой цепи с помощью случайных начальных значений. Постройте график перераспределения.

x0 = rand(mc.NumStates,1);
lrd1 = redistribute(lc,20,'X0',x0);

figure;
distplot(lc,lrd1);

Перераспределение, по-видимому, происходит после нескольких шагов.