Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [ 0   0  1/2 1/4 1/4  0   0 ;
      0   0  1/3  0  2/3  0   0 ;
      0   0   0   0   0  1/3 2/3;
      0   0   0   0   0  1/2 1/2;
      0   0   0   0   0  3/4 1/4;
     1/2 1/2  0   0   0   0   0 ;
     1/4 3/4  0   0   0   0   0 ];
mc = dtmc(P);

Постройте направленный график цепи Маркова. Укажите вероятность перехода с помощью краевых цветов.

figure;
graphplot(mc,'ColorEdges',true);

Определить стационарное распределение марковской цепи.

xFix = asymptotics(mc)

xFix = 1×7

    0.1300    0.2034    0.1328    0.0325    0.1681    0.1866    0.1468

Поскольку xFix является вектором строки, это уникальное стационарное распределение mc.

Создайте матрицу перехода с пятью состояниями эмпирических отсчетов, создав матрицу диагонали блока, состоящую из дискретных равномерных вытягиваний.

m = 100; % Maximal count
rng(1); % For reproducibility
P = blkdiag(randi(100,2) + 1,randi(100,3) + 1)

P = 5×5

    43     2     0     0     0
    74    32     0     0     0
     0     0    16    36    43
     0     0    11    41    70
     0     0    20    55    22

Создайте и постройте график цепочки Маркова, который характеризуется матрицей перехода P.

mc = dtmc(P);

figure;
graphplot(mc)

Определить стационарное распределение и время смешения марковской цепи.

[xFix,tMix] = asymptotics(mc)

xFix = 2×5

    0.9401    0.0599         0         0         0
         0         0    0.1497    0.4378    0.4125

tMix = 0.8558

Ряды xFix соответствуют стационарным распределениям двух независимых повторяющихся классов mc.

Создание отдельных цепей Маркова, представляющих повторяющиеся подцепи mc.

mc1 = subchain(mc,1);
mc2 = subchain(mc,3);

mc1 и mc2 являются dtmc объекты. mc1 является повторяющимся классом, содержащим состояние 1, и mc2 является повторяющимся классом, содержащим состояние 3.

Сравните время смешивания подцепей.

[x1,t1] = asymptotics(mc1)

x1 = 1×2

    0.9401    0.0599

t1 = 0.7369

[x2,t2] = asymptotics(mc2)

x2 = 1×3

    0.1497    0.4378    0.4125

t2 = 0.8558

mc1 подходит к своему стационарному распределению быстрее, чем mc2.

Создайте цепочку Маркова «гантели», содержащую 10 состояний в каждом «весе» и три состояния в «баре».

rng(1); % For reproducibility
w = 10;                              % Dumbbell weights
DBar = [0 1 0; 1 0 1; 0 1 0];        % Dumbbell bar
DB = blkdiag(rand(w),DBar,rand(w));  % Transition matrix

% Connect dumbbell weights and bar
DB(w,w+1) = 1;                       
DB(w+1,w) = 1; 
DB(w+3,w+4) = 1; 
DB(w+4,w+3) = 1;

mc = dtmc(DB);

Визуализация матрицы перехода с помощью тепловой карты.

figure;
imagesc(mc.P);
colormap(jet);
axis square;
colorbar;

Постройте направленный график цепи Маркова. Подавление меток узлов.

figure;
h = graphplot(mc);
h.NodeLabel = {};

Постройте график собственных значений цепи гантелей.

figure;
eigplot(mc);

Тонкий красный диск на графике показывает спектральный промежуток (разность между двумя наибольшими собственными значениями модулей). Спектральный промежуток определяет время смешения цепи Маркова. Большие зазоры указывают на более быстрое перемешивание, в то время как тонкие зазоры указывают на более медленное перемешивание. В этом случае спектральный зазор является тонким, что указывает на длительное время перемешивания.

Оцените время смешивания цепи гантелей и определите, является ли цепь эргодичной.

[~,tMix] = asymptotics(mc)

tMix = 85.3258

tf = isergodic(mc)

tf = logical
   1

В среднем, время, необходимое для общего расстояния изменения между любым начальным распределением и стационарным распределением для распада в коэффициент $${}^{\mathrm{е1}}$$, составляет около 85 шагов.