Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [1 0 0 0; 1/2 0 1/2 0; 0 0 0 1; 0 0 1/2 1/2];
mc = dtmc(P);

Постройте ориентированный график марковской цепи. Визуально идентифицируйте класс связи, которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Вычислите ожидаемое первое время столкновения для состояния 3, начиная с каждого состояния в цепи Маркова.

ht = hittime(mc,3)

ht = 4×1

   Inf
   Inf
     0
     2

Поскольку состояние 3 недоступно из состояния 1, состояние 1 является удаленным состоянием относительно состояния 3 с ожидаемым временем первого столкновения Inf.

Состояние 3 доступно из состояния 2, но состояние 2 имеет положительную вероятность перехода в состояние 1, которое является поглощающим состоянием. Поэтому состояние 2 является удаленно-достижимым состоянием относительно состояния 3 с ожидаемым временем первого столкновения Inf.

Поскольку состояние 3 является целью, его ожидаемое первое время столкновения для себя 0.

Ожидаемое первое время столкновения для состояния 3, начиная с состояния 4 2 временные шаги.

Рассмотрим эту теоретическую, правостохастическую переходную матрицу стохастического процесса.

Создайте марковскую цепь, которая характеризуется переходной матрицей P.

P = [0   1/2 0   1/2 
     2/3 0   1/3 0   
     0   1/2 0   1/2 
     1/3 0   2/3 0  ];
mc = dtmc(P);

Постройте график Марковской цепи mc. Отобразите вероятности перехода.

graphplot(mc,'ColorEdges',true)

Вычислите ожидаемое первое время столкновения для состояния 1, начиная с каждого состояния в цепи Маркова.

ht = hittime(mc,1)

ht = 4×1

         0
    2.3333
    4.0000
    3.6667

Постройте график марковской цепи. Задайте цвета узлов, представляющие ожидаемое первое время столкновения для состояния 1, начиная с каждого состояния в цепь Маркова.

hittime(mc,1,'Graph',true);

Постройте еще один диграф. Включите состояние 4 в качестве целевого состояния.

hittime(mc,[1 4],'Graph',true);

Создайте марковскую цепь, характеризующуюся этой матрицей перехода:

P = [1/2 0   1/2 0   0   0   0
     0   1/3 0   2/3 0   0   0
     1/4 0   3/4 0   0   0   0
     0   2/3 0   1/3 0   0   0
     1/4 1/8 1/8 1/8 1/4 1/8 0
     1/6 1/6 1/6 1/6 1/6 1/6 0
     1/2 0   0   0   0   0   1/2];
mc = dtmc(P);

Вычислите ожидаемое первое время столкновения для состояния 1, начиная с каждого состояния в цепи Маркова mc. Кроме того, постройте график и задайте цвета узлов, представляющие ожидаемое первое время столкновения для состояния 1.

ht = hittime(mc,1,'Graph',true)

ht = 7×1

     0
   Inf
     4
   Inf
   Inf
   Inf
     2

Состояния 2 и 4 образуют поглощающий класс. Поэтому состояние 1 недоступно из этих состояний. Класс поглощения является удаленным относительно состояния 1 с ожидаемым временем первого столкновения Inf.

Состояние 1 достижимо из состояний 5 и 6, но вероятность перехода в класс поглощения из состояний 5 и 6 ненулевая. Поэтому состояния 5 и 6 являются удаленно достижимыми относительно состояния 1 с ожидаемым временем первого столкновения Inf.

Ожидаемое первое время столкновения для состояния 1, начиная с состояния 7, составляет 2 временные шаги. Ожидаемое первое время столкновения для состояния 1, начиная с состояния 3, составляет 4 временные шаги.

Создайте цепь Маркова с восемью состояниями из случайным образом сгенерированной матрицы перехода с 50 недопустимыми переходами в случайных местоположениях. Недопустимый переход является переходом, вероятность наступления которого равна нулю. Присвойте произвольные имена состояниям.

numStates = 8;
Zeros = 50;
stateNames = strcat(repmat("Regime ",1,8),string(1:8));
rng(1617676169) % For reproducibility
mc = mcmix(8,'Zeros',Zeros,'StateNames',stateNames);

Постройте график Марковской цепи mc. Задайте цвета узлов, которые идентифицируют переходные и периодические состояния и сообщающиеся классы.

figure;
graphplot(mc,'ColorNodes',true);

Найдите повторяющийся класс в марковской цепи mc следуя этой процедуре:

[~,ClassStates,IsClassRecurrent] = classify(mc);
recurrent = ClassStates{IsClassRecurrent}

recurrent = 1x4 string
    "Regime 2"    "Regime 3"    "Regime 6"    "Regime 8"

Вычислите ожидаемое время наезда для состояний рекуррентного класса, начиная с каждого состояния в марковской цепи.

ht = hittime(mc,recurrent);

Извлеките и отобразите ожидаемое время поглощения, начиная с переходных состояний.

istransient = ~ismember(mc.StateNames,recurrent);
absorbtime = ht(istransient);
table(absorbtime,'RowNames',mc.StateNames(istransient))

ans=4×1 table
                absorbtime
                __________

    Regime 1      5.8929  
    Regime 4           1  
    Regime 5      1.7777  
    Regime 7      4.8929  

Создайте марковскую цепь с 50 состояниями из матрицы случайных переходов, в которой большинство переходов недопустимы и случайным образом размещены.

rng(1) % For reproducibility
mc = mcmix(50,'Zeros',2400);

Визуализируйте время смешения марковской цепи путем построения графика и определения цветов узлов, представляющих ожидаемое первое время столкновения для состояния 1, начиная с каждого состояния.

hittime(mc,1,'Graph',true);

Визуализируйте время смешения марковской цепи для состояния 5.

hittime(mc,5,'Graph',true);

Ожидаемое время коммутации из состояния $\mathit{i}$ указывать $\mathit{j}$ - ожидаемое время перехода марковской цепи из состояния $\mathit{i}$ указывать $\mathit{j}$ (ожидаемое время первого столкновения ht$\left(\mathit{i},\mathit{j}\right)$), затем вернемся к состоянию $\mathit{i}$ (ht$\left(\mathit{j},\mathit{i}\right)$). Формально ожидаемое время коммутации

$\mathit{C}\left(\mathit{i},\mathit{j}\right)=$ht$\left(\mathit{i},\mathit{j}\right)+$ht$\left(\mathit{j},\mathit{i}\right)$.

Создать «гантель» марковской цепи, содержащей по 10 состояний в каждом «весе» и три состояния в «планке».

rng(1); % For reproducibility
w = 5;                              % Dumbbell weights
DBar = [0 1 0; 1 0 1; 0 1 0];        % Dumbbell bar
DB = blkdiag(rand(w),DBar,rand(w));  % Transition matrix

% Connect dumbbell weights and bar
DB(w,w+1) = 1;                       
DB(w+1,w) = 1; 
DB(w+3,w+4) = 1; 
DB(w+4,w+3) = 1;

mc = dtmc(DB);

Постройте график Марковской цепи mc. Подавление меток узлов.

figure;
graphplot(mc);

Рассмотрите вычисление ожидаемого времени коммутации из состояния 1 в состояние 10.

Вычислите ht(1,10), ожидаемое время первого столкновения для состояния 10, начиная с состояния 1.

ht = hittime(mc,10);
ht1to10 = ht(1);

Вычислите ht(10,1), ожидаемое время первого столкновения для состояния 1, начиная с состояния 10.

ht = hittime(mc,1);
ht10to1 = ht(10);

Вычислите ожидаемое время коммутации из состояния 1 в состояние 10.

C1to10 = ht1to10 + ht10to1

C1to10 = 236.6165

Ожидаемое время переключения от состояния 1 до состояния 10 и назад составляет 236,62 временные шаги.