Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [1 0 0 0; 1/2 0 1/2 0; 0 0 0 1; 0 0 1/2 1/2];
mc = dtmc(P);

Постройте направленный график цепи Маркова. Визуально определите класс связи, к которому принадлежит каждое состояние, используя цвета узлов.

figure;
graphplot(mc,'ColorNodes',true);

Вычислите ожидаемое время первого попадания для состояния 3, начиная с каждого состояния в цепи Маркова.

ht = hittime(mc,3)

ht = 4×1

   Inf
   Inf
     0
     2

Поскольку состояние 3 недоступно из состояния 1, состояние 1 является удаленным по отношению к состоянию 3, с ожидаемым временем первого удара Inf.

Состояние 3 достижимо из состояния 2, но состояние 2 имеет положительную вероятность перехода в состояние 1, которое является поглощающим состоянием. Следовательно, состояние 2 является удаленно достижимым состоянием по отношению к состоянию 3, с ожидаемым временем первого удара, равным Inf.

Поскольку состояние 3 является целью, его ожидаемым временем первого попадания для себя является 0.

Ожидаемое время первого попадания в состояние 3, начиная с состояния 4, равно 2 временные шаги.

Рассмотрим эту теоретическую, правостохастическую матрицу перехода стохастического процесса.

Создайте цепочку Маркова, которая характеризуется матрицей перехода P.

P = [0   1/2 0   1/2 
     2/3 0   1/3 0   
     0   1/2 0   1/2 
     1/3 0   2/3 0  ];
mc = dtmc(P);

Наметить диграф марковской цепи mc. Отображение вероятностей перехода.

graphplot(mc,'ColorEdges',true)

Вычислите ожидаемое время первого попадания для состояния 1, начиная с каждого состояния в цепи Маркова.

ht = hittime(mc,1)

ht = 4×1

         0
    2.3333
    4.0000
    3.6667

Постройте диграф марковской цепи. Укажите цвета узлов, представляющие ожидаемое время первого попадания для состояния 1, начиная с каждого состояния в цепочке Маркова.

hittime(mc,1,'Graph',true);

Постройте еще один график. Включить состояние 4 в качестве целевого состояния.

hittime(mc,[1 4],'Graph',true);

Создайте цепочку Маркова, характеризующуюся этой матрицей перехода:

P = [1/2 0   1/2 0   0   0   0
     0   1/3 0   2/3 0   0   0
     1/4 0   3/4 0   0   0   0
     0   2/3 0   1/3 0   0   0
     1/4 1/8 1/8 1/8 1/4 1/8 0
     1/6 1/6 1/6 1/6 1/6 1/6 0
     1/2 0   0   0   0   0   1/2];
mc = dtmc(P);

Вычислите ожидаемое время первого попадания для состояния 1, начиная с каждого состояния в цепочке Маркова mc. Также постройте график и укажите цвета узлов, представляющие ожидаемое время первого попадания для состояния 1.

ht = hittime(mc,1,'Graph',true)

ht = 7×1

     0
   Inf
     4
   Inf
   Inf
   Inf
     2

Состояния 2 и 4 образуют поглощающий класс. Следовательно, состояние 1 недоступно из этих состояний. Поглощающий класс является удаленным по отношению к состоянию 1, с ожидаемым временем первого удара, равным Inf.

Состояние 1 достижимо из состояний 5 и 6, но вероятность перехода в класс поглощения из состояний 5 и 6 ненулевая. Следовательно, состояния 5 и 6 являются удаленно доступными по отношению к состоянию 1, с ожидаемым временем первого удара, равным Inf.

Ожидаемое время первого удара для состояния 1, начинающегося с состояния 7, составляет 2 временных шага. Ожидаемое время первого попадания в состояние 1, начинающееся с состояния 3, составляет 4 временных шага.

Создайте цепочку Маркова из восьми состояний из случайно сгенерированной матрицы перехода с 50 неосуществимыми переходами в случайных расположениях. Неосуществимый переход - это переход, вероятность возникновения которого равна нулю. Назначьте произвольные имена состояниям.

numStates = 8;
Zeros = 50;
stateNames = strcat(repmat("Regime ",1,8),string(1:8));
rng(1617676169) % For reproducibility
mc = mcmix(8,'Zeros',Zeros,'StateNames',stateNames);

Наметить диграф марковской цепи mc. Укажите цвета узлов, которые идентифицируют переходные и повторяющиеся состояния и передаваемые классы.

figure;
graphplot(mc,'ColorNodes',true);

Найти повторяющийся класс в цепи Маркова mc следуя этой процедуре:

[~,ClassStates,IsClassRecurrent] = classify(mc);
recurrent = ClassStates{IsClassRecurrent}

recurrent = 1x4 string
    "Regime 2"    "Regime 3"    "Regime 6"    "Regime 8"

Вычислите ожидаемое время попадания для состояний повторяющегося класса, начиная с каждого состояния в цепи Маркова.

ht = hittime(mc,recurrent);

Извлеките и отобразите ожидаемое время поглощения, начиная с переходных состояний.

istransient = ~ismember(mc.StateNames,recurrent);
absorbtime = ht(istransient);
table(absorbtime,'RowNames',mc.StateNames(istransient))

ans=4×1 table
                absorbtime
                __________

    Regime 1      5.8929  
    Regime 4           1  
    Regime 5      1.7777  
    Regime 7      4.8929  

Создайте цепочку Маркова из 50 состояний из матрицы случайного перехода, в которой большинство переходов неосуществимы и размещены случайным образом.

rng(1) % For reproducibility
mc = mcmix(50,'Zeros',2400);

Визуализируйте время смешения цепи Маркова, построив график и указав цвета узлов, представляющие ожидаемое время первого попадания для состояния 1, начиная с каждого состояния.

hittime(mc,1,'Graph',true);

Визуализируйте время смешения цепи Маркова для состояния 5.

hittime(mc,5,'Graph',true);

Ожидаемое время перехода из состояния $\mathit{i}$ в состояние $\mathit{j}$ является ожидаемым временем, требуемым для перехода цепи Маркова из состояния $\mathit{i}$ в состояние $\mathit{j}$ (ожидаемое время первого попадания). ht$(\mathit{i},\mathit{}j$)), затем обратно в состояние $\mathit{}$i (ht$(\mathit{j},\mathit{}i$)). Формально ожидаемое время поездки составляет

$\mathit{C}\mathit{(}i\mathit{,}j$) =ht$(\mathit{i},\mathit{}j)$+ht$(\mathit{j},\mathit{}i$).

Создайте цепочку Маркова «гантели», содержащую 10 состояний в каждом «весе» и три состояния в «баре».

rng(1); % For reproducibility
w = 5;                              % Dumbbell weights
DBar = [0 1 0; 1 0 1; 0 1 0];        % Dumbbell bar
DB = blkdiag(rand(w),DBar,rand(w));  % Transition matrix

% Connect dumbbell weights and bar
DB(w,w+1) = 1;                       
DB(w+1,w) = 1; 
DB(w+3,w+4) = 1; 
DB(w+4,w+3) = 1;

mc = dtmc(DB);

Наметить диграф марковской цепи mc. Подавление меток узлов.

figure;
graphplot(mc);

Рассмотрим вычисление ожидаемого времени коммутации из состояния 1 в состояние 10.

Вычислить ht(1,10), ожидаемое время первого попадания для состояния 10, начинающееся от состояния 1.

ht = hittime(mc,10);
ht1to10 = ht(1);

Вычислить ht(10,1), ожидаемое время первого попадания для 1 состояния, начинающегося с 10 состояния.

ht = hittime(mc,1);
ht10to1 = ht(10);

Вычисляют ожидаемое время коммутации из состояния 1 в состояние 10.

C1to10 = ht1to10 + ht10to1

C1to10 = 236.6165

Ожидаемое время переключения из состояния 1 в состояние 10 и обратно составляет 236,62 временных шага.