Марковский анализ цепи и стационарное распределение

В этом примере показано, как вывести символическое стационарное распределение тривиальной цепи Маркова путем вычисления ее собственного разложения.

Стационарное распределение представляет собой ограничивающее, не зависящее от времени, распределение состояний для марковского процесса по мере увеличения числа шагов или переходов.

Определение (положительных) вероятностей перехода между состояниями A через F как показано на приведенном выше изображении.

syms a b c d e f cCA cCB positive;

Добавьте дополнительные допущения, ограничивающие вероятности перехода. Это будет полезно при выборе желательных стационарных распределений позже.

assumeAlso([a, b, c, e, f, cCA, cCB] < 1 & d == 1);

Определите матрицу перехода. Государства A через F сопоставляются со столбцами и строками 1 через 6. Обратите внимание, что значения в каждой строке суммируются до единицы.

P = sym(zeros(6,6));
P(1,1:2) = [a 1-a];
P(2,1:2) = [1-b b];
P(3,1:4) = [cCA cCB c (1-cCA-cCB-c)];
P(4,4) = d;
P(5,5:6) = [e 1-e];
P(6,5:6) = [1-f f];
P

P = 
$$\left(\begin{array}{cccccc}a& 1-a& 0& 0& 0& 0\\ 1-b& b& 0& 0& 0& 0\\ \mathrm{cCA}& \mathrm{cCB}& c& 1-\mathrm{cCA}-\mathrm{cCB}-c& 0& 0\\ 0& 0& 0& d& 0& 0\\ 0& 0& 0& 0& e& 1-e\\ 0& 0& 0& 0& 1-f& f\end{array}\right)$$

Вычислите все возможные аналитические стационарные распределения состояний марковской цепи. Это задача извлечения собственных векторов с соответствующими собственными значениями, которые могут быть равны 1 для некоторого значения вероятностей перехода.

[V,D] = eig(P');

Аналитические собственные векторы

V

V = 
$$\begin{array}{l}\left(\begin{array}{cccccc}\frac{b-1}{a-1}& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{cCB}-b\hspace{0.17em}\mathrm{cCA}-b\hspace{0.17em}\mathrm{cCB}+c\hspace{0.17em}\mathrm{cCA}\right)}{{\sigma }_1}& 0& -1& 0\\ 1& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{cCA}-a\hspace{0.17em}\mathrm{cCA}-a\hspace{0.17em}\mathrm{cCB}+c\hspace{0.17em}\mathrm{cCB}\right)}{{\sigma }_1}& 0& 1& 0\\ 0& 0& -\frac{c-d}{c+\mathrm{cCA}+\mathrm{cCB}-1}& 0& 0& 0\\ 0& 0& 1& 1& 0& 0\\ 0& \frac{f-1}{e-1}& 0& 0& 0& -1\\ 0& 1& 0& 0& 0& 1\end{array}\right)\\ \\ \mathrm{where}\\ \\ \mathrm{ }{\sigma }_1=\left(c+\mathrm{cCA}+\mathrm{cCB}-1\right)\hspace{0.17em}\left(a+b-a\hspace{0.17em}c-b\hspace{0.17em}c+c^2-1\right)\end{array}$$

Аналитические собственные значения

diag(D)

ans = 
$$\left(\begin{array}{c}1\\ 1\\ c\\ d\\ a+b-1\\ e+f-1\end{array}\right)$$

Найдите собственные значения, которые в точности равны 1. Если есть какая-то неоднозначность в определении этого условия для какого-либо собственного значения, остановитесь с ошибкой - таким образом мы уверены, что приведенный ниже список индексов надежен, когда этот шаг успешен.

ix = find(isAlways(diag(D) == 1,'Unknown','error'));
diag(D(ix,ix))

ans = 
$$\left(\begin{array}{c}1\\ 1\\ d\end{array}\right)$$

Извлеките аналитические стационарные распределения. Собственные векторы нормализуются с помощью 1-нормы или sum(abs(X)) перед отображением.

for k = ix'
    V(:,k) = simplify(V(:,k)/norm(V(:,k)),1);
end
Probability = V(:,ix)

Probability = 
$$\begin{array}{l}\left(\begin{array}{ccc}\frac{b-1}{\left(a-1\right)\hspace{0.17em}{\sigma }_2}& 0& 0\\ \frac{1}{{\sigma }_2}& 0& 0\\ 0& 0& 0\\ 0& 0& 1\\ 0& \frac{f-1}{{\sigma }_1\hspace{0.17em}\left(e-1\right)}& 0\\ 0& \frac{1}{{\sigma }_1}& 0\end{array}\right)\\ \\ \mathrm{where}\\ \\ \mathrm{ }{\sigma }_1=\sqrt{\frac{{\left(f-1\right)}^2}{{\left(e-1\right)}^2}+1}\\ \\ \mathrm{ }{\sigma }_2=\sqrt{\frac{{\left(b-1\right)}^2}{{\left(a-1\right)}^2}+1}\end{array}$$

Вероятность устойчивого состояния A или B в первом случае собственного вектора является функцией вероятностей перехода a и b. Визуализация этой зависимости.

fsurf(Probability(1), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of A');

figure(2);
fsurf(Probability(2), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of B');

Стационарные распределения подтверждают следующее (состояния отзыва A через F соответствуют индексам строк 1 через 6 ):