Марковский анализ цепи и стационарное распределение

Этот пример показывает, как вывести символическое стационарное распределение тривиальной марковской цепи путем вычисления ее собственного разложения.

Стационарное распределение представляет ограничение, независимое от времени, распределение состояний для марковского процесса, когда количество шагов или переходов увеличивается.

Задайте (положительные) вероятности перехода между состояниями A через F как показано на вышеописанном изображении.

syms a b c d e f cCA cCB positive;

Добавьте дополнительные допущения, ограничивающие вероятности перехода. Это будет полезно при выборе желаемых стационарных распределений позже.

assumeAlso([a, b, c, e, f, cCA, cCB] < 1 & d == 1);

Задайте матрицу переходов. Состояния A через F сопоставлены со столбцами и строками 1 через 6. Обратите внимание на значения в каждой строке до единицы.

P = sym(zeros(6,6));
P(1,1:2) = [a 1-a];
P(2,1:2) = [1-b b];
P(3,1:4) = [cCA cCB c (1-cCA-cCB-c)];
P(4,4) = d;
P(5,5:6) = [e 1-e];
P(6,5:6) = [1-f f];
P

P = 
$$\left(\begin{array}{cccccc}a& 1-a& 0& 0& 0& 0\\ 1-b& b& 0& 0& 0& 0\\ \mathrm{cCA}& \mathrm{cCB}& c& 1-\mathrm{cCA}-\mathrm{cCB}-c& 0& 0\\ 0& 0& 0& d& 0& 0\\ 0& 0& 0& 0& e& 1-e\\ 0& 0& 0& 0& 1-f& f\end{array}\right)$$

Вычислите все возможные аналитические стационарные распределения состояний марковской цепи. Это задача извлечения собственных векторов с соответствующими собственными значениями, которые могут быть равны 1 для некоторого значения вероятностей перехода.

[V,D] = eig(P');

Аналитические собственные векторы

V

V = 
$$\begin{array}{l}\left(\begin{array}{cccccc}\frac{b-1}{a-1}& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{cCB}-b\hspace{0.17em}\mathrm{cCA}-b\hspace{0.17em}\mathrm{cCB}+c\hspace{0.17em}\mathrm{cCA}\right)}{{\sigma }_1}& 0& -1& 0\\ 1& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{cCA}-a\hspace{0.17em}\mathrm{cCA}-a\hspace{0.17em}\mathrm{cCB}+c\hspace{0.17em}\mathrm{cCB}\right)}{{\sigma }_1}& 0& 1& 0\\ 0& 0& -\frac{c-d}{c+\mathrm{cCA}+\mathrm{cCB}-1}& 0& 0& 0\\ 0& 0& 1& 1& 0& 0\\ 0& \frac{f-1}{e-1}& 0& 0& 0& -1\\ 0& 1& 0& 0& 0& 1\end{array}\right)\\ \\ \mathrm{where}\\ \\ \mathrm{ }{\sigma }_1=\left(c+\mathrm{cCA}+\mathrm{cCB}-1\right)\hspace{0.17em}\left(a+b-a\hspace{0.17em}c-b\hspace{0.17em}c+c^2-1\right)\end{array}$$

Аналитические собственные значения

diag(D)

ans = 
$$\left(\begin{array}{c}1\\ 1\\ c\\ d\\ a+b-1\\ e+f-1\end{array}\right)$$

Найдите собственные значения, которые в точности равны 1. Если есть какая-либо неоднозначность в определении этого условия для любого собственного значения, остановитесь с ошибкой - так мы уверены, что ниже список индексов надежен, когда этот шаг успешен.

ix = find(isAlways(diag(D) == 1,'Unknown','error'));
diag(D(ix,ix))

ans = 
$$\left(\begin{array}{c}1\\ 1\\ d\end{array}\right)$$

Извлеките аналитические стационарные распределения. Собственные векторы нормированы 1-нормой или sum(abs(X)) перед отображением .

for k = ix'
    V(:,k) = simplify(V(:,k)/norm(V(:,k)),1);
end
Probability = V(:,ix)

Probability = 
$$\begin{array}{l}\left(\begin{array}{ccc}\frac{b-1}{\left(a-1\right)\hspace{0.17em}{\sigma }_2}& 0& 0\\ \frac{1}{{\sigma }_2}& 0& 0\\ 0& 0& 0\\ 0& 0& 1\\ 0& \frac{f-1}{{\sigma }_1\hspace{0.17em}\left(e-1\right)}& 0\\ 0& \frac{1}{{\sigma }_1}& 0\end{array}\right)\\ \\ \mathrm{where}\\ \\ \mathrm{ }{\sigma }_1=\sqrt{\frac{{\left(f-1\right)}^2}{{\left(e-1\right)}^2}+1}\\ \\ \mathrm{ }{\sigma }_2=\sqrt{\frac{{\left(b-1\right)}^2}{{\left(a-1\right)}^2}+1}\end{array}$$

Вероятность того, что установившееся состояние A или B в первом собственном векторном случае является функцией вероятностей перехода a и b. Визуализируйте эту зависимость.

fsurf(Probability(1), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of A');

figure(2);
fsurf(Probability(2), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of B');

Стационарные распределения подтверждают следующее (Состояния отзыва A через F соответствуют индексам строк 1 через 6 ):