Анализ цепи Маркова и стационарное распределение

В этом примере показано, как вывести символьное стационарное распределение тривиальной Цепи Маркова путем вычисления ее собственного разложения.

Стационарное распределение представляет ограничение, независимое от времени, распределение состояний для процесса Маркова как количество увеличения шагов или переходов.

Задайте (положительные) вероятности перехода между состояниями A через F как показано в вышеупомянутом изображении.

syms a b c d e f cCA cCB positive;

Добавьте дальнейшие предположения, ограничивающие вероятности перехода. Это будет полезно в выборе желательных стационарных распределений позже.

assumeAlso([a, b, c, e, f, cCA, cCB] < 1 & d == 1);

Задайте матрицу перехода. Состояния A через F сопоставлены со столбцами и строками 1 через 6. Отметьте значения в каждой сумме строки до одной.

P = sym(zeros(6,6));
P(1,1:2) = [a 1-a];
P(2,1:2) = [1-b b];
P(3,1:4) = [cCA cCB c (1-cCA-cCB-c)];
P(4,4) = d;
P(5,5:6) = [e 1-e];
P(6,5:6) = [1-f f];
P

P = 
$$\left(\begin{array}{cccccc}a& 1-a& 0& 0& 0& 0\\ 1-b& b& 0& 0& 0& 0\\ \mathrm{cCA}& \mathrm{cCB}& c& 1-\mathrm{cCA}-\mathrm{cCB}-c& 0& 0\\ 0& 0& 0& d& 0& 0\\ 0& 0& 0& 0& e& 1-e\\ 0& 0& 0& 0& 1-f& f\end{array}\right)$$

Вычислите все возможные аналитические стационарные распределения состояний Цепи Маркова. Это - проблема извлечения собственных векторов с соответствующими собственными значениями, которые могут быть равны 1 для некоторого значения вероятностей перехода.

[V,D] = eig(P');

Аналитические собственные вектора

V

V = 
$$\begin{array}{l}\left(\begin{array}{cccccc}\frac{b-1}{a-1}& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{cCB}-b\hspace{0.17em}\mathrm{cCA}-b\hspace{0.17em}\mathrm{cCB}+c\hspace{0.17em}\mathrm{cCA}\right)}{{\sigma }_1}& 0& -1& 0\\ 1& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{cCA}-a\hspace{0.17em}\mathrm{cCA}-a\hspace{0.17em}\mathrm{cCB}+c\hspace{0.17em}\mathrm{cCB}\right)}{{\sigma }_1}& 0& 1& 0\\ 0& 0& -\frac{c-d}{c+\mathrm{cCA}+\mathrm{cCB}-1}& 0& 0& 0\\ 0& 0& 1& 1& 0& 0\\ 0& \frac{f-1}{e-1}& 0& 0& 0& -1\\ 0& 1& 0& 0& 0& 1\end{array}\right)\\ \\ \mathrm{where}\\ \\ \mathrm{ }{\sigma }_1=\left(c+\mathrm{cCA}+\mathrm{cCB}-1\right)\hspace{0.17em}\left(a+b-a\hspace{0.17em}c-b\hspace{0.17em}c+c^2-1\right)\end{array}$$

Аналитические собственные значения

diag(D)

ans = 
$$\left(\begin{array}{c}1\\ 1\\ c\\ d\\ a+b-1\\ e+f-1\end{array}\right)$$

Найдите собственные значения, которые точно равны 1. Если существует неоднозначность в определении этого условия для какого-либо собственного значения, остановитесь с ошибкой - этот способ, которым мы уверены, что ниже списка индексов надежно, когда этот шаг успешен.

ix = find(isAlways(diag(D) == 1,'Unknown','error'));
diag(D(ix,ix))

ans = 
$$\left(\begin{array}{c}1\\ 1\\ d\end{array}\right)$$

Извлеките аналитические стационарные распределения. Собственные вектора нормированы с 1 нормой или sum(abs(X)) до display.

for k = ix'
    V(:,k) = simplify(V(:,k)/norm(V(:,k)),1);
end
Probability = V(:,ix)

Probability = 
$$\begin{array}{l}\left(\begin{array}{ccc}\frac{b-1}{\left(a-1\right)\hspace{0.17em}{\sigma }_2}& 0& 0\\ \frac{1}{{\sigma }_2}& 0& 0\\ 0& 0& 0\\ 0& 0& 1\\ 0& \frac{f-1}{{\sigma }_1\hspace{0.17em}\left(e-1\right)}& 0\\ 0& \frac{1}{{\sigma }_1}& 0\end{array}\right)\\ \\ \mathrm{where}\\ \\ \mathrm{ }{\sigma }_1=\sqrt{\frac{{\left(f-1\right)}^2}{{\left(e-1\right)}^2}+1}\\ \\ \mathrm{ }{\sigma }_2=\sqrt{\frac{{\left(b-1\right)}^2}{{\left(a-1\right)}^2}+1}\end{array}$$

Вероятность устойчивого состояния, являющегося A или B в первом собственном векторе случай является функцией вероятностей перехода a и b. Визуализируйте эту зависимость.

fsurf(Probability(1), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of A');

figure(2);
fsurf(Probability(2), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of B');

Стационарные распределения подтверждают следующее (Вспомните, утверждает A через F соответствуйте индексам строки 1 через 6 ):