Документация

Анализ цепи Маркова и стационарное распределение

Этот пример показывает, как вывести символьное стационарное распределение тривиальной Цепи Маркова путем вычисления ее собственного разложения.

Стационарное распределение представляет ограничение, независимое от времени, распределение состояний для процесса Маркова как количество увеличения шагов или переходов.

Задайте (положительные) вероятности перехода между состояниями A через F как показано в вышеупомянутом изображении.

syms a b c d e f cCA cCB positive;

Добавьте дальнейшие предположения, ограничивающие вероятности перехода. Это будет полезно в выборе желательных стационарных дистрибутивов позже.

assumeAlso([a, b, c, e, f, cCA, cCB] < 1 & d == 1);

Задайте матрицу перехода. Состояния A через F сопоставлены со столбцами и строками 1 через 6. Отметьте значения в каждой сумме строки до одной.

P = sym(zeros(6,6));
P(1,1:2) = [a 1-a];
P(2,1:2) = [1-b b];
P(3,1:4) = [cCA cCB c (1-cCA-cCB-c)];
P(4,4) = d;
P(5,5:6) = [e 1-e];
P(6,5:6) = [1-f f];
P

P = 
$$\left(\begin{array}{cccccc}a& 1-a& 0& 0& 0& 0\\ 1-b& b& 0& 0& 0& 0\\ \mathrm{cca}& \mathrm{CCB}& c& 1-\mathrm{cca}-\mathrm{CCB}-c& 0& 0\\ 0& 0& 0& d& 0& 0\\ 0& 0& 0& 0& e& 1-e\\ 0& 0& 0& 0& 1-f& f\end{array}\right)$$

Вычислите все возможные аналитические стационарные дистрибутивы состояний Цепи Маркова. Это - проблема извлечения собственных векторов с соответствующими собственными значениями, которые могут быть равны 1 для некоторого значения вероятностей перехода.

[V,D] = eig(P');

Аналитические собственные вектора

V

V = 
$$\begin{array}{l}\left(\begin{array}{cccccc}\frac{b-1}{a-1}& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{CCB}-b\hspace{0.17em}\mathrm{cca}-b\hspace{0.17em}\mathrm{CCB}+c\hspace{0.17em}\mathrm{cca}\right)}{{\sigma }_1}& 0& -1& 0\\ 1& 0& -\frac{\left(c-d\right)\hspace{0.17em}\left(\mathrm{cca}-a\hspace{0.17em}\mathrm{cca}-a\hspace{0.17em}\mathrm{CCB}+c\hspace{0.17em}\mathrm{CCB}\right)}{{\sigma }_1}& 0& 1& 0\\ 0& 0& -\frac{c-d}{c+\mathrm{cca}+\mathrm{CCB}-1}& 0& 0& 0\\ 0& 0& 1& 1& 0& 0\\ 0& \frac{f-1}{e-1}& 0& 0& 0& -1\\ 0& 1& 0& 0& 0& 1\end{array}\right)\\ \\ \mathrm{где}\\ \\ \mathrm{ }{\sigma }_1=\left(c+\mathrm{cca}+\mathrm{CCB}-1\right)\hspace{0.17em}\left(a+b-a\hspace{0.17em}c-b\hspace{0.17em}c+c^2-1\right)\end{array}$$

Аналитические собственные значения

diag(D)

ans = 
$$\left(\begin{array}{c}1\\ 1\\ c\\ d\\ a+b-1\\ e+f-1\end{array}\right)$$

Найдите собственные значения, которые точно равны 1. Если существует неоднозначность в определении этого условия для какого-либо собственного значения, остановитесь с ошибкой - этот способ, которым мы уверены, что ниже списка индексов надежно, когда этот шаг успешен.

ix = find(isAlways(diag(D) == 1,'Unknown','error'));
diag(D(ix,ix))

ans = 
$$\left(\begin{array}{c}1\\ 1\\ d\end{array}\right)$$

Извлеките аналитические стационарные дистрибутивы. Собственные вектора нормированы с 1 нормой или sum(abs(X)) до display.

for k = ix'
    V(:,k) = simplify(V(:,k)/norm(V(:,k)),1);
end
Probability = V(:,ix)

Probability = 
$$\begin{array}{l}\left(\begin{array}{ccc}\frac{b-1}{\left(a-1\right)\hspace{0.17em}{\sigma }_2}& 0& 0\\ \frac{1}{{\sigma }_2}& 0& 0\\ 0& 0& 0\\ 0& 0& 1\\ 0& \frac{f-1}{{\sigma }_1\hspace{0.17em}\left(e-1\right)}& 0\\ 0& \frac{1}{{\sigma }_1}& 0\end{array}\right)\\ \\ \mathrm{где}\\ \\ \mathrm{ }{\sigma }_1=\sqrt{\frac{{\left(f-1\right)}^2}{{\left(e-1\right)}^2}+1}\\ \\ \mathrm{ }{\sigma }_2=\sqrt{\frac{{\left(b-1\right)}^2}{{\left(a-1\right)}^2}+1}\end{array}$$

Вероятность устойчивого состояния, являющегося A или B в первом случае собственного вектора, является функцией вероятностей перехода a и b. Визуализируйте эту зависимость.

fsurf(Probability(1), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of A');

figure(2);
fsurf(Probability(2), [0 1 0 1]);
xlabel a
ylabel b
title('Probability of B');

Стационарные дистрибутивы подтверждают следующее (Вспомните, утверждает, что A через F соответствует индексам строки 1 через 6):