Проверяйте марковскую цепь на редуктивность
tf = isreducible(mc)true если дискретная цепь Маркова mc является редуцируемым и false в противном случае.
Рассмотрим эту матрицу перехода с тремя состояниями.
Создайте марковскую цепь, которая характеризуется переходной матрицей P.
P = [0.5 0.5 0; 0.5 0.5 0; 0 0 1]; mc = dtmc(P);
Определите, является ли цепь Маркова редуцируемой.
isreducible(mc)
ans = logical
1
1 указывает, что mc является редуцируемым.
Визуально подтвердить редуктивность марковской цепи путем построения её диграф.
figure; graphplot(mc);
На рисунке появляются две независимые цепи. Этот результат указывает, что можно анализировать две цепи отдельно.
Цепь Маркова mc неприводимо, если каждое состояние достижимо из каждого другого состояния самое большее n - 1 шаг, где n количество состояний (mc.NumStates). Этот результат эквивалентен Q = (I + Z)n – 1 содержащие все положительные элементы. I является n единичной матрицей n -by. Матрица нулевого шаблона матрицы перехода P (mc.P) <reservedrangesplaceholder8> <reservedrangesplaceholder7> <reservedrangesplaceholder6>
= I (P <reservedrangesplaceholder3> <reservedrangesplaceholder2>> 0), для всего i, <reservedrangesplaceholder0> [2]. Чтобы определить редуктивность,isreducible вычисляет Q.
По теореме Перрона-Фробениуса [2] неприводимые марковские цепи имеют уникальные стационарные распределения. Unichains, которые состоят из одного рекуррентного класса плюс переходных классов, также имеют уникальные стационарные распределения (с нулевой массой вероятностей в переходных классах). Редуктивные цепи с несколькими рекуррентными классами имеют стационарные распределения, которые зависят от начального распределения.
[1] Gallager, R.G. Stochastic Processes: Theory for Applications. Кембридж, Великобритания: Cambridge University Press, 2013.
[2] Хорн, Р. и К. Р. Джонсон. Матричный анализ. Кембридж, Великобритания: Cambridge University Press, 1985.