Проверяйте Цепь Маркова на приводимость
Цепь Маркова mc
неприводимо, если каждое состояние достижимо от любого состояния в в большей части n – 1 шаг, где n является количеством состояний (mc.NumStates
). Этот результат эквивалентен Q = (I + Z) n – 1 содержащий все положительные элементы. I является n-by-n единичная матрица. Матрица нулевого шаблона матрицы перехода P (mc.P
) Z i j = I (P i j> 0), для всего i, j
[2]. Определить приводимость, isreducible
вычисляет Q.
Теоремой Крыльца-Frobenius [2], неприводимые Цепи Маркова имеют уникальные стационарные распределения. Unichains, которые состоят из одного текущего класса плюс переходные классы, также имеют уникальные стационарные распределения (с нулевой вероятностной мерой в переходных классах). Приводимые цепи с несколькими текущими классами имеют стационарные распределения, которые зависят от начального распределения.
[1] Gallager, R.G. Стохастические процессы: теория для приложений. Кембридж, Великобритания: Издательство Кембриджского университета, 2013.
[2] Рог, R. и К. Р. Джонсон. Анализ матрицы. Кембридж, Великобритания: Издательство Кембриджского университета, 1985.