Проверяйте Цепь Маркова на приводимость
tf = isreducible(mc)Рассмотрите эту матрицу перехода с тремя состояниями.
Создайте Цепь Маркова, которая характеризуется матрицей P перехода.
P = [0.5 0.5 0; 0.5 0.5 0; 0 0 1]; mc = dtmc(P);
Определите, приводима ли Цепь Маркова.
isreducible(mc)
ans = logical
1
1 указывает, что mc приводим.
Визуально подтвердите приводимость Цепи Маркова путем графического вывода ее диграфа.
figure; graphplot(mc);
Две независимых цепочки появляются в фигуре. Этот результат показывает, что можно анализировать эти две цепочки отдельно.
mc Цепи Маркова неприводим, если каждое состояние достижимо от любого состояния в в большей части n – 1 шаг, где n является количеством состояний (mc.NumStates). Этот результат эквивалентен Q = (I + Z) n – 1 содержащий все положительные элементы. I является n-by-n единичная матрица. Матрицей нулевого шаблона матрицы перехода P (mc.P) является Z i j = I (P i j> 0), для всего i, j
[2]. Чтобы определить приводимость, isreducible вычисляет Q.
Теоремой Крыльца-Frobenius [2], неприводимые Цепи Маркова имеют уникальные стационарные дистрибутивы. Unichains, которые состоят из одного текущего класса плюс переходные классы, также имеют уникальные стационарные дистрибутивы (с нулевой вероятностной мерой в переходных классах). Приводимые цепочки с несколькими текущими классами имеют стационарные дистрибутивы, которые зависят от начального распределения.
[1] Gallager, R.G. Стохастические процессы: теория для приложений. Кембридж, Великобритания: Издательство Кембриджского университета, 2013.
[2] Рог, R. и К. Р. Джонсон. Анализ матрицы. Кембридж, Великобритания: Издательство Кембриджского университета, 1985.