Проверяйте Цепь Маркова на приводимость
Рассмотрите эту матрицу перехода с тремя состояниями.
Создайте Цепь Маркова, которая характеризуется матрицей P перехода.
P = [0.5 0.5 0; 0.5 0.5 0; 0 0 1]; mc = dtmc(P);
Определите, приводима ли Цепь Маркова.
isreducible(mc)
ans = logical
1
1 указывает на тот mc приводимо.
Визуально подтвердите приводимость Цепи Маркова путем графического вывода ее диграфа.
figure; graphplot(mc);
Две независимых цепи появляются на рисунке. Этот результат показывает, что можно анализировать эти две цепи отдельно.
Цепь Маркова mc неприводимо, если каждое состояние достижимо от любого состояния в в большей части n – 1 шаг, где n является количеством состояний (mc.NumStates). Этот результат эквивалентен Q = (I + Z)n – 1 содержа все положительные элементы. I является n-by-n единичная матрица. Матрица нулевого шаблона матрицы перехода P (mc.P) Z i j = I (P i j> 0), для всего i, j
[2]. Определить приводимость, isreducible вычисляет Q.
Теоремой Крыльца-Frobenius [2], неприводимые Цепи Маркова имеют уникальные стационарные распределения. Unichains, которые состоят из одного текущего класса плюс переходные классы, также имеют уникальные стационарные распределения (с нулевой вероятностной мерой в переходных классах). Приводимые цепи с несколькими текущими классами имеют стационарные распределения, которые зависят от начального распределения.
[1] Gallager, R.G. Стохастические процессы: теория для приложений. Кембридж, Великобритания: Издательство Кембриджского университета, 2013.
[2] Рог, R. и К. Р. Джонсон. Анализ матрицы. Кембридж, Великобритания: Издательство Кембриджского университета, 1985.