Дискретное пространство состояний процесс Маркова или Цепь Маркова, представлено ориентированным графом и описано правильно-стохастической матрицей P перехода. Распределение состояний во время t+1 является распределением состояний во время t умноженный на P. Структура P определяет эволюционную траекторию цепи, включая asymptotics.
Для обзора аналитических инструментов Цепи Маркова смотрите, что Цепь Маркова Моделирует.
Цепи Маркова являются дискретным состоянием процессы Маркова, описанные правильно-стохастической матрицей перехода и представленные ориентированным графом.
dtmc класс обеспечивает основные инструменты для моделирования и анализа дискретных цепей Маркова. Класс поддерживает цепи с конечным числом состояний, которые развиваются в дискретное время с гомогенной временем структурой перехода.
Создайте и измените объекты модели цепи Маркова
Создайте объект модели Цепи Маркова из матрицы переходов вероятностей или наблюдаемых количеств, и создайте случайную Цепь Маркова с заданной структурой.
Визуализируйте структуру цепи Маркова и эволюцию
Визуализируйте структуру и эволюцию модели Цепи Маркова при помощи dtmc функции построения графика.
Работа с изменениями состояния
В этом примере показано, как работать с данными о переходе из эмпирического массива количеств состояния и создать дискретную цепь Маркова (dtmc) модель, характеризующая изменения состояния.
Определите асимптотическое поведение цепи Маркова
Вычислите стационарное распределение Цепи Маркова, оцените ее смешивание времени и определите, является ли цепь эргодической и приводимой.
Сравните времена смешивания цепи Маркова
Сравните предполагаемые времена смешивания нескольких Цепей Маркова с отличными структурами.
Идентифицируйте классы в цепи Маркова
Программно и визуально идентифицируйте классы в Цепи Маркова.
Симулируйте случайные обходы через цепь Маркова
Сгенерируйте и визуализируйте случайные обходы через Цепь Маркова.
Вычислите распределенность цепи Маркова на каждом временном шаге
Вычислите и визуализируйте перераспределения состояния, которые показывают эволюцию детерминированных распределений состояния в зависимости от времени от начального распределения.