Процессы Маркова являются примерами стохастических процессов — процессы, которые генерируют случайные последовательности результатов или states согласно определенным вероятностям. Процессы Маркова отличают, будучи без памяти — их следующее состояние зависит только от их текущего состояния, не от истории, которая привела их туда. Модели процессов Маркова используются в большом разнообразии приложений от ежедневных курсов акций до положений генов в хромосоме.
Модели Маркова дают визуальное представление с диаграммой состояний, такой как та ниже.
Диаграмма состояний для модели Маркова
Прямоугольники в схеме представляют возможные состояния процесса, который вы пытаетесь смоделировать, и стрелы представляют переходы между состояниями. Метка на каждой стреле представляет вероятность того перехода. На каждом шаге процесса модель может сгенерировать выход или emission, в зависимости от которого состояния это находится в, и затем делает переход к другому состоянию. Важная характеристика моделей Маркова - то, что следующее состояние зависит только от текущего состояния, а не от истории переходов, которые приводят к текущему состоянию.
Например, для последовательности бросков монеты два состояния являются головами и хвостами. Новый бросок монеты определяет текущее состояние модели, и каждый последующий бросок определяет переход к следующему состоянию. Если монета справедлива, вероятности перехода являются всем 1/2. Эмиссия может просто быть текущим состоянием. В более сложных моделях вероятностные процессы в каждом состоянии сгенерируют эмиссию. Вы могли, например, прокрутить умирание, чтобы определить эмиссию на любом шаге.
Markov chains является математическими описаниями моделей Маркова с дискретным набором состояний. Цепи Маркова характеризуются:
Набор состояний {1, 2..., M}
M-by-M transition matrix T, чей i, запись j является вероятностью перехода от i состояния, чтобы утвердить j. Сумма записей в каждой строке T должна быть 1, потому что это - сумма вероятностей создания перехода от данного состояния до каждого из других состояний.
Набор возможных выходных параметров или эмиссии, {s1, s2..., sN}. По умолчанию набор эмиссии {1, 2..., N}, где N является количеством возможной эмиссии, но можно выбрать различное значение чисел или символы.
M на n emission matrix E, чей i, запись k дает вероятность испускания символа sk, учитывая, что модель находится в i состояния.
Цепи Маркова начинаются в i initial state 0 на шаге 0. Цепь затем переходы, чтобы утвердить i1 с вероятностью , и испускает выход с вероятностью . Следовательно, вероятность наблюдения последовательности состояний и последовательность эмиссии на первых шагах r,
