Вопрос 9

Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова (старшего).
Граф переходов, связность и эргодические цепи Маркова
Для цепи Маркова с непрерывным временем строится ориентированный граф переходов (кратко — граф переходов) по следующим правилам:

Множество вершин графа совпадает со множеством состояний цепи.
Вершины $Описание: i,j \, (i\neq j)$ соединяются ориентированным ребром $Описание: i \to j$ , если qij > 0 (то есть интенсивность потока из iго состояния в jе положительна.

Топологические свойства графа переходов связаны со спектральными свойствами матрицы $Описание: \mathbf{Q}$ . В частности, для конечных цепей Маркова верны следующие теоремы:

Следующие три свойства А, Б, В конечной цепи Маркова эквивалентны (обладающие ими цепи иногда называют слабо эргодическими):

А. Для любых двух различных вершин графа переходов $Описание: i,j \, (i\neq j)$ найдется такая вершина k графа («общий сток»), что существуют ориентированные пути от вершины i к вершине k и от вершины j к вершине k. Замечание: возможен случай k = i или k = j; в этом случае тривиальный (пустой) путь от i к i или от j к j также считается ориентированным путем.
Б. Нулевое собственное число матрицы $Описание: \mathbf{Q}$ невырождено.
В. При $Описание: t \to \infty$ матрица $Описание: \mathbf{P}(t)$ стремится к матрице, у которой все строки совпадают (и совпадают, очевидно, с равновесным распределением).

Следующие пять свойств А, Б, В, Г, Д конечной цепи Маркова эквивалентны (обладающие ими цепи называют эргодическими):

А. Граф переходов цепи ориентированно связен.
Б. Нулевое собственное число матрицы $Описание: \mathbf{Q}$ невырождено и ему соответствует строго положительный левый собственный вектор (равновесное распределение).
В. Для некоторого t > 0 матрица $Описание: \mathbf{P}(t)$ строго положительна (то есть Pij(t) > 0 для всех i,j).
Г. Для всех t > 0 матрица $Описание: \mathbf{P}(t)$ строго положительна.
Д. При $Описание: t \to \infty$ матрица $Описание: \mathbf{P}(t)$ стремится к строго положительной матрице, у которой все строки совпадают (и совпадают, очевидно, с равновесным распределением).
Примеры

Рис. Примеры графов переходов для цепей Маркова: a) цепь не является слабо эргодической (не существует общего стока для состояний $Описание: A_2, \, A_3$ ); b) слабо эргодическая, но не эргодическая цепь (граф переходов не является ориентированно связным) c) эргодическая цепь (граф переходов ориентированно связен).
Рассмотрим цепи Маркова с тремя состояниями и с непрерывным временем, соответствующие графам переходов, представленным на рис. В случае (a) отличны от нуля только следующие недиагональные элементы матрицы интенсивностей — $Описание: q_{12}, \, q_{13}$ , в случае (b) отличны от нуля только $Описание: q_{12}, \, q_{31} \, q_{32}$ , а в случае (c) — $Описание: q_{12}, \, q_{31} \, q_{23}$ . Остальные элементы определяются свойствами матрицы $Описание: \mathbf{Q}$ (сумма элементов в каждой строке равна 0). В результате для графов (a), (b), (c) матрицы интенсивностей имеют вид: $Описание: \mathbf{Q}_a=\begin{pmatrix} -(q_{12}+q_{13})& q_{12} & q_{13}\\ 0& 0 & 0 \\ 0& 0 & 0 \end{pmatrix},$ $Описание: \mathbf{Q}_b=\begin{pmatrix} -q_{12}& q_{12} & 0 \\ 0& 0 & 0 \\ q_{31}& q_{32} & -(q_{31}+q_{32}) \end{pmatrix},$ $Описание: \mathbf{Q}_c=\begin{pmatrix} -q_{12}& q_{12} & 0 \\ 0& -q_{23} & q_{23} \\ q_{31}& 0& -q_{31} \end{pmatrix},$

На Главную