Elérhető állapot

Definíció

Legyen egy diszkrét idejű , homogén Markov-lánc . Egy állapotról azt mondjuk , hogy elérhető egy állapotból , ha létezik ilyen $\{X_{n}\}_{n\in \mathbb {N} }$ $j$ $én$ ${\megjelenítési stílus n=n(i,j)}$

p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0

Írnak . $i\rightarrow j$

Kommunikáló államok

állapotok és úgynevezett kommunikáló if és . Azt írjuk: . $én$ $j$ $i\rightarrow j$ $j\rightarrow i$ $i balra jobbra nyíl j$
A kommunikációs tulajdonság ekvivalencia relációt generál az állapottéren . A generált ekvivalencia osztályokat felbonthatatlan osztályoknak nevezzük . Ha egy Markov-lánc olyan, hogy állapotai csak egy felbonthatatlan osztályt alkotnak, akkor felbonthatatlannak nevezzük .
Az ugyanahhoz a felbonthatatlan osztályhoz tartozó állapotok vagy mind visszatérőek , vagy mind nem visszatérőek. Így egy felbonthatatlan osztály egésze vagy visszatérő vagy nem visszatérő. Végül egy irreducibilis Markov-lánc vagy teljesen visszatérő, vagy teljesen visszafordíthatatlan.

Példák

Legyen egy háromállapotú Markov-lánc , amelynek átmeneti valószínűségi mátrixa a következő alakú $\{X_{n}\}_{n\geq 0}$ ${\megjelenítési stílus \{1,2,3\))$

P=\left({\begin{mátrix}0,5&0,5&0\\0,1&0,9&0\\0&0&1\end{mátrix}}\jobbra).

Ennek a láncnak az állapotai két felbonthatatlan osztályt alkotnak: és . Különösen , hanem . $\{1,2\}$ ${\displaystyle \{3\))$ $1\leftrightarrow 2$ $1\not \rightarrow 3$ $3\not \rightarrow 1$

Az átmeneti valószínűségek mátrixa által meghatározott Markov-lánc

P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{mátrix}}\jobbra)

felbonthatatlan.

Az állapotok és Markov-láncok osztályozása
Állapot	időszakos visszaváltható elérhető visszavonhatatlan jelentéktelen nulla időszakos pozitív kommunikál jelentős
Lánc	időszakos visszaváltható visszavonhatatlan felbonthatatlan nulla időszakos pozitív lebontható ergodikus