Lényeges állapot

Egy lényeges állapot egy Markov-lánc állapota, amelyből kilépés után mindig visszatérhet abba.

Definíció

Legyen adott egy homogén Markov-lánc diszkrét idővel és diszkrét állapottérrel . Ekkor azt az állapotot nevezzük lényegtelennek , ha létezik olyan állapot és ilyen $\{X_{n}\}_{n\geq 0}$ $\{1,2,\ldots\}$ $én$ $j$ $n_{ij}\in \mathbb {N}$

p_{ij}^{(n_{ij})}>0

, de .

p_{ji}^{(n)}=0,\quad \forall n\in \mathbb {N}

Ellenkező esetben az állapotot alapvetőnek nevezzük . $én$

Megjegyzés

A nem esszenciális állapotok nem játszanak szerepet a Markov-lánc hosszú távú viselkedésének vizsgálatában, ezért ezeket legtöbbször figyelmen kívül hagyják.

Példa

Legyen a Markov-lánc állapottere véges: , és az átmeneti valószínűségek mátrixának alakja: ${\megjelenítési stílus \{1,2,3,4\))$

P=\left({\begin{mátrix}0&1&0&0\\0&0&0.6&0.4\\0&0&0.5&0.5\\0&0&0.1&0.9\end{mátrix}}\jobbra)

Ezután az és állapotok lényegtelenek, míg és lényegesek. $egy$ $2$ $3$ $négy$

Az állapotok és Markov-láncok osztályozása
Állapot	időszakos visszaváltható elérhető visszavonhatatlan jelentéktelen nulla időszakos pozitív kommunikál jelentős
Lánc	időszakos visszaváltható visszavonhatatlan felbonthatatlan nulla időszakos pozitív lebontható ergodikus