Visszatérési állapot

A visszatérési állapot a Markov -lánc végtelen számú alkalommal meglátogatott állapota.

Definíció

Adjunk meg egy diszkrét idejű homogén Markov-láncot . Hadd $\{X_{n}\}_{n\geq 0}$

f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1 \mid X_{0}=i)

annak a valószínűsége , hogy pontosan lépésenként elhagyjuk az állapotot és visszatérünk oda . Akkor $én$ $n$

{\displaystyle f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)))

annak a valószínűsége, hogy az állapot elhagyása után visszatér abba (véges vagy végtelen ideig). $én$

Egy állapotot ismétlődőnek (visszatérőnek) nevezünk, ha . Egyébként az állapotot visszavonhatatlannak (tranziensnek) nevezzük . $én$ $f_{ii}=1$

Visszaküldési feltétel

Egy állapot akkor és csak akkor adható vissza, ha az alábbi feltételek bármelyike teljesül: $én$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty$ , hol . $p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$ .

Ennek megfelelően az állapot akkor és csak akkor visszavonhatatlan, ha az alábbi feltételek bármelyike teljesül: $én$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty$ .
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$ .

Visszatérési idő

Tegyük fel, hogy szinte mindenhol , és definiáljunk egy valószínűségi változót , amely megegyezik az állapotba való első visszatérés idejével , azaz. $X_{0}=i$ $T_{i}$ $én$

T_{i}=\inf\{n\geq 1\mid X_{n}=i\}

Ekkor a valószínűségi függvény által adott diszkrét eloszlása van $T_{i}$

{\displaystyle \mathbb {P} (T_{i}=n)=f_{ii}^{(n)))

A visszatérési állapotot pozitívnak nevezzük, ha $én$

\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty

és nulla ha

\mathbb {E} [T_{i}]=\infty

Egy felbonthatatlan osztály ismétlődése

Ha az és állapotok , és kölcsönösek, akkor az állapot is kölcsönös. $én$ $j$ $én$ $j$
Sőt, ha az állapot pozitív, akkor az állapot is pozitív. $én$ $j$

Így az ismétlődés és a pozitivitás a felbonthatatlan osztály tulajdonságai . Ha a Markov-lánc felbonthatatlan, akkor annak megismétlődéséről és pozitivitásáról beszélünk.

Az állapotok és Markov-láncok osztályozása
Állapot	időszakos visszaváltható elérhető visszavonhatatlan jelentéktelen nulla időszakos pozitív kommunikál jelentős
Lánc	időszakos visszaváltható visszavonhatatlan felbonthatatlan nulla időszakos pozitív lebontható ergodikus