Fisher információ

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2019. december 28-án felülvizsgált verziótól ; az ellenőrzések 9 szerkesztést igényelnek .

A Fisher-információ a feltételes valószínűségi sűrűség relatív változási sebességének négyzetének matematikai elvárása [1] . Ez a funkció Ronald Fisherről kapta a nevét, aki leírta . $p(x|\theta )$

Definíció

Legyen az adott statisztikai modell eloszlássűrűsége . Majd ha a függvény definiálva van $f(\theta,\;x_1,\pontok,\,x_n)$

I_{n}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{ n})}{\partial \theta }}\right)^{2},\;L=\sum _{i=1}^{n}\ln f(\theta ,x_{i})

ahol a log -likelihood függvény , és a matematikai elvárás adott , akkor ezt nevezzük Fisher információnak egy adott statisztikai modellhez független tesztekkel . $L(\theta,\;x_1,\pontok,\,x_n)$ ${\displaystyle \mathbb {E} _{\theta ))$ $x$ $\theta$ $n$

Ha kétszer differenciálható -hoz képest és bizonyos szabályossági feltételek mellett, a Fisher-információ átírható a következőre: [2] $\ln f(x;\theta)$ $\theta$

I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;X)}{\partial \theta}\right)^2 = - \mathbb{E} _\theta \left(\frac{\partial^2 L(\theta,\;X)}{\partial \theta^2}\jobb)

Szabályos minták esetén: ( Ez a szabályosság definíciója). $\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)=0$

Ebben az esetben, mivel a minta járulékfüggvény elvárása nulla, a felírt érték megegyezik a szórásával.

Az egy megfigyelésben található Fisher-féle információ mennyiségét:

I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x_{i})}{\partial \ théta }}\jobbra)^{2}

A normál modelleknél mindenki egyenlő. $I_{i}(\theta )$

Ha a minta egy elemből áll, akkor a Fisher információ a következőképpen kerül felírásra:

I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x)}{\partial \theta }}\jobbra) ^{2}

A szabályosság feltételéből, valamint abból, hogy valószínűségi változók függetlensége esetén az összeg szórása egyenlő a szórások összegével, az következik, hogy független teszteknél . $n$ $I_{n}(\theta )=nI(\theta )$

Tulajdonságok

A szórások fenti tulajdonságából következik, hogy a valószínűségi változók függetlensége esetén (egy statisztikai modellben figyelembe véve) az összegük Fisher-információja megegyezik az egyes változók Fisher-információinak összegével. $\xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)$

Információ mentése elegendő statisztikával

Általában, ha a minta statisztika X , akkor $T = t(X)$

I_T(\theta)\leq I_X(\theta)

Ezenkívül az egyenlőség akkor és csak akkor érhető el , ha T elegendő statisztika .

Egy elegendő statisztika annyi Fisher-információt tartalmaz, mint a teljes X minta . Ez kimutatható a Neumann-féle faktorizációs teszttel , hogy elegendő statisztikai adatot kapjunk. Ha a statisztika elegendő a paraméterhez , akkor vannak g és h függvények , amelyek: $T(X)$ $\theta$

f(X;\theta )=g(T(X),\theta )h(X)

Az információk egyenlősége a következőkből következik:

\frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right] = \frac{\partial}{\partial\theta} \ln \left[g(T(X) );\theta)\right]

ami a Fisher-információ meghatározásából és az attól való függetlenségből következik . $h(X)$ $\theta$

Lásd még

Az információelméletben használt egyéb intézkedések :

Jegyzetek

↑ Leman, 1991 , p. 112.
↑ Lehmann, E.L. ; Casella, G. A pontbecslés elmélete (neopr.) . — 2. kiadás. - Springer, 1998. - ISBN 0-387-98502-6 . , ekv. (2.5.16).

Irodalom

Leman E. A pontbecslés elmélete. — M .: Nauka, 1991. — 448 p. — ISBN 5-02-013941-6 .