Jeffreys előzetes valószínűség

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt hozzászólók, és jelentősen eltérhet a 2013. augusztus 15-én felülvizsgált verziótól ; az ellenőrzések 11 szerkesztést igényelnek .

A Bayesi statisztikában a Harold Jeffriesről elnevezett Jeffreys prior egy nem informatív (objektív) prior a paramétertérben, amely arányos Fisher információdeterminánsának négyzetgyökével :

p\left({\vec {\theta }}\right)\propto {\sqrt {\det {\mathcal {I}}\left({\vec {\theta }}\right))).

Legfontosabb jellemzője a paramétervektor paraméterezésével kapcsolatos invariancia . ${\vec {\theta }}$

Újraparametrizálás

Egy alternatív paraméterezéshez levezethető ${\vec {\varphi ))$

p({\vec {\varphi )))\propto {\sqrt {\det I({\vec {\varphi ))))))

tól től

p({\vec {\theta )))\propto {\sqrt {\det I({\vec {\theta ))))))

a változók változási tételével, a Fisher-információ definíciójával, és azzal, hogy a determinánsok szorzata a mátrixok szorzatának determinánsa:

{\begin{aligned}p({\vec {\varphi )))&=p({\vec {\theta )))\left|\det {\frac {\partial \theta _{i)){\ partial \varphi _{j))}\right|\\&\propto {\sqrt {\det I({\vec {\theta )))\,{\det }^{2}{\frac {\partial \theta _{i}}{\partial \varphi _{j}}}}\\&={\sqrt {\det {\frac {\partial \theta _{k}}{\partial \varphi _{ i))\,\det \operátornév {E} \!\left[{\frac {\partial \ln L}{\partial \theta _{k))}{\frac {\partial \ln L}{ \ partial \theta _{l}}}\right]\,\det {\frac {\partial \theta _{l}}{\partial \varphi _{j}}}}\\&={\sqrt { \det \operátornév {E} \!\left[\sum _{k,l}{\frac {\partial \theta _{k)){\partial \varphi _{i))}{\frac {\ partial \ln L}{\partial \theta _{k))}{\frac {\partial \ln L}{\partial \theta _{l))}{\frac {\partial \theta _{l)) { \partial \varphi _{j))}\right]}}\\&={\sqrt {\det \operátornév {E} \!\left[{\frac {\partial \ln L}{\partial \ varphi _{i))}{\frac {\partial \ln L}{\partial \varphi _{j))}\right]))={\sqrt {\det I({\vec {\varphi ))) }}.\end{igazított}}

Egy paraméter egyszerűbb esetben kiadhatja:

{\begin{aligned}p(\varphi )&=p(\theta )\left|{\frac {d\theta }{d\varphi }}\right|\propto {\sqrt {\operátornév {E} \ !\left[\left({\frac {d\ln L}{d\theta }}\right)^{2}\right]\left({\frac {d\theta }{d\varphi }}\ right)^{2))}\\&={\sqrt {\operátornév {E} \!\left[\left({\frac {d\ln L}{d\theta }}{\frac {d\ theta }{d\varphi }}\right)^{2}\right]}}={\sqrt {\operátornév {E} \!\left[\left({\frac {d\ln L}{d\ varphi }}\right)^{2}\right]}}={\sqrt {I(\varphi )}}.\end{aligned}}

Tulajdonságok

Gyakorlati és matematikai szempontból jó ok a nem informatív előzetes valószínűségek használatára, hogy ezek nem függenek attól a paraméterkészlettől, amelyben a paraméteres teret leírjuk.

Néha a Jeffreys priors nem normalizálható – ezt az esetet nem megfelelő priornak nevezik . Például ismert varianciájú Gauss-eloszlás esetén az átlag Jeffreys-előtti értéke egyenletes a valós tengely mentén.

A Jeffries priors használata sérti a maximális valószínűség elvének határozott megfogalmazását , amelyet sok, de nem minden statisztikus elfogad. Jeffreys előzetes valószínűségét használva az o következtetése nemcsak a megfigyelt adatok valószínűségeitől függ , hanem attól is függ, hogy a kísérlet megtervezésével meghatározott kísérlet összes lehetséges kimenetele milyen univerzumot tartalmaz. a Fisher-információt a kiválasztott univerzum elvárásai alapján számítják ki. Ennek megfelelően a Jeffreys-féle előzetes valószínűségek, és ebből következően az őket használó következtetések eltérőek lehetnek két, ugyanazt a paramétert , sőt ugyanazt a valószínűségi függvényt használó kísérletben – és ez sérti a maximális valószínűség elvének határozott megfogalmazását. ${\vec {\theta }}$ ${\vec {\theta }}$ ${\vec {\theta }}$

Példák

Jeffreys előzetes valószínűségét a feladat határozza meg. Kiszámítható egy adott eloszláscsaládhoz, ismeretlen paraméterrel. Megfordítva, egy adott disztribúció esetén feltehetjük a kérdést: melyik probléma ismeretlen paraméterrel, a disztribúció Jeffreys előtt lesz. Például a pozitív valós féltengely logaritmikus priorja a Jeffreys-prior egy Gauss-eloszlás esetén, amelynek paramétere a szórása , de nem a Poisson-eloszlás esetében a standard paraméterezésben, bár a paramétertér ugyanaz.

Gauss-eloszlás átlaggal paraméterként

Valós változó Gauss- eloszlásához : $x$

f(x|\mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}} }}

Jeffreys előzetes valószínűségi eloszlása az átlaghoz : $\mu$

{\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operátornév {E} \!\left[\left({\frac {d}{ d\mu }}\log f(x|\mu )\right)^{2}\right]}}={\sqrt {\operátornév {E} \!\left[\left({\frac {x- \mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x| \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {\frac {\sigma ^{2}}{ \sigma ^{4}}}}\propto 1.\end{aligned}}

Vagyis a Jeffreys -prior for egy nem normalizálható egyenletes eloszlás a valós tengelyen – minden pontra egyenlő 1-gyel (vagy bármely más rögzített állandóval). Ez a helytelen prior esete , és a konstans választásáig egyedi eltolás-invariáns eloszlás az egyetlen ismert információnak megfelelő valós számokon: a paraméter a pozíció mértéke és a pozíció hiánya miatti transzlációs invariancia. információ. $\mu$ $\mu$

Gauss-eloszlás szórással paraméterként

Valós változó Gauss- eloszlásához : $x$

f(x|\sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2))}{\sqrt {2\pi \sigma ^{2)) }},

A σ szórás Jeffreys előzetes valószínűségi eloszlása:

{\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operátornév {E} \!\left[\left({\frac {d}{ d\sigma }}\log f(x|\sigma )\right)^{2}\right]}}={\sqrt {\operátornév {E} \!\left[\left({\frac {(x) -\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\jobbra)^{2}\jobbra]}}\\&={\sqrt {\int _{- \infty }^{+\infty }f(x|\mu )\left({\frac {(x-\mu )^{2}-\sigma ^{2)){\sigma ^{3))} \right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2))))\propto {\frac {1}{|\sigma |}}.\end{igazított }}

Ennek megfelelően a log σ² (vagy log |σ|) Jeffreys-prior egy nem normalizálható egyenletes eloszlás a valós tengelyen, és logaritmikus priorként ismert . Meghatározása (egy tényezőig) pozitív valós számokon, skálainvariánsan történik, így a szórás a skála egyetlen mértéke. Az egységesség miatt nem megfelelő előzetes .

A Poisson-eloszlás a szabványos paraméterezésben

Egy nem negatív egész szám Poisson-eloszlásához : $n$

f(n|\lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},

paraméter előzetes valószínűségi eloszlása : $\lambda$

{\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operátornév {E} \!\left[\left({\frac {d}{ d\lambda }}\log f(x|\lambda )\right)^{2}\right]}}={\sqrt {\operátornév {E} \!\left[\left({\frac {n- \lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n|\lambda )\ left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{aligned}}

Ennek megfelelően a for Jeffreys prior egy nem normalizálható egyenletes eloszlás a nem negatív valós tengelyen, és ennek megfelelően nem megfelelő prior . ${\sqrt {\lambda ))$

Bernoulli teszt

Egy fej és farok valószínűségű érmére adott (H,T) ∈ {(0,1), (1,0)} valószínűsége van . Jeffreys előzetes valószínűségi eloszlása a paraméterhez : $\gamma$ $1-\gamma$ $\gamma ^{H}(1-\gamma )^{T}$ $\gamma$

{\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operátornév {E} \!\left[\left({\frac {d}{ d\gamma }}\log f(x|\gamma )\right)^{2}\right]}}={\sqrt {\operátornév {E} \!\left[\left({\frac {H} {\gamma }}-{\frac {T}{1-\gamma }}\jobbra)^{2}\jobbra]}}\\&={\sqrt {\gamma \left({\frac {1} {\gamma }}-{\frac {0}{1-\gamma }}\jobbra)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\ frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{igazított} }

Ezek az arszinusz eloszlás és a béta eloszlás , ahol α = β = ½. Sőt, ha a Jeffreys-előzetes eloszlás egyenletes az intervallumon . Ennek megfelelően az egész körön is egyenletesen . $\gamma =\sin ^{2}(\theta )$ $\theta$ $[0,{\frac {\pi }{2}}]$ $\theta$ $[0,2\pi ]$

N oldalú dobókocka torzított valószínűségekkel

Hasonlóképpen, egy N - oldalas kockahengernél , amelynek a homlokvalószínűsége kielégítő , a Jeffreys-prior for egy Dirichlet-eloszlás , amelynek minden α értéke ½ . Konkrétan, ha mindegyikre , akkor a Jeffreys-prior for egyenletes az ( N – 1)-dimenziós egységgömbön (azaz egységes az N - dimenziós egységgömb felületén ). ${\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})$ $\sum _{i=1}^{N}\gamma _{i}=1$ ${\vec {\gamma ))$ $\gamma _{i}={\phi _{i}}^{2}$ $én$ ${\vec {\phi ))$

Linkek

Jeffreys, H. Invariant Form for the Prior Probability in Estimation Problems (angol) // Proceedings of the Royal Society of London. A sorozat, Matematikai és fizikai tudományok : folyóirat. - 1946. - 1. évf. 186. sz . 1007 . - P. 453-461 . - doi : 10.1098/rspa.1946.0056 .

Jeffreys , H. Valószínűségelmélet . – Oxford University Press , 1939.