Előzetes eloszlás konjugálása

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2016. június 26-án áttekintett verziótól ; az ellenőrzések 2 szerkesztést igényelnek .

A konjugált prior eloszlás ( eng. conjugate prior ) és a konjugált eloszlások családja a Bayes - statisztika egyik alapfogalma .

Tekintsük egy ( valószínűségi változónak tekintett) paraméter eloszlásának megtalálásának problémáját a rendelkezésre álló megfigyelés szerint . Bayes tétele szerint a utólagos eloszlást az előző eloszlásból számítják ki valószínűségi sűrűséggel és valószínűségi függvénnyel a következő képlet segítségével: $\theta$ $x$ $p(\théta)$ $p(x|\theta )$

\displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int \limits _{{\text{range}}\;\theta }p( x|\theta )\,p(\theta )\,d\theta }}.

Ha az utólagos eloszlás ugyanabba a valószínűségi eloszlás családba tartozik, mint az előző eloszlás (azaz azonos alakú, de eltérő paraméterekkel), akkor ezt az eloszláscsaládot konjugáltnak nevezzük a likelihood függvények családjával . Ebben az esetben az eloszlást a valószínűségfüggvények családjával konjugált előzetes eloszlásnak nevezzük . $p(\theta |x)$ $p(\théta)$ $p(x|\theta )$ $p(\théta)$ $p(x|\theta )$

Az eloszlások konjugált családjainak ismerete nagymértékben leegyszerűsíti az utólagos valószínűségek számítását a Bayes-statisztikában , mivel lehetővé teszi, hogy a Bayes-képletben a nehézkes integrálok számítását az eloszlások paramétereinek egyszerű algebrai manipulációival helyettesítse.

Példa

Egy ismeretlen paraméterű (a siker valószínűsége) Bernoulli-törvény szerint elosztott valószínűségi változó (érme feldobása ) esetén a konjugált előzetes eloszlás általában a valószínűségi sűrűségű béta eloszlás : $q\in[0,1]$

p(q=x)={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}

ahol és úgy vannak megválasztva, hogy tükrözzék a q paraméter eloszlásáról rendelkezésre álló a priori információt vagy vélekedést ( = 1 és = 1 választása egyenletes eloszlást ad), és Β ( , ) a béta függvény , amely itt a paraméter normalizálására szolgál. valószínűség. $\alpha$ $\beta$ $\alpha$ $\beta$ $\alpha$ $\beta$

A és paramétereket gyakran hiperparamétereknek (korábbi eloszlási paramétereknek) nevezik, hogy megkülönböztessük őket a valószínűségi függvény paramétereitől (ebben az esetben q ). $\alpha$ $\beta$

Ha ennek a valószínűségi változónak n értékből álló mintát veszünk , és ezek között van s sikeres és f kudarc, akkor a q paraméter utólagos eloszlása a következő lesz:

P(s,f|q=x)={s+f \choose s}x^{s}(1-x)^{f},

p(q=x|s,f)={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} ( \alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\ béta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},

Ez az utólagos eloszlás is a béta eloszlás szerint oszlik meg .

Eloszlások konjugált családjainak táblázata

Az alábbi táblázatok bemutatják, hogyan változnak az utólagos eloszlás paraméterei egy n független, egyenlő eloszlású megfigyelésből álló minta után . A második oszlop a likelihood függvény paramétere, amelyhez viszonyítva a konjugált eloszlások családja összeáll. $x_{1},x_{2},\ldots ,x_{n}$

Diszkréten elosztott likelihood függvények

valószínűségi függvény	Paraméter	Eloszlások konjugált családja	Előzetes elosztási hiperparaméterek	A hátsó eloszlás hiperparaméterei
Bernoulli	p	Beta	$\alpha ,\,\beta$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i))$
Binomiális	p	Beta	$\alpha ,\,\beta$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i =1}^{n}x_{i}$
Negatív binomiális	p	Beta	$\alpha ,\,\beta$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i))$
Poisson	λ	Gamma	$k,\,\theta$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1))$
Poisson	λ	Gamma	$\alpha ,\,\beta$ [egy]	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n$
Multinomiális	p (valószínűségi vektor)	Dirichlet	$\vec{\alpha}$	${\displaystyle {\vec {\alpha }}+\sum _{i=1}^{n}{\vec {x}}^{\,(i)))$
Geometriai	p 0 (valószínűség)	Beta	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$

Folyamatosan elosztott likelihood függvények

valószínűségi függvény	Paraméter	Eloszlások konjugált családja	Előzetes elosztási hiperparaméterek	A hátsó eloszlás hiperparaméterei
Egyenruha	$U(0,\theta )$	Pareto	$x_{m},\,k$	$\max\{\,x_{(n)},x_{m}\},\,k+n$
Exponenciális	λ	Gamma	$\alpha ,\,\beta$ [2]	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$
Normál ismert σ 2 szórással	μ	Normál	$\mu _{0},\,\sigma _{0}^{2}$	$\left.\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i }}{\sigma ^{2}}}\jobbra)\jobbra/\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^ {2}}}\jobbra),\,\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\ jobbra)^{-1}$
Normál ismert τ = 1/ σ 2 értékkel	μ	Normál	${\displaystyle \mu _{0},\,\tau _{0))$	$\left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}\right)\right/(\tau _{0} +n\tau ),\,\tau _{0}+n\tau$
Normál ismert μ átlaggal	σ2 _	Méretezett inverz khi-négyzet	${\displaystyle \nu ,\,\sigma _{0}^{2))$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{ 2}}{\nu +n}}$
Normál ismert μ átlaggal	τ (= 1/σ 2 )	Gamma	$\alpha ,\,\beta$ [2]	$\alpha +{\frac {n}{2)),\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2 }}{2}}$
Normál ismert μ átlaggal	σ2 _	Inverz gamma eloszlás	$\mathbf {\alpha ,\,\beta }$	$\mathbf {\alpha } +{\frac {n}{2)),\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}- \mu )^{2}}}{2}}$
Pareto	k	Gamma	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}$
Pareto	x m	Pareto	${\displaystyle x_{0},\,k_{0))$	$x_{0},\,k_{0}-kn$ feltéve . $k_{0}>kn$
Gamma ismert α -val [1]	β (inverz skála)	Gamma	$\alpha _{0},\,\beta _{0}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i))$