Bayesi hierarchikus modellezés

A Bayes-féle hierarchikus modellezés több szint formájában (hierarchikus formában) megírt statisztikai modell , amely a bayesi módszerrel [ 1] becsüli meg a posterior eloszlás paramétereit ] . Az almodelleket hierarchikus modellben egyesítik, és Bayes tételét használják a megfigyelt adatokkal való kombinálásra, és figyelembe veszik az esetleges bizonytalanságokat. Ennek az uniónak az eredménye a utólagos eloszlás, amelyet finomított valószínűségi becslésnek is neveznek, miután több információt szereztünk az előzetes valószínűségről .

Bevezetés

A gyakorisági statisztika , a statisztika legnépszerűbb alapja , látszólag nem konzisztens következtetést adhat a Bayes-statisztika következtetéseivel, mivel a Bayes-féle megközelítés a paramétereket valószínűségi változóként kezeli, és szubjektív információkat használ fel e paraméterekre vonatkozó feltételezések megállapítására. [2] . Mivel a megközelítések különböző kérdésekre válaszolnak, a formális eredmények technikailag nem inkonzisztensek, de a két megközelítés nem egyezik abban, hogy melyik válasz vonatkozik az adott alkalmazásokra. A Bayes-pártiak azzal érvelnek, hogy a döntés szempontjából releváns információkat és a bizalomfrissítéseket nem lehet figyelmen kívül hagyni, és hogy a hierarchikus modellezés elsőbbséget élvezhet a klasszikus módszerekkel szemben olyan alkalmazásokban, ahol a válaszadó többféle megfigyelési adatot ad meg. Ezenkívül a modell robusztusnak bizonyult, mivel a posterior eloszlás kevésbé érzékeny a változó hierarchikus prioritásokra.

A hierarchikus modellezést akkor alkalmazzák, ha a megfigyelt mennyiségek több különböző szintjén áll rendelkezésre információ. A hierarchikus típusú elemzés és reprezentáció segít a többparaméteres problémák megértésében, és fontos szerepet játszik a számítási stratégiák kidolgozásában [3] .

Filozófia

Számos statisztikai alkalmazás több olyan paramétert használ, amelyek függőnek vagy összefüggőnek tekinthetők oly módon, hogy a probléma feltételezi, hogy e paraméterek együttes valószínűségi modellje függő [4] .

A valószínűségek formájában kifejezett egyéni megbízhatósági fokoknak megvan a maga bizonytalansága [5] . Ezenkívül a bizonyosság mértéke idővel változhat. Ahogy José M. Bernardo professzor és Adrian F. Smith professzor kijelentette: "A tanulási folyamat jelentősége a valóságba vetett egyéni és szubjektív bizalom fejlődésében rejlik." Ezek a szubjektív valószínűségek közvetlenül érintettek az elmében, mint a fizikai valószínűségek [6] . Ezért ehhez a bizalom frissítésére van szükség, és a Bayesianisták egy alternatív statisztikai modellt fogalmaztak meg, amely figyelembe veszi egy adott esemény a priori előfordulását [7] .

Bayes-tétel

Egy valós esemény feltételezett fogadása általában megváltoztatja a preferenciákat bizonyos lehetőségek között. Ez az opciókat meghatározó események bizalmi fokának megváltoztatásával történik [8] .

Tételezzük fel, hogy a j kórházi betegek szívterápia hatékonyságának tanulmányozásakor, akiknek túlélési valószínűsége van, a túlélési valószínűség frissül abban az y eseményben , amely egy hipotetikus megkérdőjelezhető szérumot generál, amely egyesek szerint növeli a szívproblémákkal küzdő betegek túlélését. ${\displaystyle \theta _{j))$

Ahhoz, hogy frissített állításokat adjunk az y esemény bekövetkezésének valószínűségéről, egy olyan modellel kell kezdenünk, amely közös valószínűségi eloszlást ad y és y esetén . Ez két eloszlás szorzataként írható fel, amelyeket gyakran előzetes és mintavételi eloszlásnak neveznek : ${\displaystyle \theta _{j))$ ${\displaystyle \theta _{j))$ $P(\theta )$ $P(y\mid \theta )$

P(\theta ,y)=P(\theta )P(y\mid \theta )

Ha a feltételes valószínűség alapvető tulajdonságát használjuk , az utólagos eloszlás a következőket adja:

P(\theta \mid y)={\frac {P(\theta ,y)}{P(y)))={\frac {P(y\mid \theta )P(\theta )} {P(y)}}

A feltételes valószínűség és az egyedi események közötti kapcsolatot mutató egyenlőség Bayes-tételként ismert. Ez az egyszerű kifejezés a Bayes-i következtetés technikai magját testesíti meg, amelynek célja a frissített bizalom releváns és feloldható módon történő bevonása [8] . $P(\theta \mid y)$

Permutability

A statisztikai elemzés általános kiindulópontja az, hogy feltételezzük, hogy n érték permutál. Ha az y adaton kívül nem áll rendelkezésre olyan információ, amely megkülönbözteti a többitől, és a paraméterek rendezése vagy csoportosítása nem végezhető el, akkor a paraméterek szimmetriáját az előzetes valószínűségükhöz képest [9] kell feltételezni . Ezt a szimmetriát a valószínűségi permutáció reprezentálja. Általában hasznos és elfogadható a permutációs eloszlásból származó adatok független és egyenlő eloszlású modellezése, adott néhány ismeretlen eloszlású paramétervektor . $y_{n}$ ${\displaystyle \theta _{j))$ $\theta$ $P(\theta )$

Véges permutáció

Fix n szám esetén egy halmaz permutálható, ha a közös eloszlás invariáns az index - permutációk alatt. Vagyis bármely permutációra vagy indexekre (1, 2, …, n ), [10] ${\displaystyle y_{1},y_{2},\ldots ,y_{n))$ $P(y_{1},y_{2},\ldots ,y_{n})$ $\pi$ $(\pi _{1},\pi _{2},\ldots ,\pi _{n})$ $P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1)),y_{\pi _{2)),\ldots ,y_ {\pi _{n))).$

Az alábbiakban egy permutálható, de nem független és azonos eloszlású sorozatra mutatunk be egy példát: Tekintsünk egy urnát piros és kék golyókkal, golyók rajzolásának valószínűségével. A golyókat anélkül húzzuk ki, hogy visszakerülnének az urnába, vagyis az n golyó egyikének kihúzása után n − 1 golyó marad az urnában a következő húzáshoz. ${\frac {1}{2))$

Hadd $Y_{i}={\begin{cases}1,\\0,\end{cases}}$	ha a -edik golyó piros $én$
	másképp.

Mivel annak a valószínűsége, hogy az első húzásnál piros golyót, a másodiknál kéket húzunk, egyenlő annak a valószínűségével, hogy az első húzásnál kék golyót, a másodiknál pedig piros labdát húzunk, amelyek mindkettő egyenlő 1/2 (azaz ), akkor ingáznak . $[P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2))]$ $y_1$ $y_2$

Ennek a valószínűsége azonban, hogy a második sorsolásnál piros labdát választanak, már nem lesz 1/2. Így, és nem függetlenek. $y_1$ $y_2$

Ha függetlenek és egyenlő eloszlásúak, akkor permutálhatók, de ennek fordítva nem feltétlenül igaz [11] . $x_{1},\ldots ,x_{n}$

Végtelen permutáció

A végtelen permutáció olyan tulajdonság, hogy egy végtelen sorozat bármely véges részhalmaza permutálható . Vagyis bármely n esetén a sorozat permutál [11] . $y_1$ $y_{2},\ldots$ ${\displaystyle y_{1},y_{2},\ldots ,y_{n))$

Hierarchikus modellek

Összetevők

A Bayes-féle hierarchikus modellezés két fontos fogalmat használ az utólagos eloszlás származtatására [1] , nevezetesen:

Hiperparaméter : korábbi eloszlási paraméterek
Hiperprior eloszlások : hiperparaméter-eloszlások

Tegyük fel, hogy az Y valószínűségi változó normális eloszlású θ paraméterrel az átlaggal és az 1 paraméterrel a variancia , azaz . Tegyük fel, hogy a paraméternek normális eloszlása van , amelynek átlaga és varianciája 1, azaz . Ezen kívül van egy másik eloszlás, amelyet például a szabványos normál eloszlás ad meg . A paramétert hiperparaméternek nevezzük, míg eloszlása, amelyet adunk meg , egy példa egy hiperprior eloszlásra. Az Y jelölése megváltozik egy másik paraméter hozzáadásával, azaz . Ha van egy másik szint, mondjuk egy másik normális eloszlás átlaggal és szórással , ami azt jelenti , , akkor és nevezhetjük hiperparamétereknek is, és ezek eloszlásai hiperprior eloszlások [4] . $Y\mid \theta \sim N(\theta ,1)$ $\theta$ $\mu$ $\theta \mid \mu \sim N(\mu ,1)$ $\mu$ ${\text{N}}(0,1)$ $\mu$ ${\text{N}}(0,1)$ $Y\mid \theta ,\mu \sim N(\theta ,1)$ $\mu$ $\beta$ $\epsilon$ $\mu \sim N(\beta ,\epsilon )$ ${\mbox{ ))$ $\beta$ $\epsilon$

Rendszer

Legyen megfigyelések és egy paraméter, amely a generálási folyamatot vezérli . Tegyük fel továbbá, hogy a paramétereket a fősokaság permutációi generálják a hiperparaméter által szabályozott eloszlással . $y_{j}$ ${\displaystyle \theta _{j))$ $y_{j}$ ${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j))$ $\phi$

A Bayes-féle hierarchikus modell a következő szinteket tartalmazza:

I. szint:

y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )

II. szint:

\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )

III. szint:

\phi \sim P(\phi )

A valószínűség az I. szintről nézve , c , mint az előzetes eloszlása. Vegye figyelembe, hogy a valószínűség csak a -tól függ . $P(y_{j}\mid \theta _{j},\phi )$ $P(\theta _{j},\phi )$ $\phi$ ${\displaystyle \theta _{j))$

Az I. szint korábbi disztribúciója a következőkre bontható:

P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )

[a feltételes valószínűség definíciójából]

ahol egy hiperprioritáseloszlású hiperparaméter . $\phi$ $P(\phi )$

Ekkor a posterior eloszlás arányos ezzel a mennyiséggel:

P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )

[Bayes tételét használva]

P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P( \phi)

[12]

Példa

Szemléltetésképpen nézzünk meg egy példát: Egy tanár azt szeretné értékelni, hogy egy diák milyen jól teljesített a SAT tesztjén ( Scholastic Assessment Test [13] ) . Az osztályzat megszerzéséhez a középiskolás diákról és az aktuális osztályzati átlagáról (GPA) vonatkozó információkat használ fel . Az aktuális GPA- nak van egy valószínűsége, amelyet valamilyen valószínűségi függvény ad meg paraméterrel , azaz . Ez a paraméter a hallgató SAT-pontszáma. A SAT pontszámot az általános sokaság eloszlásából származó teljes mintából vett mintaegységnek tekintjük, amelyet egy másik paraméterrel indexelünk , amely a tanuló középiskolai pontszáma [14] . Azaz ,. Ezenkívül a hiperparaméternek saját eloszlása van a függvénnyel , amelyet hiperprior eloszlásnak nevezünk. $Y$ $\theta$ $Y\mid \theta \sim P(Y\mid \theta )$ $\theta$ $\phi$ $\theta \mid \phi \sim P(\theta \mid \phi )$ $\phi$ $P(\phi )$

Ha SAT-pontszámot szeretne kapni a GPA információkból,

P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )

P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )

A feladatban szereplő összes információt felhasználjuk az utólagos eloszlás megszerzésére. Ahelyett, hogy csak a prior és likelihood függvényt használnánk, a hiperprior eloszlások használata több információt szolgáltat, ami nagyobb bizalomhoz vezet a paraméter viselkedésében [15] .

Kétszintű hierarchikus modell

Általános esetben a számunkra érdekes kétszintű hierarchikus modellek közös utólagos eloszlása a következő:

P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \ theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}

P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )

[tizenöt]

Háromszintű hierarchikus modell

A 3-szintű hierarchikus modelleknél az utólagos eloszlás a következő:

P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P (I)}

P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)

[tizenöt]

Jegyzetek

↑ 1 2 Allenby, Rossi, McCulloch, 2005 , p. 3.
↑ Gelman, Carlin, Stern, Rubin, 2004 , p. 4–5.
↑ Gelman, Carlin, Stern, Rubin, 2004 , p. 6.
↑ 1 2 Gelman, Carlin, Stern, Rubin, 2004 , p. 117.
↑ Jó, 1980 , p. 480.
↑ Jó, 1980 , p. 489-490.
↑ Bernardo és Smith, 1994 , p. 23.
↑ 1 2 Gelman, Carlin, Stern, Rubin, 2004 , p. 6-8.
↑ Dickey és Chen 1983 , p. 167–168.
↑ Gelman, Carlin, Stern, Rubin, 2004 , p. 121-125.
↑ 1 2 Diaconis, Freedman, 1980 , p. 745–747.
↑ Kadane és Wasilkowski 1983 , p. 371–372.
↑ "Academic Assessment Test" - szabványos teszt az Egyesült Államok felsőoktatási intézményeibe való felvételhez
↑ Gelman, Carlin, Stern, Rubin, 2004 , p. 120-121.
↑ 1 2 3 Box, Tiao, 1965 .

Irodalom

Greg M. Allenby, Peter E. Rossi, Robert E. McCulloch. Hierarchikus Bayes-modell: A gyakorló útmutatója . - 2005. - január.
Andrew Gelman, John B. Carlin, Hal S. Stern, Donald B. Rubin. Bayesi adatelemzés . — 2. — Boca Raton, Florida: CRC Press, 2004. — ISBN 1-58488-388-X .
Jó IJ A hierarchikus bayesi módszertan története // Trabajos de Estadistica Y de Investigacion Operativa. - Springer - Verlag, 1980. - február ( 31. kötet , 1. szám ).
Jose M. Bernardo, Adrian F. M. Smith. Bayes elmélet . - Chichester, Anglia: John Wiley & Sons, 1994. - (Willey-sorozat a valószínűségszámításról és a statisztikákról). - ISBN 0-471-92416-4 .
Diaconis P., Freedman D. Véges kicserélhető sorozatok // Annals of Probability. – 1980.
Greg M. Allenby, Peter E. Rossi. Bayesi alkalmazások a marketingben // SSRN Electronic Journal. – 2009.
Box GEP, Tiao GC Többparaméteres probléma bayesi szempontból . Többparaméteres problémák Bayes-i szemszögből. - New York City: John Wiley & Sons, 1965. - Vol. 36. - ISBN 0-471-57428-7 . Egyéb kötetek archiválva 2019. január 15-én a Wayback Machine -nál
Kadane JB, Wasilkowski GW Average case -complexity in computer science, a Bayesian view $\epsilon$ // Bayesian Statistics 2 / Bernardo JM, Degroot VH, Lindley DV, Smith AFM. A második valenciai nemzetközi találkozó anyaga. - Amszterdam, New York, Oxford: Elsevier Science Publishers BV, 1983. - ISBN 0-444-87746-0 . Hasonló könyv archiválva : 2020. július 26. a Wayback Machine -nél
James M. Dickey, Chong-Hong Chen. Közvetlen szubjektív-valószínűségi modellezés ellipszoid eloszlásokkal // Proceedings of the Second Valencia International Meeting / Bernardo JM, Degroot VH, Lindley DV, Smith AFM. - Amszterdam, New York, Oxford: Elsevier Science Publishers BV, 1983. - ISBN 0-444-87746-0 .