Bayes-együttható

A Bayes-féle együttható  a statisztikai hipotézisvizsgálat Bayes -féle alternatívája [1] [2] . A Bayes-féle modell-összehasonlítás  egy módszer a Bayes-együtthatók alapján történő modellek kiválasztására . A tárgyalt modellek statisztikai modellek [3] . A Bayes-együttható célja, hogy számszerűsítse egy modell támogatását egy másik modellhez képest, függetlenül attól, hogy a modellek helyesek-e vagy sem [4] . A "támogatás" technikai definíciója a Bayes-féle következtetés összefüggésében az alábbiakban található.

Definíció

A Bayes-koefficiens két hipotézis – általában a nullhipotézis és az alternatíva – marginális valószínűségének valószínűségi hányadosa [5] .

A D adatokkal adott M modell utólagos valószínűségét Bayes tétele adja meg :

A kulcsfontosságú adatfüggő tag az M modell valószínűsége D adat mellett, és azt a valószínűséget jelenti, hogy az M modell elfogadása mellett az adatok egy részét megkapjuk . Ennek a kifejezésnek a helyes kiszámítása a kulcsa a modellek bayesi összehasonlításának.

Adott egy modellkiválasztási probléma , amelyben két modell közül kell választanunk a D megfigyelt adatok alapján, két különböző M 1 és M 2 modell relatív valószínűségét a paramétervektorokkal és paramétervektorokkal paraméterezve a K Bayes-együtthatóval adjuk meg .

Ha két modell eleve egyformán valószínű, akkor a Bayes-együttható egyenlő az M 1 és M 2 modellek utólagos valószínűségeinek arányával . Ha az egyes statisztikai modelleknél a paraméter maximális valószínűségi becslésének megfelelő valószínűséget használjuk a Bayes-együttható integrál helyett , akkor a teszt klasszikus likelihood -tesztté válik . A valószínűségi arányteszttől eltérően a Bayes-modell-összehasonlítás nem függ egyetlen paraméter-készlettől sem, mivel kiszámítása az összes paraméter minden modellben történő integrálásával történik (az előzetes valószínűségek figyelembevételével ). A Bayes-együtthatók használatának azonban az az előnye, hogy automatikusan és teljesen természetesen tartalmaznak büntetést a modellstruktúra túlépítéséért [6] . Ez véd a túledzés ellen . Olyan modellek esetében, amelyeknél a likelihood-függvény explicit formája ismeretlen, vagy a számítása túl költséges, közelítő Bayes-számítások [7] használhatók a Bayes-féle modellválasztáshoz [en] [7] , bár ezt meg kell tenni. figyelembe véve, hogy a Bayes-együtthatók közelítő Bayes-becslése gyakran torz [8] .

Egyéb megközelítések:

• az összehasonlító modellt döntési problémaként kezelje , kiszámítva az egyes modellválasztások várható értékét vagy költségét;
• használja a minimális üzenethossz elvét ( angol  minimális üzenethossz , MML).

Értelmezés

A K > 1 érték azt jelenti, hogy az M 1 hipotézist erősebben támasztják alá az adatok, mint az M 2 hipotézist . Vegye figyelembe, hogy a klasszikus statisztikai hipotézisvizsgálat alapértelmezés szerint egyetlen hipotézist (vagy modellt) alkalmaz (a " nullhipotézis "), és csak az ellene szóló bizonyítékokat veszi figyelembe . Harold Jeffries táblázatot ad a kapott K érték értelmezésére [9] :

A második oszlop megadja a megfelelő támasztömegeket decihartli egységekben (más néven deciban ), a harmadik oszlopba hozzáadott bitek az érthetőség kedvéért. I. J. Good szerint az emberek a mindennapi életben aligha tudják ésszerűen megbecsülni az 1 deciban vagy 1/3 bites súlyváltozásnak megfelelő hipotézis megbízhatósági fokának különbségét (például 4:5-ös eredményarány 9-ben). két lehetséges kimenetelű kísérletek) [10] .

Egy alternatív, széles körben hivatkozott táblázatot javasolt Kass és Raftery (1995) [6] :

A Bayes-koefficiensek vagy a klasszikus statisztikai hipotézisvizsgálatok alkalmazása a következtetés kontextusában történik , nem pedig a bizonytalanság melletti döntéshozatal . Vagyis csak azt akarjuk megtalálni, hogy melyik hipotézis a helyes, ahelyett, hogy ezen információk alapján valódi döntést hoznánk. A gyakorisági statisztika szigorú különbséget tesz a két megközelítés között, mivel a klasszikus hipotézisvizsgálati módszerek Bayes-i értelemben nem koherensek . A Bayes-féle eljárások, beleértve a Bayes-együtthatókat is, koherensek, ezért nincs szükség erre a megkülönböztetésre. A következtetést ezután egyszerűen a bizonytalanság melletti döntéshozatal speciális esetének tekintik, amelyben a végső művelet egy érték visszaadása. A döntéshozatalhoz a Bayes-féle megközelítést használó statisztikusok használhatják a Bayes-együtthatót egy előzetes eloszlás és egy veszteségfüggvénnyel együtt . A kimenet kontextusában a veszteségfüggvény az eredmény kiszámításának szabályaként jelenik meg . A logaritmikus pontozási szabály használata például a várható hasznosságot eredményezi , amely a Kullback-Leibler divergencia formáját ölti .

Példa

Tegyük fel, hogy van egy valószínűségi változónk , amely vagy sikert, vagy kudarcot vesz fel. Összehasonlítunk egy M 1 modellt , ahol a siker valószínűsége q = ½ , és egy másik M 2 modellt , ahol q értéke ismeretlen, és q előzetes eloszlásaként az egyenletes eloszlást vesszük [0,1 ]. 200 próbát végzünk, és 115 sikert és 85 kudarcot kapunk. A valószínűség a binomiális eloszlás alapján számítható ki :

Ekkor megvan az M 1 hipotézis

míg az M2 - re

Ezeknek az értékeknek az aránya 1,197..., ezért a különbség "alig észrevehető", bár a választás kissé M 1 felé hajlik .

Ezeknek a statisztikai hipotéziseknek a tesztelése az M 1 gyakorisági következtetés alapján (ezt itt nullhipotézisnek tekintjük ) teljesen más eredményt kapunk. Egy ilyen teszt kimondja, hogy az M1 hipotézist 5%-os szignifikancia szinten el kell utasítani, mivel annak a valószínűsége, hogy egy 200 elemből álló mintából q = ½ esetén 115 vagy több sikert érünk el , 0,0200 , és a kétirányú teszt a 115-ös vagy annál nagyobb extrémum elérése 0,0400-at ad. Vegye figyelembe, hogy a 115 több mint két szórással különbözik a 100-tól . Így, míg a gyakorisági következtetésen alapuló statisztikai hipotézis tesztelése 5%-os statisztikai szignifikancia ad, Bayes együtthatója ezt valószínűleg nem fogadja el szélsőséges eredményként . Megjegyzendő azonban, hogy egy nem homogén előzetes eloszlás (például olyan, amely azt az elvárást tükrözi, hogy a sikerek és a kudarcok száma azonos nagyságrendű lesz) olyan Bayes-féle együtthatót eredményezhet, amely jobban megfelel a frekvenciakövetkeztetés tesztelésének. .

Egy klasszikus valószínűségi arány tesztben a q maximális valószínűségi becslése 115 ⁄ 200 = 0,575 lenne , ahonnan

(az összes lehetséges q átlagolása helyett ). Ez a valószínűségi arány 0,1045, és az M 2 hipotézisre mutat .

Az M 2 összetettebb modell, mint az M 1 , mert van egy szabad paramétere, amely lehetővé teszi az adatok következetesebb leírását. A Bayes-együtthatók figyelembe vételére való képessége az oka annak, hogy a Bayes -i következtetést az Occam-borotva elméleti indoklásaként és általánosításaként terjesztik elő, amelyben az I. típusú hibák csökkennek [11] .

Másrészt a modern relatív likelihood módszer a szabad modellparaméterek számát veszi figyelembe, ellentétben a klasszikus likelihood aránnyal. A relatív valószínűség módszere a következőképpen alkalmazható. Az M 1 modell 0 paraméterrel rendelkezik, ezért az Akaike Information Criterion (AIC) értéke 2 · 0 - 2 ln 0,005956 ≈ 10,2467 . Az M 2 modellnek 1 paramétere van, ezért az AIC értéke 2 · 1 - 2 ln 0,056991 ≈ 7,7297 . Ezért M 1 kisebb valószínűséggel minimalizálja az információvesztést, mint M 2 , körülbelül exp((7,7297 − 10,2467)/2) ≈ 0,284- szeresével. Így az M 2 kissé előnyösebb, de az M 1 nem dobható el.

Alkalmazás

• A q - érték helyett a Bayes-koefficienst alkalmaztuk a gének dinamikus expressziójának rendezésére [12] .

Lásd még

• Akaike információs kritérium
• Hozzávetőleges Bayes-számítások
• Bayesi információs kritérium
• Az átlagtól való négyzetes eltérések összegének információs kritériuma
• Lindley paradoxona
• Az üzenet minimális hossza
• Modell kiválasztása

• esélyhányados
• Relatív kockázat

Jegyzetek

1. ↑ Goodman (1), 1999 , p. 995–1004.
2. ↑ Goodman (2), 1999 , p. 1005–13.
3. ↑ Morey, Romeijn, Rouder, 2016 , p. 6–18.
4. ↑ Ly, Verhagen, Wagenmakers, 2016 , p. 19-32.
5. ↑ Jó, Hardin, 2012 , p. 129-131.
6. ↑ 1 2 Kass, Raftery, 1995 , p. 791.
7. ↑ Toni, Stumpf, 2009 , p. 104–10.
8. ↑ Robert, Cornuet, Marin, Pillai, 2011 , p. 15112–15117.
9. ↑ Jeffreys, 1961 , p. 432.
10. ↑ Jó, 1979 , p. 393-396.
11. ↑ Ockham borotvájának élezése bayesi csíkon . Letöltve: 2019. január 5. Az eredetiből archiválva : 2015. szeptember 12. (határozatlan)
12. ↑ Hajiramezanali, Dadaneh, Figueiredo, Sze, Zhou, Qian, 2018 .

Irodalom

• Továbbítsd a bizonyítékokon alapuló orvosi statisztikákat. 1: A P érték tévedése  // Ann Intern Med. - 1999. - T. 130 , sz. 12 . - doi : 10.7326/0003-4819-130-12-199906150-00008 . — PMID 10383371 .
• Továbbítsd a bizonyítékokon alapuló orvosi statisztikákat. 2: The Bayes-faktor  // Ann Intern Med. - 1999. - T. 130 , sz. 12 . — S. 1005–13 . - doi : 10.7326/0003-4819-130-12-199906150-00019 . — PMID 10383350 .
• Richard D. Morey, Jan-Willem Romeijn, Jeffrey N. Rouder. A Bayes-tényezők filozófiája és a statisztikai bizonyítékok számszerűsítése // Journal of Mathematical Psychology. - 2016. - T. 72 . - doi : 10.1016/j.jmp.2015.11.001 .
• Alexander Ly, Josine Verhagen, Eric-Jan Wagenmakers. Harold Jeffreys alapértelmezett Bayes-faktor hipotézis tesztjei: Magyarázat, kiterjesztés és alkalmazás a pszichológiában // Journal of Mathematical Psychology. - 2016. - T. 72 . — S. 19–32 . - doi : 10.1016/j.jmp.2015.06.004 .
• Robert E. Kass, Adrian E. Raftery. Bayes-tényezők  // Az Amerikai Statisztikai Szövetség folyóirata. - 1995. - T. 90 , 430. sz . - doi : 10.2307/2291091 .
• Toni T., Stumpf MPH Szimulációs alapú modellválasztás dinamikus rendszerekhez rendszerekben és populációbiológiában  // Bioinformatika. - 2009. - T. 26 , sz. 1 . - doi : 10.1093/bioinformatika/btp619 . - arXiv : 0911.1705 . — PMID 19880371 .
• Robert CP, Cornuet J., Marin J., Pillai NS Bizalom hiánya a közelítő Bayes-féle számítási modell kiválasztásában  // Proceedings of the National Academy of Sciences. - 2011. - T. 108 , sz. 37 . - doi : 10.1073/pnas.1102900108 . - . — PMID 21876135 .
• Jeffreys H. A valószínűség elmélete . — 3. – Oxford, 1961.
• Jó IJ tanulmányok a valószínűségszámítás és a statisztika történetéből. XXXVII AM Turing statisztikai munkája a második világháborúban // Biometrika . - 1979. - T. 66 , sz. 2 . - doi : 10.1093/biomet/66.2.393 .
• Hajiramezanali E., Dadaneh SZ, Figueiredo P. d., Sze S., Zhou Z., Qian X. Differential Expression Analysis of Dynamical Sequencing Count Data with a Gamma Markov Chain . — 2018.
• Phillip Good, James Hardin. Gyakori hibák a statisztikákban (és hogyan lehet őket elkerülni). — 4. - Hoboken, New Jersey: John Wiley & Sons, Inc., 2012. - ISBN 978-1118294390 .
• Bernardo J., Smith A.F.M. Bayesi elmélet. - John Wiley, 1994. - ISBN 0-471-92416-4 .
• Denison DGT, Holmes CC, Mallick BK, Smith AFM Bayes-módszerek a nemlineáris osztályozáshoz és regresszióhoz. - John Wiley, 2002. - ISBN 0-471-49036-9 .
• Richard O. Duda, Peter E. Hart, David G. Stork. 9.6.5. szakasz // Mintaosztályozás. — 2. - Wiley, 2000. - S. 487-489. — ISBN 0-471-05669-3 .
• Gelman A., Carlin J., Stern H., Rubin D. Bayesian Data Analysis. — London: Chapman & Hall , 1995. — ISBN 0-412-03991-5 .
• Jaynes ET 24. fejezet: MODELLÖSSZEFÜGGÉS ÉS ROBUSZTSÁG // Valószínűségszámítás: a tudomány logikája . – 1994.
• Lee PM Bayesi statisztika: bevezetés. - Wiley, 2012. - ISBN 9781118332573 .
• Robert Winkler. Bevezetés a Bayes-féle következtetésbe és döntésbe. — 2. - Valószínűségi számítás, 2003. - ISBN 0-9647938-4-9 .

Link

• BayesFactor – egy R-csomag a Bayes-tényezők kiszámításához az általános kutatási tervekben
• Bayes Factor Calculators – a BayesFactor csomag nagy részének webalapú változata