Bayesi hálózat

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2021. december 29-én felülvizsgált verziótól ; az ellenőrzések 4 szerkesztést igényelnek .

Bayes-hálózat (vagy Bayes-hálózat , Bayesi hithálózat , angol Bayes-hálózat, hithálózat ) - valószínűségi modell gráfja , amely változók halmaza és azok valószínűségi függőségei Bayes szerint . Például egy Bayes-hálózat segítségével a tünetek és a betegségek közötti kapcsolatra vonatkozó adatok alapján kiszámítható annak valószínűsége, hogy egy betegnek betegsége van, a tünetegyüttes megléte vagy hiánya alapján. A Bayes-hálózatok matematikai apparátusát Judah Pearl amerikai tudós , a Turing-díjas (2011) alkotta meg .

Formálisan a Bayes-hálózat egy irányított aciklikus gráf , amelynek minden csúcsa egy valószínűségi változónak felel meg, és a gráf ívei feltételes függetlenségi viszonyokat kódolnak ezen változók között. A csúcsok bármilyen típusú változót képviselhetnek, lehetnek súlyozott paraméterek, látens változók vagy hipotézisek. Vannak hatékony módszerek, amelyeket a Bayes-hálózatok kiszámítására és betanítására használnak. Ha a Bayes-féle hálózati változók diszkrét valószínűségi változók, akkor egy ilyen hálózatot diszkrét Bayes-hálózatnak nevezünk. A változók sorozatát modellező Bayes- hálózatokat dinamikus Bayes-hálózatoknak nevezzük . Azokat a Bayes-hálózatokat, amelyek diszkrét és folytonos változókkal is rendelkezhetnek, hibrid Bayes-hálózatoknak nevezzük . Egy Bayes-hálózatot, amelyben az ívek a feltételes függetlenségi viszonyok mellett oksági összefüggéseket is kódolnak , kauzális bayesi hálózatoknak nevezzük [ 1] ) .

Definíciók és működési elvek

Ha egy ív egy csúcsból egy csúcsba megy , akkor azt szülőnek , és gyermeknek nevezzük . Ha van egy irányított út a csúcstól a csúcsig , akkor azt ősnek , és leszármazottnak nevezzük . $A$ $B$ $A$ $B$ $B$ $A$ $A$ $B$ $A$ $B$ $B$ $A$

Egy csúcs vertex-szülőinek halmazát a következőképpen jelöljük . $V_i$ $\mathrm {szülők} (V_{i})=\mathbf {PA} _{i}$

Az irányított aciklikus gráfot Bayes-hálózatnak nevezzük a valószínűségi változók halmazán definiált valószínűségi eloszlás esetén , ha a gráf minden csúcsa egy -ből származó valószínűségi változóhoz van társítva , és a gráf ívei teljesítik a feltételt (Markov-feltétel [1] ): bármely változónak feltételesen függetlennek kell lennie minden olyan csúcstól, amely nem leszármazottja, ha minden közvetlen szülője adott a gráfban , azaz. $G$ $P(\mathbf {v} )$ ${\mathbf {V}}$ ${\mathbf {V}}$ $V_i$ ${\mathbf {V}}$ ${\displaystyle \mathbf {PA} _{i))$ $G$

$\forall V_{i}\in \mathbf {V}$ becsületes: $P(v_{i}\mid \mathbf {pa} _{i},\mathbf {s} )=P(v_{i}\mid \mathbf {pa} _{i}),$

hol az érték ; - konfiguráció $v_{i}$ $V_i$ ${\mathbf {s))$ [ meghatározza ] ; az összes olyan csúcs halmaza, amelyek nem leszármazottai a ; - konfiguráció . $\mathbf {S}$ $\mathbf {S}$ $V_i$ ${\displaystyle \mathbf {pa} _{i))$ ${\displaystyle \mathbf {PA} _{i))$

Ezután az értékek teljes közös eloszlása a csúcsokban kényelmesen felírható a helyi eloszlások dekompozíciójaként (szorzataként):

\mathrm {P} (V_{1},\ldots ,V_{n})=\prod _{i=1}^{n}\mathrm {P} (V_{i}\mid \operatorname { szülők} (V_{i})).

Ha egy csúcsnak nincsenek elődei, akkor a helyi valószínűségi eloszlását unconditional , egyébként feltételesnek nevezzük . Ha egy csúcs - egy valószínűségi változó értéket kapott (például megfigyelés eredményeként), akkor ezt az értéket bizonyítéknak nevezik . Ha a változó értékét kívülről állítottuk be (és nem figyeltük meg), akkor az ilyen értéket intervenciónak ( angol beavatkozás ) vagy intervenciónak ( angol intervenció ) nevezzük [1] . $V_i$

A Bayes-hálózatban a feltételes függetlenséget a d-szétválasztás grafikus tulajdonsága képviseli.

d-elválasztás

Egy útvonalat akkor és csak akkor nevezünk d - vel elválasztott vagy blokkolt csúcskészletnek $p$ $Z$

$p$ olyan láncot vagy ágat tartalmaz , amely a , vagy $i\to m\to j$ $i\gets m\to j$ $m$ $Z$
$p$ fordított villát (ütközőt) tartalmaz , így nem tartozik hozzá , és a csúcsnak nincsenek gyermekei, amelyek a -hoz tartoznak . $i\to m\gets j$ $m$ $Z$ $m$ $Z$

Legyenek csúcsok nem metsző részhalmazai egy aciklikus irányított gráfban . A csúcsok halmazát akkor és csak akkor mondjuk d-elválasztónak , ha blokkolja az összes útvonalat bármely olyan csúcsból, amely a -hoz tartozó bármely csúcshoz tartozik , és amelyet jelöl . Az útvonal a gráf [1] egymást követő (bármilyen irányú) éleinek sorozata . $X,Y,Z$ $G$ $Z$ $x$ $Y$ $Z$ $x$ $Y$ ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{G))$

A d-elválasztási tétel

Egy aciklikus irányított gráf csúcsainak bármely három nem átfedő részhalmazára és minden valószínűségi eloszlásra a következő igaz: $(X,Y,Z)$ $G$ $P$

ha , akkor , ha és Markov-kompatibilisek, és ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{G))$ ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{P))$ $G$ $P$
ha a feltételes függetlenség relációja minden olyan valószínűség-eloszlásra érvényes, amely Markov-kompatibilis -vel , akkor ez azt jelenti, hogy . ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{P))$ $G$ ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{G))$

Más szóval, ha a csúcsok d-vel vannak elválasztva, akkor feltételesen függetlenek; és ha a csúcsok feltételesen függetlenek a gráfgal kompatibilis minden valószínűségi eloszlásban , akkor d-vel elválasztva vannak [1] . $G$

( azt jelenti, hogy a és a változók halmazai feltételesen függetlenek egy adott halmazhoz .) ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{P))$ $x$ $Y$ $Z$

Bizonyíték

Bizonyíték - „esemény történt az x csomóponton” formájú kijelentések. Például: "a számítógép nem indul el" .

Valószínűségi lekérdezések

A Bayes-hálózat lehetővé teszi, hogy a következő típusú valószínűségi lekérdezésekre kapjon választ [2] :

a bizonyíték valószínűségének megállapítása,
a priori határvalószínűség meghatározása,
a posterior marginális valószínűségek meghatározása, beleértve:

előrejelzés , vagy közvetlen következtetés , - egy esemény valószínűségének meghatározása megfigyelhető okokból, diagnosztizálás , vagy fordított következtetés ( abdukció ), - megfigyelt következményekkel járó ok valószínűségének meghatározása, intercausal (vegyes) következtetés ( angolul intercausal inference ) vagy transzdukció , - egy esemény egyik okának valószínűségének meghatározása, feltéve, hogy ennek az eseménynek egy vagy több egyéb oka is előfordul.

a megfigyelt esemény legvalószínűbb magyarázatának kiszámítása ( angol most probable magyarázat , MPE ),
az a posteriori maximum számítása ( eng. maximum a-posteriori, MAP ).

Példa

Tegyük fel, hogy két oka lehet annak, hogy a fű nedvessé válhat (GRASS WET): működött a locsológép, vagy esett az eső. Tételezzük fel azt is, hogy az eső befolyásolja a sprinkler működését (esőben a készülék nem kapcsol be). Ekkor a helyzet az illusztrált Bayes-hálózattal modellezhető. A három változó mindegyike két lehetséges érték közül csak egyet vehet fel: T (igaz - igaz) és F (hamis - hamis), az ábra táblázataiban feltüntetett valószínűségekkel.

Együttes valószínűségi függvény:

$\mathrm {P} (G,S,R)=\mathrm {P} (G\mid S,R)\cdot \mathrm {P} (S\mid R)\cdot \mathrm {P} ( R)$

ahol a három változónév jelentése: G = nedves fű , S = locsoló és R = eső .

A modell válaszolni tud olyan kérdésekre, mint például: "Mekkora a valószínűsége annak, hogy esett az eső, ha a fű nedves?" a feltételes valószínűségi képlet felhasználásával és a változók összegzésével:

{\mathrm P}({\mathit {R}}=T\mid {\mathit {G}}=T)={\frac {{\mathrm P}({\mathit {G}}=T,{\ mathit {R}}=T)}{{\mathrm P}({\mathit {G}}=T)))={\frac {\sum _{({\mathit {S}}\in \{T ,F\}}}{\mathrm P}({\mathit {G}}=T,{\mathit {S}},{\mathit {R}}=T)}{\sum _{({\mathit {S)),{\mathit {R}}\in \{T,F\}}}{\mathrm P}({\mathit {G}}=T,{\mathit {S}},{\mathit {R}})))}}

={\frac {(0,99\times 0,01\times 0,2=0,00198_{TTT})+(0,8\times 0,99\times 0,2=0,1584_{TFT})}{0,00198_{TTT8_{0,28 TTF}+0,1584_{TFT}+0_{TFF}}}\kb. 35,77\%.

Valószínűségi következtetés

Mivel a Bayes-hálózat a változók és kapcsolataik teljes modellje, alkalmas a valószínűségi kérdések megválaszolására. Például a hálózat felhasználható arra, hogy új ismereteket szerezzen a változók egy részhalmazának állapotáról más változók ( bizonyíték változók ) megfigyelésével. Ezt a folyamatot, amely során kiszámítják a változók utólagos eloszlását a bizonyítékok változói között , valószínűségi következtetésnek nevezik. Ez a következmény univerzális becslést ad az olyan alkalmazásokhoz, ahol meg kell választanunk a változók olyan részhalmazának értékeit, amelyek minimalizálják a veszteségfüggvényt, például a hibás döntés valószínűségét. A Bayes-hálózatot úgy is felfoghatjuk, mint egy olyan mechanizmust, amely automatikusan felépíti a Bayes-tétel kiterjesztését bonyolultabb problémákra.

Bayes-hálózatokban való valószínűségi következtetések levonásához a következő algoritmusokat használják [1] [3] :

Pontos:
- brute force következtetés a teljes közös elosztás marginalizálásával;
- változó eliminációs algoritmusok és szimbolikus számítások,
- klaszterezés,
- algoritmusok üzenetek terjesztésére (továbbítására) a hálózati csomópontok között,
Közelítések a Monte Carlo módszer alapján :
- mintavételi algoritmusok kizárással,
- valószínűség alapú mintavételi módszer,
- MCMS algoritmus ( Eg. Markov-lánc Monte Carlo ), stb.

Alkalmazások

A Bayes-hálózatokat modellezésre használják a bioinformatikában ( genetikai hálózatok , fehérjeszerkezet ), az orvostudományban , a dokumentumosztályozásban , a képfeldolgozásban , az adatfeldolgozásban , a gépi tanulásban és a döntéstámogató rendszerekben .

További információk

Association for Uncertainty in Artificial Intelligence: http://www.auai.org/ Archivált 2007. június 2-án a Wayback Machine -nél
Bevezetés a Bayesian Networksbe: http://www.niedermayer.ca/papers/bayesian/bayes.html Archiválva : 2017. május 21. a Wayback Machine -nél
On-line oktatóanyag a Bayes-hálókról és a valószínűségről: http://www.dcs.qmw.ac.uk/%7Enorman/BBNs/BBNs.htm Archiválva : 2009. május 4. a Wayback Machine -nél
Szergej Nikolenko. 8. előadás archiválva : 2009. december 29. a Wayback Machine -nél, 9. szám archiválva : 2015. január 1. a Wayback Machine -nél és #10. archiválva : 2015. január 1. a Wayback Machine -nél , a Bayes-féle hithálózatokon. "Öntanuló rendszerek" tanfolyam

Ingyenes és nyílt forráskódú szoftver

OpenBayes https://github.com/abyssknight/OpenBayes-Fork (az OpenBayes javított buildjét tartalmazza az openbayes.org webhelyről)
RISO: http://sourceforge.net/projects/riso/ Archivált 2007. március 4-én a Wayback Machine -nél (elosztott hithálózatok)
BANSY3 Archiválva : 2011. július 20. a Wayback Machine -nél – ingyenes. A Non Linear Dynamics Laboratoryból. Matematika Tanszék, Tudományos Iskola, UNAM.
SamIam: http://reasoning.cs.ucla.edu/samiam Archivált 2007. április 24-én a Wayback Machine -nél

Kereskedelmi szoftvertermékek

AgenaRisk Bayes-i hálózati eszköz: http://www.agenarisk.com Archiválva : 2022. március 16. a Wayback Machine -nél
BayesFusion (GeNIe és SMILE): https://www.bayesfusion.com/ Archiválva : 2018. november 29. a Wayback Machine -nél
Bayesi hálózati alkalmazáskönyvtár: http://www.norsys.com/netlibrary/index.htm Archiválva : 2007. június 11. a Wayback Machine -nél
Bayesia: http://www.bayesia.com Archiválva : 2022. március 8. a Wayback Machine -nél
Hugin: http://www.hugin.com Archiválva : 2020. május 30. a Wayback Machine -nél
Netica: http://www.norsys.com Archiválva : 2007. május 20. a Wayback Machine -nél
BNet: http://www.cra.com/bnet Archiválva : 2008. július 5. a Wayback Machine -nél
Dezide: http://www.dezide.com Archiválva : 2022. március 8. a Wayback Machine -nél
MSBNx: komponensközpontú eszközkészlet a Bayesian Network modellezéshez és következtetésekhez (a Microsoft Researchtől ): https://www.microsoft.com/en-us/download/details.aspx?id=52299 Archiválva : 2018. november 29., Wayback Gép
Bayes Net Toolbox for Matlab: http://bnt.sourceforge.net/ Archivált : 2007. május 10. a Wayback Machine -nél
dVelox: http://www.apara.es/en/about-apara-predictive-analytics Archiválva : 2018. november 29. a Wayback Machine -nél
SIAM & Causeway: https://web.archive.org/web/20070221060515/http://www.inet.saic.com/

Lásd még

Jegyzetek

↑ 1 2 3 4 5 6 Judea Pearl. Ok-okozati összefüggés: modellek, érvelés és következtetés. - 2. kiadás. - Cambridge University Press, 2009. - 464 p. — ISBN 9780521895606 .
↑ Adnan Darwiche. Modellezés és érvelés Bayes-hálózatokkal. - Cambridge University Press, 2009. - 526 p. — ISBN 978-0521884389 .
↑ Stuart Russell, Peter Norvig. Mesterséges intelligencia: Modern megközelítés (AIMA): [ford. angolról]. - 2. kiadás - M .: Williams, 2005. - 1424 p.

Linkek

Jensen, Finn V. Bayesi hálózatok és döntési gráfok . — Springer , 2001.
Judea Pearl, Stuart Russell. Bayesi hálózatok. UCLA Cognitive Systems Laboratory, Technical Report (R-277), 2000. november.
Judea Pearl, Stuart Russell. Bayesian Networks, M.A. Arbib (szerk.), Handbook of Brain Theory and Neural Networks , pp. 157-160, Cambridge, MA: MIT Press , 2003, ISBN 0-262-01197-2 .
Neil M, Fenton N, Tailor M, "Bayesi hálózatok használata a várható és váratlan működési veszteségek modellezésére", Kockázatelemzés: An International Journal, 25(4), 963-972, 2005. http://www.dcs.qmul .ac.uk/~norman/papers/oprisk.pdf Archiválva : 2007. szeptember 27. a Wayback Machine -nél
Enrique Castillo, José Manuel Gutierrez és Ali S. Hadi. Szakértői rendszerek és valószínűségi hálózati modellek . New York: Springer-Verlag , 1997. ISBN 0-387-94858-9
Fenton NE és Neil M, "A bizonyítékok kombinálása a kockázatelemzésben a Bayesian Networks segítségével." https://web.archive.org/web/20070927153751/https://www.dcs.qmul.ac.uk/~norman/papers/Combining%20evidence%20in%20risk%20analysis%20using%20BNs.pdf
Judea Pearl. Fúzió, terjedés és strukturálás a hithálózatokban. Mesterséges Intelligencia 29 (3):241-288, 1986.
Pearl, Júdea . Valószínűségi okfejtés intelligens rendszerekben . - Morgan Kaufmann , 1988. - ISBN 0-934613-73-7 .
Judea Pearl. kauzalitás. 2000.
JW Comley és DL Dowe archiválva 2006. február 12-én a Wayback Machine -nél , " Minimum Message Length, MDL and Generalized Bayesian Networks with Asymmetric Languages, Archivált : 2016. augusztus 4., a Wayback Machine ", 11. fejezet ( 265. oldal, 2016. szeptember 27-én archiválva Wayback Machine - 294 Archivált 2016. szeptember 27-én a Wayback Machine -nál , P. Grunwald, MA Pitt és IJ Myung (szerk.), Advances in Minimum Description Length: Theory and Applications Archivált 2006. június 19-én, a Wayback Machine , Cambridge, MA: MIT Press , 2005. április, ISBN 0-262-07262-9 . (Ez a cikk döntési fákat helyez el a Bayes-hálózatok belső csomópontjaiban a minimális üzenethosszúság használatával, archiválva 2006. február 9-én a Wayback Machine -nél ( MML ). Egy korábbi verzió a Comley és Dowe (2003) archiválva : 2016. augusztus 4., a Wayback Machine , pdf Archivált 2006. február 10-én a Wayback Machine -nél .)
Christian Borgelt és Rudolf Kruse. Grafikus modellek – Adatelemzési és bányászati módszerek archiválva : 2007. június 10., a Wayback Machine , Chichester, Egyesült Királyság: Wiley , 2002, ISBN 0-470-84337-3
Korb, Kevin B.; Ann E Nicholson. Bayesi mesterséges intelligencia . - CRC Press , 2004. - ISBN 1-58488-387-1 . Archiválva : 2007. április 10. a Wayback Machine -nél
Nevin Lianwen Zhang archiválva 2007. június 7-én a Wayback Machine -nél és David Poole archiválva 2007. június 10-én a Wayback Machine -nél , A Bayes-féle hálózati számítások egyszerű megközelítése Archiválva 2007. április 17-én a Wayback Machine -n , Proceedings of the Tenth Biennial Intelligence Canadian -94), Banff, 1994. május, 171-178. Ez a cikk a hithálózatok változó eliminációját mutatja be.
David Heckerman archiválva : 2007. május 30. a Wayback Machine -nél , Oktatóanyag a Bayes-i hálózatokkal való tanulásról Archiválva : 2006. július 19. a Wayback Machine -nél . In Learning in Graphical Models, M. Jordan, szerk. MIT Press, Cambridge, MA, 1999. Technikai jelentésként is megjelenik: MSR-TR-95-06, Microsoft Research, 1995. március. Egy korábbi verzió Bayesian Networks for Data Mining, Data Mining és Knowledge Discovery néven jelenik meg, 1:79- 119, 1997. A cikk mind a paraméter-, mind a struktúratanulásról szól Bayes-hálózatokban.

Szótárak és enciklopédiák	nagy kínai Britannica (online)

Grafikon valószínűségi modellek
Bayesi hálózat Oksági Bayes-hálózat Markov hálózat Rejtett Markov-modell

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG