Markov-lánc Monte Carlo

A statisztikában a Markov-lánc Monte Carlo módszerek (eng. MCMC) a mintavételi algoritmusok  egy osztálya , amelyek valamilyen valószínűségi eloszlást modelleznek . Ha olyan Markov-láncot szerkesztünk , amelynek egyensúlya a céleloszlás, akkor a lánc állapotainak felírásával azonos eloszlású mintát kaphatunk. Minél több lépést használunk, annál közelebb lesz a mintaeloszlás a célhoz. Az áramkörök felépítéséhez különféle algoritmusokat használnak, például a Metropolis-Hastings algoritmust.

Alkalmazási területek

Az MCMC-ket eredetileg több integrál numerikus megoldására használták , például a Bayes-statisztikában , a számítási fizikában [1] , a számítási biológiában [2] és a számítógépes nyelvészetben [3] [4] .

Az MCMC legújabb fejlesztései lehetővé tették a számítások elvégzését nagy hierarchikus modellekben , amelyek több száz és több ezer változón keresztüli integrációt igényelnek [5] .

A ritka események szimulációjában az MCMC módszerekkel olyan mintákat állítanak elő, amelyek fokozatosan kitöltik a ritka meghibásodási régiót.

Általános meghatározás

A Markov-láncokat alkalmazó Monte Carlo módszerek egy kiválasztott folytonos valószínűségi változó alapján, ismert eloszlási sűrűségfüggvénnyel hoznak létre mintákat . Ezek a minták felhasználhatók az adott mennyiség integráljának kiértékelésére az átlag vagy a variancia segítségével .

A gyakorlatban általában áramkörök együttesét építik fel, amelyek tetszőleges pontok halmazából indulnak ki, amelyek kellően távol vannak egymástól. Ezek a láncok sztochasztikus "séta" folyamatok, amelyekben a mozgások véletlenszerűen, egy algoritmus szerint történnek. Ez az algoritmus megkeresi a legnagyobb integrálértékkel rendelkező régiókat, és hozzárendeli hozzájuk a legnagyobb valószínűséget.

A Monte Carlo véletlen séta módszerek a véletlenszerű szimuláció egyik fajtája ( Monte Carlo módszerek ). Megjegyzendő, hogy a Monte Carlo-i módszerekben használt integrandus véletlenszerű mintái statisztikailag függetlenek . Az MCMC-ben ezek autokorreláltak . A minták korrelációja ahhoz vezet, hogy az átlagok hibájának becsléséhez a Markov-láncokra vonatkozó központi határérték-tételt kell használni .

Ezek az algoritmusok olyan Markov-láncokat hoznak létre, amelyek egyensúlyi eloszlása ​​arányos egy adott függvénnyel.

Korreláció csökkenése

Az MCMC módszerek jobbak a többdimenziós problémák megoldásában, mint a Monte Carlo algoritmusok, de a dimenziók számának növekedésével ők is szenvedni kezdenek a " dimenziók átkától ". A nagy valószínűségű régiók hajlamosak kinyúlni és eltűnni egy növekvő tértérfogatban, ami alig befolyásolja az integrál értékét. Ez a probléma megoldható a séta lépésének csökkentésével, hogy ne lépje túl a nagy valószínűségű tartományt. Egy ilyen megoldás azonban meglehetősen hosszú (sok lépés szükséges a pontos eredmény eléréséhez), és magas autokorrelációhoz vezet. A kifinomultabb algoritmusok, mint például a Hamilton-féle Monte Carlo és a Wang-Landau algoritmusok , különböző módokon csökkentik az autokorrelációt azáltal, hogy a vándorlási folyamatot azokban a régiókban tartják, amelyek a legnagyobb hatással vannak az integrál értékére. Ezek az algoritmusok sokkal összetettebbek mind az elmélet, mind az alkalmazás szempontjából, de gyorsabban konvergálnak.

Példák

Véletlenszerű séta

• Metropolis-Hastings algoritmus : Ez a módszer egy Markov-láncot generál adott sűrűségű és új lépésszűréssel. Valójában ez egy általános séma, amelynek speciális esetei a következők: a legelső és egyszerű MCMC (Metropolis algoritmus), valamint az alábbiakban felsorolt ​​alternatívák.
  • Gibbs-mintavétel : Ez a módszer megköveteli, hogy a céleloszlás összes feltételes eloszlását ismerjük. Ha a teljesen feltételes eloszlásokból származó következtetés nem azonnali, akkor más Gibbs-mintavevőket használunk (lásd pl . [6] [7] [8] ). A Gibbs-mintavétel azért népszerű, mert nem igényel semmilyen előzetes "tuningot".
  • Langevin Monte Carlo és más módszerek, amelyek a célsűrűség logaritmusának gradiensén (és esetleg a második deriváltján) alapulnak. E módszerek célja, hogy a nagyobb valószínűségi sűrűség felé vezető legvalószínűbb lépéseket javasolják [9] .
  • Pszeudo-marginális Metropolis-Hastings: Ez a módszer a céleloszlás sűrűségét a torzítatlan becslésére cseréli . A módszer akkor alkalmazható, ha a célsűrűség analitikailag nincs megadva (pl. látens változókkal rendelkező modelleknél).
• Réteges mintavétel : Ez a módszer azon az elven alapul, hogy valamilyen eloszlású mintát lehet létrehozni azeloszlás sűrűségfüggvényének diagramja alatti terület egyenletes mintavételével. Ez a módszer a függőleges irányú egyenletes mintavételt az aktuális függőleges helyzet által meghatározott vízszintes "réteg" egységes mintavételével helyettesíti.
• Többszöri próbálkozás Metropolis algoritmus: Ez a Metropolis-Hastings algoritmus egy változata, amely minden ponton többszöri próbálkozást tesz lehetővé. Azáltal, hogy minden iterációnál nagyobb lépéseket tesz, az algoritmus segít megszabadulni a „dimenziók átkától” [10] [11] .

• Reverzibilis ugrás módszer: a Metropolis-Hastings algoritmus egy másik változata, amely lehetővé teszi a térdimenzió változtatását [12] . Az ilyen Markov-lánc-módszereket régóta használják az alkalmazott statisztikai fizikában , ahol bizonyos problémáknál volt egy „ nagy kanonikus együttes ” eloszlás (például változó számú molekulával egy zárt edényben). A reverzibilis ugrás módszere akkor alkalmazható, ha MCMC vagy Gibbs mintavételezést használunk nem paraméteres Bayes-modelleken, ahol a keverési komponensek (klaszterek) száma automatikusan előrejelzésre kerül az adatokból (pl. Dirichlet folyamat vagy "kínai étterem folyamat").
• Hamiltoni (hibrid) Monte Carlo-módszer: Ez a módszer egy további "impulzusvektor" bevezetésével és Hamiltoni dinamika alkalmazásával próbálja elkerülni a véletlenszerű sétát, ahol a potenciális energiafüggvény  a célsűrűség. A pillanatnyi mintákat a mintavétel után eldobjuk. Az algoritmus végeredménye, hogy a mozgás a mintatérben nagy lépésekben történik. Így kevésbé korrelálnak, és gyorsabban konvergálnak a céleloszláshoz.

A részecskék kölcsönhatásának módszerei

Az interaktív MSMS-módszerek az átlagmező-részecske-módszerek egy osztálya, amelyek pszeudo-véletlen számok mintáit nyerik valószínűség-eloszlási sorozatból, egyre bonyolultabb mintavételezéssel [13] .

Ezek a valószínűségi modellek a következők:

• növekvő időhorizonttal rendelkező úttér állapotmodellek
• utólagos (a részleges megfigyelések tekintetében) eloszlások
• a feltételes eloszlások korlátozásának növelése
• a Boltzmann-Gibbs eloszláshoz kapcsolódó csökkenő hőmérsékleti diagramok
• és még sok más

Általában bármely MCMC mintavevő interaktívvá tehető. Ezek pedig arra használhatók, hogy egy szabályos mintavevő sorozatot párhuzamosan lehessen futtatni. Például az interaktív szimulációs lágyító algoritmusok független Metropolis-Hastings-mozgásokon alapulnak, amelyek szekvenciálisan kölcsönhatásba lépnek a szelektív újramintavételezési mechanizmussal. A klasszikus MCMC módszerekkel ellentétben itt az interaktív mintavevők pontossági paramétere csak a számuktól függ. A kölcsönható részecskemódszerek a Feynman-Katz részecskemodellek [14] [15] osztályába tartoznak, amelyeket a Bayes -féle következtetéselméletben és jelfeldolgozásban "szekvenciális Monte Carlo" vagy "részecskeszűrő módszereknek" is neveznek [16] . Az interaktív MSMS módszerek a genetikai részecskék algoritmusában a klasszikus MSMS mutációk formájában megjelenő mutációkkal járó ciklusokként is felfoghatók.

Markov Chain Quasi-Monte Carlo (MCQMC) [17] [18]

Az egyszerű független Monte Carlo-mintavételhez véletlen számok helyett alacsony eltérésű sorozatok használata egyértelmű előnyökkel jár [19] . Ilyen helyettesítést alkalmaznak a kvázi-Monte Carlo ( QMC ) módszerben [20] . A Coxma-Hlavka egyenlőtlenség szerint ennél a módszernél sokkal kisebb az integrációs hiba, mint független azonos eloszlású valószínűségi változók (IID) mintavételekor. Ez lehetővé teszi mind a becslési hiba, mind a konvergenciaidő egy nagyságrenddel történő csökkentését.

Az Array-RQMC módszer a QMC-alapú Markov-lánc modellezést vezeti be a láncok egyidejű szimulálásával. Ezen állapotok empirikus eloszlása ​​minden lépésben pontosabb közelítést ad az eloszlásfüggvényhez, mint az MCMC használatakor [21] . Az empirikus kísérletekben az átlagos állapotfüggvény varianciájának konvergenciája néha a Monte Carlo-módszernél nagyságrendű vagy még gyorsabb is [22] .

Konvergencia

Általában nem nehéz elkészíteni egy Markov-láncot a kívánt tulajdonságokkal. Nehezebb meghatározni, hogy hány lépésre van szükség ahhoz, hogy egy elfogadható hibával rendelkező stacionárius eloszláshoz konvergáljunk [23] . A jó láncnak megvan a keverési tulajdonsága: a stacioner eloszlás gyorsan elérhető bármely kiindulási helyzethez. A konvergencia elérésének klasszikus empirikus módszere több, egymástól függetlenül modellezett Markov-lánc futtatása, és annak ellenőrzése, hogy a láncon kívüli és belső varianciák megközelítőleg egyenlőek-e [23] [24] .

Az MCMC mintavételezés általában csak közelíteni tudja a céleloszlást, mivel a kiindulási pozíciónak mindig van maradék hatása. Az MCMC-n alapuló bonyolultabb algoritmusok, mint például a múltbeli csatolás, pontos mintákat tudnak fogadni, ami befolyásolja a számítások számát és az eltöltött időt.

Sok Monte Carlo véletlenszerű sétamódszer kis lépésekben mozog, olyan egyensúlyi eloszlásból indulva ki, amely nem hajlamos arra, hogy az utat egy irányba terelje. Ezek a módszerek könnyen alkalmazhatók és elemezhetők, de hosszú időt vesz igénybe a teljes tér felfedezése egy sétával (a vándorlás gyakran visszatér a már bejárt területekre).

A konvergenciával kapcsolatos további megfontolásokat a Markov-láncokra vonatkozó központi határtétel tartalmazza, lásd [25] a Metropolis-Hastings algoritmus konvergenciájával és stacionaritásával kapcsolatos elmélet tárgyalásához.

Szoftver

Szoftver az MSMS mintavételezéshez:

• csomagok, amelyek a BUGS modellnyelv dialektusait használják
  • WinBUGS / OpenBUGS / MultiBUGS
  • JAGS
  • FÜRGE
• greta , Bayes-féle statisztikai modellező nyelv
• MCSim
• PyMC3
• pymcmcstat
• R (programozási nyelv) adaptMCMC, atmcmc, BRugs, mcmc, MCMCpack, ramcmc, rjags, rstan stb.
• Stan
• TensorFlow Probability (a TensorFlow -ba beépített valószínűségi programkönyvtár )
• MCL (cluster algoritmus gráfokhoz és HipMCL -hez (alternatív verzió)) [26]
• emcee ( az affin invariáns MCMC ensemble mintavevő Python implementációja )
• Keanu Java Library többcélú valószínűségi programozáshoz
• Zeus A Layered Ensemble Sampling megvalósítása Pythonban
• Turing.jl csomag többcélú valószínűségi programozáshoz Juliában
• Mamba.jl keretrendszer az msms metódushoz a Juliában

Jegyzetek

Idézetek

1. ↑ Kasim, M.F.; Bott, A.F.A.; Tzeferacos, P.; Bárány, DQ; Gregory, G.; Vinko, SM Retrieving fields from proton radioography without source profiles  (angol)  // Physical Review E  : Journal. - 2019. - szeptember ( 100. köt. ). - doi : 10.1103/PhysRevE.100.033208 . - arXiv : 1905.12934 .
2. ↑ Gupta, Ankur; Rawlings, James B. Paraméterbecslési módszerek összehasonlítása sztochasztikus kémiai kinetikai modellekben: példák a rendszerbiológiában  //  AIChE Journal : folyóirat. - 2014. - április ( 60. évf. , 4. sz.). - P. 1253-1268 . - doi : 10.1002/aic.14409 . — PMID 27429455 .
3. ↑ Lásd Gill 2008.
4. ↑ Lásd Robert & Casella 2004.
5. ↑ Banerjee, Sudipto; Carlin, Bradley P.; Gelfand, Alan P. Hierarchikus modellezés és elemzés térbeli adatokhoz  . — Másodszor. - CRC Press , 2014. - P. xix. — ISBN 978-1-4398-1917-3 .
6. ↑ Gilks, WR; Wild, P. Adaptive Rejection Sampling for Gibbs Sampling  //  Journal of the Royal Statistical Society. C sorozat (Alkalmazott statisztika) : folyóirat. - 1992. - január 1. ( 41. évf. , 2. sz.). - P. 337-348 . - doi : 10.2307/2347565 . — .
7. ↑ Gilks, WR; Legjobb, NG; Tan, KKC Adaptive Rejection Metropolis Sampling within Gibbs Sampling  //  Journal of the Royal Statistical Society. C sorozat (Alkalmazott statisztika) : folyóirat. - 1995. - január 1. ( 44. köt. , 4. sz.). - P. 455-472 . - doi : 10.2307/2986138 . — .
8. ↑ Martino, L.; Olvassa, J.; Luengo, D. Független, kétszeresen adaptív elutasítás Metropolis-mintavételezés Gibbs-mintavételen belül  // IEEE-  tranzakciók a jelfeldolgozásról : folyóirat. - 2015. - június 1. ( 63. évf. , 12. sz.). - P. 3123-3138 . — ISSN 1053-587X . - doi : 10.1109/TSP.2015.2420537 . - Iránykód . - arXiv : 1205.5494 .
9. ↑ Lásd Stramer 1999.
10. ↑ Liu, Jun S.; Liang, Faming; Wong, Wing Hung. The Multiple-Try Method and Local Optimization in Metropolis Sampling  //  Journal of the American Statistical Association  : folyóirat. - 2000. - március 1. ( 95. évf. , 449. sz.). - 121-134 . o . — ISSN 0162-1459 . - doi : 10.1080/01621459.2000.10473908 .
11. ↑ Martino, Luca; Olvass, Jesse. A többszörös próbálkozású Metropolis-sémák tervezésének rugalmasságáról  //  Számítási statisztika : folyóirat. - 2013. - július 11. ( 28. évf. , 6. sz.). - P. 2797-2823 . — ISSN 0943-4062 . - doi : 10.1007/s00180-013-0429-2 . - arXiv : 1201.0646 .
12. ↑ Lásd Green 1995.
13. ↑ Del Moral, Pierre. Átlagmező szimuláció Monte Carlo integrációhoz  . - Chapman & Hall/CRC Press, 2013. - 626. o . - Monográfiák a statisztikáról és az alkalmazott valószínűségről.
14. ↑ Del Moral, Pierre. Feynman-Kac képlet. Genealógiai és kölcsönható részecskék  közelítései . - Springer, 2004. - P. 575. . - "Sorozat: Valószínűség és alkalmazások".
15. ↑ Del Moral, Pierre; Miclo, Laurent. Séminaire de Probabilités XXXIV / Jacques Azéma, Michel Ledoux, Michel Émery, Marc Yor. - 2000. - T. 1729. - S. 1-145. — (Matematikai előadásjegyzetek). — ISBN 978-3-540-67314-9 . - doi : 10.1007/bfb0103798 .
16. ↑ Del Moral, Pierre. Sorozatos Monte Carlo-mintavevők - P. Del Moral - A. Doucet - A. Jasra - 2006 - A Királyi Statisztikai Társaság folyóirata: B sorozat (Statisztikai módszertan) - Wiley Online Library  (angol)  // A Royal Statistical Society folyóirata. B sorozat (statisztikai módszertan) : folyóirat. - 2006. - 20. évf. 68 , sz. 3 . - P. 411-436 . doi : 10.1111 / j.1467-9868.2006.00553.x . - arXiv : cond-mat/0212648 .
17. ↑ Chen, S.; Dick, Joseph; Owen, Art B. Markov-lánc kvázi-Monte Carlo konzisztenciája folytonos állapottereken  (angol)  // Annals of Statistics : folyóirat. - 2011. - 20. évf. 39 , sz. 2 . - P. 673-701 . - doi : 10.1214/10-AOS831 .
18. ↑ Tribble, Seth D. (2007). Markov lánc Monte Carlo algoritmusok teljesen egyenletes eloszlású vezetési szekvenciákat használva (Dissz.). Stanford Egyetem. Sablon: ProQuest .
19. ↑ Papageorgiou, Anargyros; Traub, JF Monte Carlo legyőzése // Kockázat. - 1996. - T. 9 , 6. sz . - S. 63-65 .
20. ↑ Sobol, Ilya M. On quasi-monte carlo integrations // Mathematics and Computers in Simulation. - 1998. - T. 47 , 2. sz . - S. 103-112 . - doi : 10.1016/s0378-4754(98)00096-2 .
21. ↑ L'Ecuyer, P.; Lecot, C.; Tuffin, B. Randomizált kvázi-Monte Carlo szimulációs módszer Markov-  láncokhoz  // Operációkutatás : folyóirat. - 2008. - Vol. 56 , sz. 4 . - P. 958-975 . doi : 10.1287 / opre.1080.0556 .
22. ↑ L'Ecuyer, P.; Munger, D.; Lecot, C.; Tuffin, B. Rendezési módszerek és konvergencia ráták az Array-RQMC-hez: Néhány empirikus összehasonlítás  //  Mathematics and Computers in Simulation : Journal. - 2018. - Kt. 143 . - P. 191-201 . - doi : 10.1016/j.matcom.2016.07.010 .
23. ↑ 1 2 Gelman, A.; Rubin, DB Következtetés iteratív szimulációból több szekvenciát használva (megbeszéléssel  )  // Statisztikai tudomány : folyóirat. - 1992. - 1. évf. 7 , sz. 4 . - P. 457-511 . - doi : 10.1214/ss/1177011136 . - .
24. ↑ Cowles, M.K.; Carlin, BP Markov lánc Monte Carlo konvergenciadiagnosztika: összehasonlító áttekintés  //  Journal of the American Statistical Association  : folyóirat. - 1996. - 1. évf. 91 , sz. 434 . - P. 883-904 . - doi : 10.1080/01621459.1996.10476956 .
25. ↑ Hill, SD; Spall, JC A Metropolisz-Hastings-algoritmus stacionaritása és konvergenciája: Insights into Theoretical Aspects  //  IEEE Control Systems Magazine : folyóirat. - 2019. - 1. évf. 39 , sz. 1 . - 56-67 . o . - doi : 10.1109/MCS.2018.2876959 .
26. ↑ Azad, A; Pavlopoulos, G. A.; Ouzounis, CA; Kyrpides, N. C.; Buluç, A. HipMCL: a Markov klaszterezési algoritmus nagy teljesítményű párhuzamos megvalósítása nagyméretű hálózatokhoz  //  Nucleic Acids Research : folyóirat. - 2018. - április 6. ( 46. évf . 6. sz .). -P.e33 . _ doi : 10.1093 / nar/gkx1313 . — PMID 29315405 .

Források

• Christophe Andrieu, Nando De Freitas, Arnaud Doucet és Michael I. Jordan Bevezetés az MCMC-be a gépi tanuláshoz , 2003
• Asmussen, Soren; Glynn, Peter W. Sztochasztikus szimuláció: Algoritmusok és  elemzések . - Springer, 2007. - Vol. 57. - (Sztochasztikus modellezés és alkalmazott valószínűség).
• Atzberger, P. Bevezetés a Monte-Carlo módszerekbe (hivatkozás nem érhető el) . Letöltve: 2020. május 4. Az eredetiből archiválva : 2009. február 20. (határozatlan) 
• Berg, Bernd A. Markov lánc Monte Carlo szimulációk és statisztikai  elemzésük . – World Scientific , 2004.
• Bolstad, William M. A számítási Bayes-statisztika  megértése . - Wiley, 2010. - ISBN 978-0-470-04609-8 .
• Casella, George; George, Edward I. A Gibbs-mintavevő magyarázata // The American Statistician. - 1992. - T. 46 , 3. sz . - S. 167-174 . - doi : 10.2307/2685208 . — .
• Gelfand, AE; Smith, AFM Sampling-Based Approaches to Calculating Marginal Densities  //  Journal of the American Statistical Association  : folyóirat. - 1990. - 1. évf. 85 , sz. 410 . - P. 398-409 . - doi : 10.1080/01621459.1990.10476213 .
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. Bayes-féle adatelemzés. — 1. - Chapman & Hall , 1995. (Lásd a 11. fejezetet.)
• Geman, S.; Geman, D. Stochastic Relaxation, Gibbs-eloszlások és a képek bayesi helyreállítása  // IEEE Transactions on Pattern Analysis and Machine  Intelligence : folyóirat. - 1984. - 1. évf. 6 , sz. 6 . - P. 721-741 . - doi : 10.1109/TPAMI.1984.4767596 .
• Gilks, W. R.; Richardson, S.; Spiegelhalter, DJ Markov Chain Monte Carlo a gyakorlatban. - Chapman és Hall /CRC, 1996.
• Gill, Jeff. Bayesi módszerek: társadalom- és viselkedéstudományi  megközelítés . — 2. - Chapman és Hall / CRC, 2008. - ISBN 978-1-58488-562-7 .
• Green, PJ Megfordítható ugrású Markov-lánc Monte Carlo számítása és Bayes-modell meghatározása  (angol)  // Biometrika  : Journal. - 1995. - 1. évf. 82 , sz. 4 . - P. 711-732 . - doi : 10.1093/biomet/82.4.711 .
• Neal, Radford M. Szeletmintavétel // Annals of Statistics. - 2003. - T. 31 , 3. sz . - S. 705-767 . - doi : 10.1214/aos/1056562461 . — .
• Neal, Radford M. Valószínűségi következtetés Markov-lánc Monte Carlo-módszerekkel (1993). (határozatlan)
• Robert, Christian P.; Casella, G. Monte Carlo statisztikai módszerek . — 2. - Springer, 2004. - ISBN 978-0-387-21239-5 .
• Rubinstein, R. Y.; Kroese, D.P.Szimuláció és a Monte Carlo-módszer. — 2. - Wiley , 2007. - ISBN 978-0-470-17794-5 .
• Smith, RL Hatékony Monte Carlo-i eljárások a határos régiókban egyenletesen elosztott pontok generálására   // Operations Research : folyóirat. - 1984. - 1. évf. 32 , sz. 6 . - P. 1296-1308 . doi : 10.1287 / opre.32.6.1296 .
• Spall, JC becslés a Markov-láncon keresztül Monte Carlo // IEEE Control Systems Magazine. - 2003. - április ( 23. évf. 2. szám ). - S. 34-45 . - doi : 10.1109/mcs.2003.1188770 .
• Stramer, O.; Tweedie, R. Langevin-Type Models II: Self-Targeting Candidates for MCMC Algorithms  //  Methodology and Computing in Applied Probability : Journal. - 1999. - 1. évf. 1 , sz. 3 . - P. 307-328 . - doi : 10.1023/A:1010090512027 .

Irodalom

• Diaconis, Persi. A Markov-lánc Monte Carlo-i forradalom  // Az Amerikai Matematikai Társaság közleménye  . - 2009. - április ( 46. évf. , 2. sz.). - P. 179-205 . - doi : 10.1090/s0273-0979-08-01238-x .
• Press, W. H.; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), 15.8. szakasz. Markov Chain Monte Carlo , Numerical Recipes: The Art of Scientific Computing (3. kiadás), Cambridge University Press , ISBN 978-0-521-88068-8 
• Richey, Matthew. A Markov-lánc evolúciója Monte Carlo-módszerek  //  The American Mathematical Monthly . - 2010. - május ( 117. évf. , 5. sz.). - P. 383-413 . doi : 10.4169 / 000298910x485923 .

Linkek

• MCMC mintavétel és egyéb módszerek egy alapvető áttekintésben , Alexander Mantzaristól (az eredeti link – most megszakadt ).
• PyMC  - Python modul, amely Bayes-féle statisztikai modelleket és illesztő algoritmusokat valósít meg, beleértve a Markov-láncot, a Monte Carlo-t.
• Az IA2RMS a Martino, Read & Luengo (2015 ) „Independent Duubly Adaptive Rejection Metropolis Sampling” módszer Matlab kódja, amely a Gibbs mintavevőn belüli teljes feltételes sűrűségekből meríthető.