Boltzmann gép

A Boltzmann gép egyfajta sztochasztikus visszatérő neurális hálózat , amelyet Jeffrey Hinton és Terry Sejnowski talált fel 1985-ben [1] . A Boltzmann gép a Hopfield hálózat sztochasztikus generatív változatának tekinthető .

A statisztikusok az ilyen hálózatokat véletlenszerű Markov mezőknek nevezik . A hálózatot Boltzmann gépnek nevezték el Ludwig Boltzmann osztrák fizikusról, a statisztikai fizika egyik megalapítójáról .

Ez a hálózat annealing szimulációs algoritmust használ a tanuláshoz , és az első olyan neurális hálózatnak bizonyult, amely képes belső reprezentációkat tanulni és összetett kombinatorikus problémákat megoldani. Ennek ellenére számos probléma miatt a korlátlan csatlakozási képességű Boltzmann gépek gyakorlati problémák megoldására nem használhatók. Ha a kapcsolat korlátozott, akkor a képzés elég hatékony lehet ahhoz, hogy a gyakorlatban is használható legyen. Konkrétan az úgynevezett mély bizalomháló a korlátozott Boltzmann-gépek kaszkádjából épül fel .

Modell

A Hopfield-hálózathoz hasonlóan a Boltzmann-gép is neuronok hálózata, amelyhez az "energia" fogalmát definiálják. A globális energia számítása a Hopfield-hálózathoz hasonló formában történik: [2]

E=-\sum _{i<j}w_{ij}\,s_{i}\,s_{j}-\sum _{i}\theta _{i}\,s_{i}

Ahol:

$w_{ij}$ a neuronok közötti kapcsolat erőssége és . $j$ $én$
$s_{i}$ állapot , , neuron . $s_{i}\in \{0,1\}$ $én$
$\theta _{i}$ egy neuron küszöbe . $én$

A linkekre a következő korlátozások vonatkoznak:

$w_{ii}=0\qquad \forall i$ . (egy neuronnak nem lehet kapcsolata önmagával);
$w_{ij}=w_{ji}\qquad \forall i,j$ (minden link szimmetrikus).

Termikus egyensúly

A Hopfield hálózat egyik fő hátránya az a tendencia, hogy a hálózat állapotát lokális, nem pedig globális minimumon "stabilizálja". A gyakorlatban kívánatos, hogy a hálózat gyakrabban térjen át mélyenergia-minimumokra, mint a sekélyekre, és hogy a hálózat relatív valószínűsége két különböző energiájú minimum valamelyikére váltson át csak azok mélységének arányától függjön. Ez lehetővé tenné az adott kimeneti állapotvektorok megszerzésének valószínűségét a rendszer energiafelületének profiljának megváltoztatásával a kötéssúlyok módosításával. Ezen megfontolások alapján készült el a Boltzmann gép.

S. Kirpatrické az az ötlete, hogy a "termikus zajt" használják a helyi minimumokból való kilépésre és a mélyebb minimumok elérésének valószínűségének növelésére. Ezen ötlet alapján egy lágyítási szimulációs algoritmust fejlesztettek ki .

Vezessünk be néhány paramétert – a termikus zajszint analógját. Ezután a Boltzmann valószínűségi függvény alapján meghatározzuk egy bizonyos neuron aktivitásának valószínűségét: $t$ $k$

Pk=1/(1+e^{-E_{k}/t}),

hol van a hőzaj szintje a hálózatban; a th neuron és az összes jelenleg aktív neuron közötti kapcsolatok súlyának összege . $t$ $E_k$ $k$

Korlátozott Boltzmann gép

Bár a gyakorlatban a Boltzmann-gép betanítási képességei korlátozottak, ezek a problémák megoldhatók a korlátozott Boltzmann-gép (RBM) architektúra alkalmazásával. Ebben az architektúrában csak a rejtett és látható neuronok között léteznek kapcsolatok, de az azonos osztályba tartozó neuronok között nincs kapcsolat. Egy ilyen architektúrát eredetileg Paul Smolensky használt 1986-ban Harmonium néven [3] , de csak azután vált népszerűvé, hogy Hinton a 2000-es évek közepén feltalálta a gyors tanuló algoritmusokat.

A korlátozott Boltzmann gépeket mély tanulási hálózatokban használják . A mély hithálózatok különösen az RBM „átfedésével”, majd a backpropagation algoritmussal történő újraképzéssel érhetők el.

Jegyzetek

↑ Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. Tanulási algoritmus Boltzmann gépekhez. - Kognitív Tudomány 9 (1), 1985. - S. 147-169.
↑ Loskutov A. Yu. , Mikhailov A. S. Bevezetés a szinergetikába. - M., Nauka, 1990. - ISBN 5-02-014475-4 . - Val vel. 233-237
↑ Szmolenszkij, Paul. 6. fejezet: Információfeldolgozás dinamikus rendszerekben: A harmóniaelmélet alapjai // Párhuzamos elosztott feldolgozás: Explorations in the Microstructure of Cognition, 1. kötet: Alapok (angol) / Rumelhart, David E.; McLelland, James L. - MIT Press , 1986. - P. 194-281. — ISBN 0-262-68053-X . Archivált másolat (nem elérhető link) . Letöltve: 2014. június 12. Az eredetiből archiválva : 2013. június 13.. (határozatlan)

Linkek

Beszélgetés a Google-nál – Geoffrey Hinton

A mesterséges neurális hálózatok típusai

Feed-forward hálózat ( radiális alapú funkciók hálózata )
Egyrétegű perceptron
Többrétegű perceptron ( Rosenblatt • Rumelhart )
Hopfield hálózat
Markov lánc
Boltzmann gép
Limitált Boltzmann gép
Autoencoder ( Zajtalanító autoencoder • Ritka autoencoder • Változatos autoencoder )
A bizalom mély hálója
Konvolúciós Neurális Hálózat
Mély konvolúciós neurális hálózat
Telepítési neurális hálózat
Mély konvolúciós inverz grafikus hálózat
Generatív ellenséges hálózat
Ismétlődő neurális hálózat
Rekurzív neurális hálózatok
hosszú távú rövid távú memória
Ellenőrzött visszatérő blokk
Neurális Turing-gépek
Kétirányú hálózat ( Bidirectional recurrent neural network • Kétirányú hálózat hosszú távú memóriával • Kétirányú vezérelt visszatérő neuronok )
Deep Residual Network
Neurális visszhanghálózat
Extrém tanulási módszer
Az instabil állapotok módszere
Támogatja a vektoros gépet
Kohonen hálózat
Kohonen önszerveződő térképe
Kapszula neurális hálózat
Asszociatív memória neurális hálózatokon

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG