Rekurzív neurális hálózatok

A rekurzív neurális hálózatok ( eng.  Recursive neural network ; RvNN ) a neurális hálózatok egy olyan típusa, amely változó hosszúságú adatokkal dolgozik. A rekurzív hálózati modellek hierarchikus mintastruktúrákat használnak a képzésben. Például olyan jelenetekből összeállított képek, amelyek sok objektumot tartalmazó részjeleneteket egyesítenek. A jelenet szerkezetének feltárása és dekonstrukciója nem triviális feladat. Ebben az esetben mind az egyes objektumok, mind a jelenet teljes szerkezetének azonosítása szükséges.

A rekurzív hálózatokban az azonos súlyú neuronok a hálózat szerkezetének megfelelően rekurzív módon aktiválódnak. A rekurzív hálózat működése során modellt dolgoznak ki változó méretű struktúrák és skaláris struktúrák előrejelzésére a struktúra topológiának megfelelő aktiválásával. Az RvNN-eket sikeresen alkalmazták szekvenciális struktúrák és fák betanítására a természetes nyelvi feldolgozásban , ahol a kifejezések és mondatok modellezése szóvektoros reprezentációkon keresztül történik . Az RvNN-ek eredetileg a struktúrák elosztott ábrázolására jelentek meg a matematikai logika predikátumait használva . [1] A rekurzív hálózatok és az első modellek fejlesztése az 1990-es évek közepén kezdődött. [2] [3]

Építészet

Alapelem

A legegyszerűbb architektúrában a hálózat csomópontjai konvergálnak a szülőkhöz egy rejtett rétegsúlymátrixon keresztül, amelyet a hálózatban ismételten használnak, és egy hiperbolikus érintő típusú nemlineáris aktiválási függvényen keresztül . Ha c 1 és c 2  a hálózati csomópontok n - dimenziós reprezentációi, akkor a szüleik is n - dimenziós vektorok, kiszámítva

Itt W  a betanított súlymátrix .

Ezt az architektúrát, némi továbbfejlesztéssel, természetes képjelenetek szekvenciális dekódolására vagy természetes nyelvi mondatok strukturálására használják. [négy]

Rekurzív kaszkádkorreláció (RecCC)

Rekurzív vízesés korreláció A RecCC három tartományban működő rekurzív hálózatok felépítésének megközelítése [2] , az első ilyen jellegű alkalmazások a kémiában jelentek meg [5] , a kiterjesztés pedig irányított aciklikus gráfot alkot . [6]

Rekurzív, felügyelt hálózatok

2004-ben egy felügyelet nélküli rekurzív hálózati tanulási rendszert javasoltak . [7] [8]

Tenzorhálózatok

A tenzoros rekurzív hálózatok egyetlen tenzorfüggvényt használnak az összes fa csomópontjához. [9]

Képzés

Sztochasztikus gradiens süllyedés

Az edzéshez általában a sztochasztikus gradiens süllyedést (SGD) használják. A gradienst a végponttól végpontig terjedő hiba-visszaterjesztési keretrendszer (BPTS) határozza meg. Ez a módszer az ismétlődő neurális hálózatok betanítására használt idősor-visszaterjesztés módosítása .

Jellemzők

A szakirodalom megerősíti az univerzális közelítés lehetőségét a visszatérő hálózatok által fa típusú hálózatokon keresztül. [10] [11]

Kapcsolódó modellek

Ismétlődő neurális hálózat

A visszatérő neurális hálózat egy meghatározott szerkezetű rekurzív hálózat - lineáris lánc formájában. A rekurzív hálózatok általános típusú struktúrákon működnek, beleértve a hierarchiát is, a visszatérő hálózatok kizárólag lineáris időbeli haladással működnek, egy rejtett neurális rétegen keresztül összekötve az előző időpontot a következővel.

Tree Echo State Network

A fa visszhanghálózat a Reservoir számítási paradigmát használó rekurzív neurális hálózatok [12] hatékony példája.

Grafikonok kiterjesztése

A szerkezet gráfokra való kiterjesztésével létrejön egy grafikus neurális hálózat (GNN), [13] , egy neurális hálózat a gráfokhoz (NN4G), [14] és újabb konvolúciós neurális hálózatok a gráfokhoz.

Linkek

1. ↑ Goller, C.; Küchler, A. Feladattól függő elosztott reprezentációk tanulása visszaterjesztéssel szerkezeten keresztül  //  Neural Networks, 1996. IEEE : folyóirat. - doi : 10.1109/ICNN.1996.548916 .
2. ↑ 1 2 Sperduti, A.; Starita, A. Felügyelt neurális hálózatok struktúrák osztályozására  // IEEE  Transactions on Neural Networks : folyóirat. - 1997. - május 1. ( 8. köt . 3. sz .). - P. 714-735 . — ISSN 1045-9227 . - doi : 10.1109/72.572108 .
3. ↑ Frasconi, P.; Gori, M.; Sperduti, A. Általános keret az adatstruktúrák adaptív feldolgozásához  // IEEE  Transactions on Neural Networks : folyóirat. - 1998. - szeptember 1. ( 9. köt. , 5. sz.). - P. 768-786 . — ISSN 1045-9227 . - doi : 10.1109/72.712151 .
4. ↑ Socher, Richard; Lin, Cliff; Ng, Andrew Y.; Manning, Christopher D. Természetes jelenetek és természetes nyelv elemzése rekurzív neurális hálózatokkal  (Eng.)  // The 28th International Conference on Machine Learning (ICML 2011): folyóirat.
5. ↑ Bianucci, Anna Maria; Micheli, Alessio; Sperduti, Alessandro; Starita, Antonina. Application of Cascade Correlation Networks for Structures to Chemistry  (angol)  // Applied Intelligence : folyóirat. - 2000. - Vol. 12 , sz. 1-2 . - 117-147 . o . — ISSN 0924-669X . - doi : 10.1023/A:1008368105614 .
6. ↑ Micheli, A.; Sona, D.; Sperduti, A. Strukturált adatok kontextuális feldolgozása rekurzív kaszkádkorrelációval  // IEEE  Transactions on Neural Networks : folyóirat. - 2004. - november 1. ( 15. évf. , 6. sz.). - P. 1396-1410 . — ISSN 1045-9227 . - doi : 10.1109/TNN.2004.837783 .
7. ↑ Kalapács, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickart, Marc. Rekurzív önszerveződő hálózati modellek  (határozatlan)  // Neurális hálózatok. - 2004. - T. 17 . - S. 1061-1085 .
8. ↑ Kalapács, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickart, Marc. Általános keretrendszer a strukturált adatok felügyelet nélküli feldolgozásához  //  Neurocomputing : Journal. - 2004. - március 1. ( 57. köt. ). - P. 3-35 . - doi : 10.1016/j.neucom.2004.01.008 .
9. ↑ Socher, Richard; Perelygin, Alex; Y. Wu, Jean; Chuang, Jason; D. Manning, Christopher; Y. Ng, Andrew; Potts, Christopher. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank  (angol)  // EMNLP 2013 : folyóirat.
10. ↑ Kalapács, Barbara. Tanulás visszatérő neurális  hálózatokkal . — Springer, 2007. - ISBN 9781846285677 .
11. ↑ Kalapács, Barbara; Micheli, Alessio; Sperduti, Alessandro. Univerzális Approximation Capability of Cascade Correlation for Structures  //  Neurális számítás : folyóirat. - 2005. - május 1. ( 17. évf. , 5. sz.). - P. 1109-1159 . - doi : 10.1162/0899766053491878 .
12. ↑ Gallicchio, Claudio; Micheli, Alessio. Tree Echo State Networks  (neopr.)  // Neurocomputing. - 2013. - február 4. ( 101. kötet ). - S. 319-337 . - doi : 10.1016/j.neucom.2012.08.017 .
13. ↑ Scarselli, F.; Gori, M.; Tsoi, AC; Hagenbuchner, M.; Monfardini, G. The Graph Neural Network Model  // IEEE Transactions on Neural  Networks : folyóirat. - 2009. - január 1. ( 20. évf. , 1. sz.). - 61-80 . o . — ISSN 1045-9227 . - doi : 10.1109/TNN.2008.2005605 .
14. ↑ Micheli, A. Neurális hálózat grafikonokhoz: kontextuális konstruktív megközelítés  // IEEE Transactions on Neural  Networks : folyóirat. - 2009. - március 1. ( 20. évf. , 3. sz.). - P. 498-511 . — ISSN 1045-9227 . - doi : 10.1109/TNN.2008.2010350 .