Ideggáz

Az expanding neural gas egy olyan algoritmus , amely lehetővé teszi a bemeneti adatok adaptív klaszterezését , vagyis nemcsak a teret klaszterekre osztja, hanem magának az adatnak a jellemzői alapján meghatározza belőlük a szükséges számot. A táguló ideggáz nem igényel előzetes tájékoztatást az adatokról, például a klaszterek számának becsléséről vagy a klaszterek alakjáról. [1] Ez a számítási mechanizmusok új osztálya. A mesterséges neuronok száma és elhelyezkedése a tulajdonságtérben nem előre meghatározott, hanem a betanítási modellek során végzett számítás eredménye a bemeneten megadott adatok alapján [2] . Ebben a modellben a csomópontok szomszédsága nem rögzített, hanem dinamikusan változik a klaszterezés javulásával. A változók nem csak a szomszédsági kapcsolatok, hanem a klaszter neuronok száma is.

Létrehozási előzmények

Vannak olyan technikák, amelyek képesek a térben a leginkább hasonló objektumokat kiválasztani és csoportokat alkotni belőlük. Az elemzés során az objektumok halmazát részhalmazokba rendezzük a mért hasonlóság alapján. A módszerek általában egy szabványos sémán alapulnak: a vektorok térbeli elrendezése és az objektumok halmaza közötti kapcsolat optimalizálása úgy, hogy minden vektor meghatározza a klaszterek szerkezetét . A legtöbb technikának azonban van két jelentős hátránya: az elemzés adott számú klasztertől függ, és a klaszterekre való felosztás időben lokalizált. Minden modern klaszterezési módszer statikus volt, és nem tudták adaptálni az eredményeket, ha új adatot adtak az adatokhoz, akkor az algoritmust újra kellett futtatni.

Az algoritmus leírása

Az algoritmus megvalósítása két neuronnal kezdődik. Ezután számuk szekvenciális változása történik (általában a növekedés irányába), ugyanakkor a neuronok között olyan kapcsolatok jönnek létre, amelyek a legjobban megfelelnek a bemeneti vektorok eloszlásának. Minden neuronhoz hozzá van rendelve egy belső változó, amely "helyi hibát" halmoz fel. A csomópontok közötti kapcsolatokat az "age" [3] nevű változó írja le .

Először két csomópont jön létre (a továbbiakban csomópont=neuron) súlyvektorokkal, amelyeket a bemeneti vektorok eloszlása és a nulla lokális hibaértékek lehetővé tesznek;
A csomópontokat egy link köti össze, amivel beállítható az életkor. A kezdeti szakaszban az életkor 0.
Ezután egy vektort táplálunk a neurális hálózat bemenetére . ${\vec {X}}$
A következő szakaszban van két neuron és a legközelebbi ( közelebbi, mint ), azaz a súlyvektorokkal és súlyvektorokkal rendelkező csomópontok , amelyek a minimális és a második minimális távolságérték az összes csomópont között. $S$ $T$ ${\vec {X}}$ $S$ $T$ ${\displaystyle {\vec {W_{s))))$ ${\displaystyle {\vec {W_{t))))$ $\left\|{\vec {W_{s}}}-{\vec {X}}\right\|$ $\left\|{\vec {W_{t}}}-{\vec {X}}\right\|$
A legközelebbi neuron, a győztes lokális hibája frissül , és hozzáadódik a és vektorok közötti távolság négyzete . $S$ ${\displaystyle {\vec {W_{s))))$ ${\vec {X}}$ $E_{s}\Rightarrow E_{s}+\left\|{\vec {W_{s}}}-{\vec {X}}\right\|^{2}$
Ennek az eljárásnak a végrehajtása során a leggyakrabban nyerő csomópontok (a bemeneti jelek maximális száma a szomszédjukba esik) kapják a legnagyobb hibaértéket. Ezek a területek elsősorban "sűrűsödnek", és ez az új csomópontok hozzáadásának köszönhető.
A győztes neuron és az összes topológiai szomszédja (azaz minden neuron , amelyik kapcsolatban áll a győztessel) a bemeneti vektor felé tolódik el a törtekkel egyenlő távolsággal és a teljestől. $S$ $N$ $\varepsilon_{w}$ $\varepsilon_{n}$ ${\vec {W_{s}}}\Rightarrow {\vec {W_{s}}}+\varepsilon _{w}({\vec {W_{s}}}-{\vec {X} })$ ${\vec {W_{n}}}\Rightarrow {\vec {W_{n}}}+\varepsilon _{n}({\vec {W_{n}}}-{\vec {X} })$

Ha ebben a szakaszban a csomópontok a bemeneti vektor felé tolódnak el, akkor a győztes hajlamos "átlagolni" pozícióját a közelében található bemeneti jelekhez képest. Ebben az esetben a legjobb neuron enyhén „húzza” a szomszédos neuronokat a jel irányába.

Növelje 1-gyel a nyertestől származó összes kapcsolat korát . $S$
Ha a két legjobb neuron és és össze van kötve, akkor vissza kell állítani a kapcsolat korát. Ellenkező esetben kapcsolatot kell teremtenie közöttük. $S$ $T$
Töröljön minden olyan kapcsolatot, amely régebbi a maximális életkornál. Azok a neuronok, amelyek nem állnak kapcsolatban más csomópontokkal, eltávolításra kerülnek.
Ha az aktuális iteráció száma többszöröse , és a maximális hálózatméretet nem éri el, akkor a szabályok szerint új neuront kell létrehozni. Idővel több ciklus elmozdulás után felhalmozódik az információ, amely alapján döntés születik arról, hogy hol kell új neuront felvenni. A folyamat során a rétegben lévő összes neuron változó hibáit kijavítják. Ennek eredményeként a hálózat "elfelejti" a régi bemeneti vektorokat, és jobban reagál az újakra. Lehetővé válik az Expanding Neural Gas használata a neurális hálózat hozzáigazítására a bemeneti jelek lassan sodródó eloszlásához. $\lambda$ $R$
Keresse meg a maximális helyi hibával rendelkező neuront . $U$
A szomszédok között keresse meg a legnagyobb hibával rendelkező neuront . $U$ $V$
Hozzon létre egy csomópontot "középen" és között : $R$ $U$ $V$ ${\vec {W_{r}}}={\frac {{\vec {W_{u}}}+{\vec {W_{v}}}}{2}}$
Cserélje le a és közötti kapcsolatot a és közötti kapcsolatra , és . $U$ $V$ $U$ $R$ $R$ $V$
Csökkentse a neuronhibákat és állítsa be a neuron hiba értékét . $U$ $V$ $R$ $E_{u}\Rightarrow E_{u}*a$ $E_{v}\Rightarrow E_{v}*a$ $E_{r}\Rightarrow E_{u}$
Ennek a hibának a nagy értéke azt jelzi, hogy a megfelelő neuron kis számú neuron régiójában található.
Valahányszor egy véletlenszerűen kiválasztott neuronhoz a legközelebbi neuront határozzák meg , az utóbbi helyi hibája növekszik . $x$ ${\displaystyle {\vec {W_{j))))$ $E_{j}$ $\left\|{\vec {W_{j}}}-{\vec {X}}\right\|^{2}$

Adatstruktúra űrlap

A kutató maga állíthatja be a klaszterstruktúra formáját, függetlenül attól, hogy a klaszterezést hiperszférára , hipercsőre vagy hipersíkra kell-e végrehajtani . Ha nem rendelkezik ezzel a tudással, akkor a saját kovarianciamátrix értékének köszönhetően meghatározhatja a szükséges formát. Ha a struktúra legalább egy sajátértékkel kisebb, mint a felhasználó által választott küszöb, akkor a modell hiperlineáris lesz, ellenkező esetben a struktúrát nemlineáris sokaságnak kell tekinteni. A további tesztelés megmutatja, hogy a modell gömb vagy cső alakú-e. A szférikusság vizsgálata az np/na>ψ egyenlőtlenség teljesülésétől függ, ahol np a klaszteren belüli vektorok száma, amelyet a Jordan Brauer-tétel [4] segítségével találunk meg , ap pedig a klaszter felülete. klaszter, és ψ egy felhasználó által megadott küszöb. Ha ez az egyenlőtlenség np/na<ψ alakot ölt, akkor a klaszter alakja "hipercső" lesz. [3]

Távolság az X vektortól a különböző alakú klaszterekben lévő neuronokhoz

Egy hipercső formájú klaszter esetében a sugárirányú távolságmérték kiszámítása:

ahol Aj egy pozitív, határozott mátrix, amely számításba veszi a hipercső excentricitását és orientációját [5] . Az Aj értékét ehhez az egyenlethez a Lowner-hiperlipszoid segítségével találjuk meg a Khachiyan algoritmus segítségével [6] .

A távolságok hipersíkban történő meghatározásához használja a következő képletet:

ahol Aj egy tetszőlegesen pozitív határozott szimmetrikus súlymátrix. És bj, k becslése a modell neurális csomópontjainak sajátvektorainak megkeresésével történik.

A hiperszférában lévő távolság meghatározásához a következő képletet kell használnia:

ahol wi vagy a síkban lévő vektorok középértéke.

Adatvizualizáció

A 3D térben az adatok nagyon könnyen megjeleníthetők. [3] A képen látható.

Ha azonban a terünk nagyobb, mint a háromdimenziós, akkor az adatok megjelenítése nehézkes. A probléma megoldására egy ÁFA-n alapuló technikát [7] alkalmaznak . A konstrukció lényege, hogy a modell minimális feszítőfáját megtaláljuk. A rendezési folyamat befejezése után a klaszter szerkezete az átlóhoz közeli négyzetekkel elemezhető. Először normalizált, páronként különböző neuronokat számítunk ki minden egyes izolált gráfban. A különböző neuronok ezután átrendeződnek, hogy a legsűrűbb klaszteren belüli eloszlást hozzák létre. Ezután minden klasztert a saját színére festenek, és a főátló mentén helyezik el. A diagramon a klaszteren belüli kapcsolatok is szerepelnek, két klaszter közötti maximális távolságot fehérrel, feketével pedig a legkisebb távolságot jelöljük. Másik dimenzióként hozzáadható a klaszter térfogata, ez a négyzetek magassága.

Példa táguló ideggázra

Ez a példa bemutatja, hogyan alkalmazkodik a rendszer új adatok beírásakor. Az adatbázis 1050 pontobjektumból áll. Kezdetben 5000 iterációt hajtottak végre, és az információ 75%-a bekerült az algoritmusba. Miután 756 adatpont egy kis részét bevitték a rendszerbe, a neurális vektorok elkezdtek alkalmazkodni az alábbi ábrán látható eloszlás kialakításához.

Ezt követően további 150 új vektor került forgalomba. Ez egy új gömbi osztály kialakulásához vezetett, amelyet az alábbi ábra jelez:

A zöld és bíbor klaszterek térbeli közelsége ellenére az algoritmus a klaszterek növekedését észlelte, és alkalmazkodott ezekhez a változásokhoz. Ebben az esetben a fennmaradó 120 objektumot többször megkevertük a zöld és a bíbor klaszter között. Az algoritmus ezt követően elosztotta az adatokat a két klaszter között, és megtartotta a klaszterek eredeti számát.

Jegyzetek

↑ Szótár Neural.ru . Hozzáférés dátuma: 2012. június 15. Az eredetiből archiválva : 2012. július 24. (határozatlan)
↑ Növekvő neurális gáz - implementáció az MQL5 programozási nyelven . Letöltve: 2012. június 15. Az eredetiből archiválva : 2012. június 16.. (határozatlan)
↑ 1 2 3 Isaac J. Sledge, Growing Neural Gas for Temporal Clustering/IEEE, 2008
↑ M. Berg, M. Kreveld, M. Overmars, O. Schwarzkopf, Computational Geometry, Springer-Verlag, New York, 2000.
↑ G. Carpenter, "Versenyképes tanulás: az interaktív aktiválástól az adaptív rezonanciáig", Kognitív tudomány, 1. kötet. 1987. 11.
↑ L. Khachiyan, M. Todd, "A politóp maximális feliratos ellipszoidjának közelítésének bonyolultságáról", Math. Prog., 1993.
↑ J. Keller, I. Sledge, "A Cluster By Any Other Name", IEEE Proc., NAFIPS, 2007.

Lásd még

T. Martinetz, Neural Gas Network for Vector Organization and its application to time-series prediction/IEEE, vol. 4, 1993
T. Martinetz, A Neural Gas Network topológiákat tanul.

A mesterséges neurális hálózatok típusai

Feed-forward hálózat ( radiális alapú funkciók hálózata )
Egyrétegű perceptron
Többrétegű perceptron ( Rosenblatt • Rumelhart )
Hopfield hálózat
Markov lánc
Boltzmann gép
Limitált Boltzmann gép
Autoencoder ( Zajtalanító autoencoder • Ritka autoencoder • Változatos autoencoder )
A bizalom mély hálója
Konvolúciós Neurális Hálózat
Mély konvolúciós neurális hálózat
Telepítési neurális hálózat
Mély konvolúciós inverz grafikus hálózat
Generatív ellenséges hálózat
Ismétlődő neurális hálózat
Rekurzív neurális hálózatok
hosszú távú rövid távú memória
Ellenőrzött visszatérő blokk
Neurális Turing-gépek
Kétirányú hálózat ( Bidirectional recurrent neural network • Kétirányú hálózat hosszú távú memóriával • Kétirányú vezérelt visszatérő neuronok )
Deep Residual Network
Neurális visszhanghálózat
Extrém tanulási módszer
Az instabil állapotok módszere
Támogatja a vektoros gépet
Kohonen hálózat
Kohonen önszerveződő térképe
Kapszula neurális hálózat
Asszociatív memória neurális hálózatokon

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG