Neurális hálózat

A neurális hálózat [1] (más néven mesterséges neurális hálózat , ANN ) egy matematikai modell , valamint annak szoftveres vagy hardveres megvalósítása, amely biológiai neurális hálózatok - egy élő szervezet idegsejtjeinek hálózatai - szerveződésének és működésének elvén épül fel. Ez a fogalom az agyban lezajló folyamatok tanulmányozása során , illetve e folyamatok modellezésekor merült fel . Az első ilyen kísérlet W. McCulloch és W. Pitts neurális hálózatai volt [2] . A tanulási algoritmusok kidolgozása után a kapott modelleket gyakorlati célokra kezdték használni:előrejelzési problémák , mintafelismeréshez , vezérlési problémákhoz stb.

Az ANN összekapcsolt és kölcsönhatásban lévő egyszerű processzorok ( mesterséges neuronok ) rendszere . Az ilyen processzorok általában meglehetősen egyszerűek (főleg, ha összehasonlítjuk a személyi számítógépekben használt processzorokkal). Egy ilyen hálózatban minden processzor csak az általa periodikusan vett jelekkel foglalkozik, illetve azokkal a jelekkel, amelyeket időszakosan küld a többi processzornak. És mégis, egy kellően nagy hálózatba kapcsolva, szabályozott interakcióval, az ilyen külön-külön egyszerű processzorok együtt képesek meglehetősen összetett feladatok elvégzésére.

A gépi tanulás szempontjából a neurális hálózat a mintafelismerő módszerek , a diszkriminanciaanalízis speciális esete ;
Matematikailag a neurális hálózatok képzése többparaméteres nemlineáris optimalizálási probléma ;
A kibernetika szempontjából a neurális hálózatot adaptív vezérlési problémákban és robotika algoritmusaiként használják ;
A számítástechnika és a programozás fejlődése szempontjából a neurális hálózat egy mód a hatékony párhuzamosság problémájának megoldására [3] ;
A mesterséges intelligencia szempontjából az ANN a konnekcionizmus filozófiai irányzatának alapja és a strukturális megközelítés fő iránya a természetes intelligencia számítógépes algoritmusok segítségével történő felépítésének (szimulációjának) tanulmányozásában .

A neurális hálózatokat nem a szó szokásos értelmében programozzák , hanem betanítják [a] . A tanulási képesség a neurális hálózatok egyik fő előnye a hagyományos algoritmusokkal szemben . Technikailag a tanulás az idegsejtek közötti kapcsolatok együtthatóinak megtalálásáról szól. A tanulási folyamat során a neurális hálózat képes azonosítani a bemenetek és kimenetek közötti összetett függőséget, valamint általánosítást végezni . Ez azt jelenti, hogy sikeres képzés esetén a hálózat képes lesz a helyes eredményt visszaadni a képzési mintában hiányzó adatok, valamint a hiányos és/vagy „zajos”, részben torz adatok alapján.

Kronológia

1943 – W. McCulloch és W. Pitts az ötletek és az idegi tevékenység logikai számításáról szóló alapvető cikkben formalizálja a neurális hálózat fogalmát [2] . Pitts-szel való együttműködésének kezdetén N. Wiener vákuumcsöveket kínált számára neurális hálózati ekvivalensek megvalósítására [5] .
1948 – Megjelent N. Wiener kibernetikáról szóló könyve . A fő gondolat az összetett biológiai folyamatok matematikai modellekkel történő ábrázolása volt.
1949 – D. Hebb javasolja az első tanulási algoritmust.
1958- ban F. Rosenblatt feltalál egy egyrétegű perceptront , és bebizonyítja, hogy képes osztályozási problémákat megoldani [6] . A perceptront mintafelismerésre és időjárás-előrejelzésre használták. Mire a perceptront feltalálták, teljes volt az eltérés McCulloch elméleti munkája és Wiener „kibernetikája” között; McCulloch és követői elhagyták a Cybernetic Clubot.
1960- ban Bernard Widrow tanítványával, Hoffal a delta-szabály ( Widrow-képletek ) alapján kifejlesztette az Adalint, amelyet azonnal elkezdtek használni előrejelzési és adaptív vezérlési problémákra. Az Adalint az általuk létrehozott új elemek (Widrow-Hoff) - memistorok [7] [8] alapján építették .
1963- ban a Szovjetunió Tudományos Akadémia Információátviteli Problémák Intézetében. A. P. Petrov a perceptron számára "nehéz" problémákat tanulmányozza [9] . M. M. Bongard támaszkodott erre a munkára a Szovjetunióban az ANN-modellezés területén, mint „az algoritmus (perceptron) viszonylag kis módosítására a hiányosságok kijavítására” [10] .
1969 -ben M. Minsky közzétett egy formális bizonyítékot a perceptron korlátaira, és kimutatta, hogy nem képes megoldani néhány problémát (a "paritás" és az "egy a blokkban" problémája), amelyek a reprezentációk változatlanságával kapcsolatosak.
1972 -ben T. Kohonen és J. Anderson egymástól függetlenül új típusú neurális hálózatokat javasoltak, amelyek képesek memóriaként funkcionálni [11] .
1973- ban B. V. Khakimov egy nemlineáris modellt javasolt a szinapszisokkal, amelyek spline-okon alapulnak, és implementálta az orvostudomány, a geológia és az ökológia problémáinak megoldására [12] .
1974 – Paul J. Verbos [13] és Galushkin A. I. [14] egyidejűleg feltalál egy visszaterjesztési algoritmust többrétegű perceptronok betanításához [15] .
1975 – Fukushima bevezet egy kognitront – egy önszerveződő hálózatot, amelyet invariáns mintafelismerésre terveztek , de ez csak a kép szinte minden állapotának emlékezésével érhető el.
1982 – J. Hopfield kimutatta, hogy a visszacsatolásos neurális hálózat energiaminimalizáló rendszer lehet ( Hopfield hálózat ). Kohonen bemutatja a nem felügyelt hálózat ( Kohonen-féle neurális hálózat ) modelljeit, a klaszterezési problémák megoldását , az adatvizualizációt ( Kohonen önszerveződő térképe ), valamint az előzetes adatelemzés egyéb feladatait.
1986 – David I. Rumelhart , J. E. Hinton és Ronald J. Williams [16] , valamint S. I. Bartsev és V. A. Okhonin [17] egymástól függetlenül és egyszerre [17] újra felfedezték és kifejlesztették a hibavisszaterjesztés módszerét .
2007 – Mélytanulási algoritmusok többrétegű neurális hálózatokhoz, Jeffrey Hinton által a Torontói Egyetemen. Hinton a korlátozott Boltzmann-gépet (RBM) használta a hálózat alsóbb rétegeinek betanításához . Hinton szerint sok példát kell használni a felismerhető képekre (például különböző hátterű emberek sok arca). Az edzés után egy kész, gyorsan működő alkalmazást kapunk, amely képes megoldani egy adott problémát (például arcok keresése egy képen).

Figyelemre méltó felhasználások

Mintafelismerés és osztályozás

Különböző jellegű objektumok képként működhetnek: szövegszimbólumok, képek, hangminták stb. A hálózat betanítása során különféle képmintákat kínálnak fel, jelezve, hogy melyik osztályba tartoznak. A mintát általában jellemzőértékek vektoraként ábrázolják. Ebben az esetben az összes jellemző összességének egyértelműen meg kell határoznia azt az osztályt , amelyhez a minta tartozik. Ha nincs elég szolgáltatás, a hálózat ugyanazt a mintát több osztályhoz is társíthatja, ami nem igaz. A hálózati tréning végén korábban ismeretlen képekkel lehet bemutatni, és választ kapni egy bizonyos osztályhoz való tartozásról.

Egy ilyen hálózat topológiáját az jellemzi, hogy a kimeneti rétegben a neuronok száma általában megegyezik a meghatározott osztályok számával. Ez megfeleltetést hoz létre a neurális hálózat kimenete és az általa képviselt osztály között. Amikor egy hálózatot egy képpel jelenítenek meg, az egyik kimenetének jelet kell mutatnia, hogy a kép ebbe az osztályba tartozik. Ugyanakkor a többi kimeneten legyen egy jel, hogy a kép nem tartozik ebbe az osztályba [18] . Ha két vagy több kimeneten van egy osztályhoz való tartozás jele, akkor a hálózat „nem biztos” a válaszában.

Használt neurális hálózati architektúrák

Képzés tanárral:
- perceptron
- Konvolúciós neurális hálózatok

Tanulás tanár nélkül:
- Adaptív rezonancia hálózatok

Kevert tanulás:
- Radiális alapfunkciók hálózata

Döntéshozatal és menedzsment

Ez a probléma közel áll az osztályozás problémájához. A helyzetek osztályozás tárgyát képezik, amelyek jellemzőit a neurális hálózat bemenetére táplálják. A hálózat kimenetén meg kell jelennie a meghozott döntés jelének. Ebben az esetben a vezérelt rendszer állapotának leírására szolgáló különféle kritériumok bemeneti jelként [19] .

Klaszterezés

A klaszterezés a bemeneti jelek halmazának osztályokra bontását jelenti, annak ellenére, hogy sem az osztályok száma, sem a jellemzői nem ismertek előre. A betanítás után egy ilyen hálózat képes meghatározni, hogy a bemenő jel melyik osztályba tartozik. A hálózat azt is jelezheti, hogy a bemeneti jel nem tartozik a kiválasztott osztályok egyikéhez sem - ez annak a jele, hogy új adatok hiányoznak a betanítási mintából. Így egy ilyen hálózat képes új, korábban ismeretlen jelosztályokat észlelni . A hálózat által azonosított osztályok és a tantárgyi területen létező osztályok közötti megfelelést egy személy állapítja meg. A klaszterezést például Kohonen neurális hálózatok végzik .

A neurális hálózatok Kohonen egyszerű változatában nem lehetnek hatalmasak, ezért hiperrétegekre (hiperoszlopokra) és magokra (mikrooszlopokra) osztják őket. Az emberi aggyal összehasonlítva a párhuzamos rétegek ideális száma nem haladhatja meg a 112-t. Ezek a rétegek pedig hiperrétegeket (hiperoszlopokat) alkotnak, amelyekben 500-2000 mikrooszlop (mag) található. Ezen túlmenően minden réteg egy sor hiperoszlopra van felosztva, amelyek áthatolnak ezeken a rétegeken. A mikrooszlopok számjegyekkel és egységekkel vannak kódolva a kimeneten kapott eredménnyel. Szükség esetén további rétegeket és neuronokat távolítanak el vagy adnak hozzá. Ideális szuperszámítógép használata a neuronok és rétegek számának kiválasztásához. Egy ilyen rendszer lehetővé teszi, hogy a neurális hálózatok plasztikusak legyenek.

Használt neurális hálózati architektúrák

Tanulás tanár nélkül:

Előrejelzés

A neurális hálózat előrejelzési képessége közvetlenül következik abból, hogy képes általánosítani és kiemelni a bemeneti és kimeneti adatok közötti rejtett függőségeket. A képzés után a hálózat képes megjósolni egy bizonyos sorozat jövőbeli értékét több korábbi érték és (vagy) néhány jelenleg meglévő tényező alapján. Előrejelzés csak akkor lehetséges, ha a korábbi változások bizonyos mértékig valóban előre meghatározzák a jövőt . Például a részvényárfolyamok előrejelzése a múlt heti részvényárfolyamok alapján lehet, de lehet, hogy nem, míg a holnapi lottóeredmények előrejelzése az elmúlt 50 év adatai alapján szinte biztosan nem sikerül.

Használt neurális hálózati architektúrák

Képzés tanárral:

perceptron

Kevert tanulás:

Radiális alapfunkciók hálózata

Közelítés

A neurális hálózatok közelíthetik a folytonos függvényeket. Egy általánosított közelítési tételt [20] bizonyítottak : lineáris műveletek és kaszkád kapcsolat segítségével tetszőleges nemlineáris elemből olyan eszközt lehet előállítani, amely előre meghatározott pontossággal bármilyen folytonos függvényt kiszámít . Ez azt jelenti, hogy egy neuron nemlineáris karakterisztikája tetszőleges lehet: szigmoidtól tetszőleges hullámcsomagig vagy hullámhalmazig , szinuszig vagy polinomig . Egy adott hálózat összetettsége függhet a nemlineáris függvény megválasztásától , de bármilyen nemlinearitás mellett a hálózat univerzális közelítő marad , és a megfelelő szerkezetválasztással pontosan közelítheti bármely folytonos automata működését.

Használt neurális hálózati architektúrák

Képzés tanárral:

perceptron

Kevert tanulás:

Radiális alapfunkciók hálózata

Adattömörítés és asszociatív memória

A neurális hálózatok azon képessége, hogy azonosítsák a különböző paraméterek közötti kapcsolatokat, lehetővé teszi a nagy dimenziós adatok tömörebb kifejezését, ha az adatok szorosan összekapcsolódnak egymással. A fordított folyamatot - az eredeti adathalmaz visszaállítását egy információból - (auto)asszociatív memóriának nevezzük. Az asszociatív memória azt is lehetővé teszi, hogy visszaállítsa az eredeti jelet/képet a zajos/sérült bemeneti adatokból. A heteroasszociatív memória problémájának megoldása lehetővé teszi a tartalom-címezhető memória megvalósítását [19] .

Adatelemzés

Használt neurális hálózati architektúrák

Képzés tanárral:

perceptron

Tanulás tanár nélkül:

Optimalizálás

Használt neurális hálózati architektúrák

Tanulás tanár nélkül:

A problémamegoldás szakaszai

Adatgyűjtés képzéshez;
Adatok előkészítése és normalizálása;
Hálózati topológia kiválasztása;
Hálózati jellemzők kísérleti kiválasztása;
A képzési paraméterek kísérleti kiválasztása;
tényleges képzés;
A képzés megfelelőségének ellenőrzése;
Paraméterbeállítás, záró edzés;
Hálózati verbalizáció [21] további felhasználásra.

Ezen lépések közül néhányat részletesebben meg kell fontolni.

Adatgyűjtés a képzéshez

A hálózati betanításhoz szükséges adatok kiválasztása és feldolgozása a probléma megoldásának legnehezebb lépése. A képzési adatkészletnek több kritériumnak kell megfelelnie:

Reprezentativitás – az adatoknak illusztrálniuk kell a tárgykör valós helyzetét;
Konzisztencia − Az inkonzisztens adatok a képzési készletben rossz hálózati képzési minőséget eredményeznek.

A kezdeti adatokat a rendszer olyan formába konvertálja, amelyben elküldhető a hálózat bemeneteire. Az adatfájl minden bejegyzését edzéspárnak vagy edzésvektornak nevezzük . A betanítási vektor minden hálózati bemenethez egy értéket tartalmaz, és a betanítás típusától függően (felügyelt vagy nem felügyelt) minden hálózati kimenethez egy értéket. A hálózat „nyers” készleten történő betanítása általában nem ad jó minőségű eredményeket. Számos módja van a hálózat „érzékelésének” javításának.

A normalizálásra akkor kerül sor, ha különböző méretű adatok kerülnek a különböző bemenetekre. Például a nullától egyig terjedő értékű értékek a hálózat első bemenetére, a száz és ezre közötti értékek pedig a második bemenetre kerülnek. Normalizálás hiányában a második bemeneten lévő értékek mindig lényegesen nagyobb hatással lesznek a hálózati kimenetre, mint az első bemenet értékei. Normalizáláskor az összes bemeneti és kimeneti adat méreteit egyesítik;
A kvantálást olyan folytonos mennyiségeken hajtják végre, amelyekhez diszkrét értékek véges halmaza van hozzárendelve. Például a kvantálást az audiojelek frekvenciájának beállítására használják a beszédfelismerésben;
A „zajos” adatok szűrése történik.

Emellett fontos szerepet játszik mind a bemeneti, mind a kimeneti adatok bemutatása. Tegyük fel, hogy a hálózat képzett betűk felismerésére a képeken, és van egy numerikus kimenete - a betű száma az ábécében. Ebben az esetben a hálózat azt a hamis benyomást fogja kelteni, hogy az 1-es és 2-es betűk jobban hasonlítanak az 1-es és 3-as betűkre, ami általában nem igaz. Az ilyen helyzetek elkerülése érdekében nagy számú kimenettel rendelkező hálózati topológiát használnak, amikor minden kimenetnek megvan a maga jelentése. Minél több kimenet van a hálózatban, annál nagyobb a távolság az osztályok között, és annál nehezebb összekeverni őket.

Hálózati topológia kiválasztása

A hálózat típusát a problémafelvetés és a rendelkezésre álló képzési adatok alapján kell kiválasztani. A felügyelt tanuláshoz a minta minden eleméhez „szakértői” értékelés szükséges. Néha egyszerűen lehetetlen ilyen becslést kapni nagy mennyiségű adatra. Ezekben az esetekben természetes választás egy felügyelet nélküli tanulási hálózat (pl. Kohonen önszerveződő térkép vagy Hopfield neurális hálózat ). Egyéb problémák megoldásakor (például idősoros előrejelzés) a szakértői vélemény már az eredeti adatokban is megtalálható, és a feldolgozás során kinyerhető. Ebben az esetben többrétegű perceptront használhat[ tisztázni ] vagy a Word hálózatot .

Hálózati jellemzők kísérleti kiválasztása

Az általános struktúra kiválasztása után kísérletileg kell kiválasztani a hálózati paramétereket. Az olyan hálózatok esetében, mint a perceptron, ez a rétegek száma, a rejtett rétegekben lévő blokkok száma (Word hálózatok esetén), a bypass kapcsolatok megléte vagy hiánya, valamint a neuronok átviteli funkciói. A bennük lévő rétegek és neuronok számának megválasztásakor abból kell kiindulni, hogy minél nagyobb a hálózat általánosító képessége, minél több a neuronok közötti kapcsolatok száma . Másrészt a kapcsolatok számát felülről korlátozza a betanítási adatok rekordjainak száma.

Tanulási paraméterek kísérleti kiválasztása

Egy adott topológia kiválasztása után ki kell választani a neurális hálózat betanítási paramétereit. Ez a lépés különösen fontos felügyelt hálózatok esetén . A paraméterek helyes megválasztása nemcsak azt határozza meg, hogy a hálózat válaszai milyen gyorsan konvergálnak a helyes válaszokhoz. Például, ha alacsony tanulási arányt választ, megnő a konvergencia ideje, de néha elkerülhető a hálózati bénulás . A tanulási momentum növelése növelheti vagy csökkentheti a konvergencia időt, a hibafelület alakjától függően . A paraméterek ilyen ellentmondásos befolyása alapján megállapítható, hogy értékeiket kísérleti úton kell megválasztani, a tanulási teljesítési kritérium (például a hiba minimalizálása vagy a képzési idő korlátozása) alapján.

Hálózati képzés

A tanulási folyamat során a hálózat meghatározott sorrendben letapogatja a képzési mintát. A böngészés sorrendje lehet szekvenciális, véletlenszerű stb. Egyes nem felügyelt hálózatok ( például Hopfield hálózatok ) csak egyszer vizsgálják meg a mintát. Mások (például a Kohonen-hálózatok ), valamint a felügyelt hálózatok sokszor átvizsgálják a mintát, és a minta egy teljes áthaladását tanulási korszaknak nevezik . A tanárral való tanulás során a kezdeti adatok halmaza két részre oszlik - a tényleges képzési mintára és a tesztadatokra; az elválasztás elve tetszőleges lehet. A betanítási adatokat betáplálják a hálózatba betanítás céljából, a tesztadatok alapján pedig kiszámítják a hálózat hibáját (a tesztadatokat soha nem használják fel a hálózat betanítására). Így, ha a hiba csökken a tesztadatokon, akkor a hálózat általánosít. Ha a betanítási adatok hibája tovább csökken, és a tesztadatok hibája növekszik, akkor a hálózat leállította az általánosítást, és egyszerűen „emlékezik” a betanítási adatokra. Ezt a jelenséget hálózati túlillesztésnek vagy túlillesztésnek nevezik . Ilyen esetekben az edzést általában leállítják. A betanítási folyamat során egyéb problémák is jelentkezhetnek, mint például bénulás, vagy a hálózat bejutása a hibafelület lokális minimumába. Lehetetlen előre megjósolni egy adott probléma megnyilvánulását, valamint egyértelmű ajánlásokat adni azok megoldására.

A fentiek mindegyike csak a neurális hálózati megoldások keresésének iteratív algoritmusaira vonatkozik. Számukra valójában semmi sem garantálható, és lehetetlen teljesen automatizálni a neurális hálózatok képzését. Az iteratív tanulási algoritmusok mellett azonban vannak nem iteratív algoritmusok, amelyek nagyon nagy stabilitásúak, és lehetővé teszik a tanulási folyamat teljes automatizálását .

A képzés megfelelőségének ellenőrzése

A hálózat még az első ránézésre sikeres képzés esetén sem mindig pontosan azt tanulja meg tőle, amit az alkotó akart. Ismert eset, amikor a hálózatot arra képezték ki, hogy felismerje a tankok képeit fényképekről, de később kiderült, hogy az összes tankot ugyanarról a háttérről fényképezték. Ennek eredményeként a hálózat „megtanulta” felismerni ezt a fajta terepet, ahelyett, hogy „tanult volna” felismerni a tankokat [22] . Így a hálózat nem azt „érti”, amit elvártak tőle, hanem azt, amit a legkönnyebb általánosítani.

A neurális hálózati képzés minőségének tesztelését olyan példákon kell elvégezni, amelyek nem vettek részt a képzésben. Minél nagyobb a tesztesetek száma, annál magasabb a képzés minősége. Ha a neurális hálózati hibák valószínűsége megközelíti az egymilliárdot, akkor egymilliárd tesztesetre van szükség ennek a valószínűségnek a megerősítéséhez. Kiderült, hogy a jól képzett neurális hálózatok tesztelése nagyon nehéz feladattá válik.

Osztályozás a bemeneti információ típusa szerint

Analóg neurális hálózatok (valós számok formájában használja fel az információkat);
Bináris neurális hálózatok (bináris formában megjelenített információkkal működnek);
Figuratív neurális hálózatok (kép formájában bemutatott információkkal működnek: jelek, hieroglifák, szimbólumok).

Osztályozás a képzés jellege szerint

Felügyelt tanulás - a neurális hálózat kimeneti döntési tere ismert;
Felügyelet nélküli tanulás − Egy neurális hálózat csak a bemeneti műveletek alapján generál kimeneti döntési teret. Az ilyen hálózatokat önszerveződőnek nevezzük;
A megerősítő tanulás egy olyan rendszer, amely a környezetből származó büntetéseket és jutalmakat rendeli el.

Osztályozás a szinapszis hangolás jellege szerint

Rögzített kapcsolatú hálózatok (a neurális hálózat súlyai azonnal kiválasztásra kerülnek, a probléma körülményei alapján, míg: , ahol W a hálózat súlyai); ${\boldsymbol {d}}W/dt=0$
Dinamikus kapcsolatokkal rendelkező hálózatok (náluk a tanulási folyamat során a szinaptikus kapcsolatok igazításra kerülnek, azaz , ahol W a hálózat súlytényezői). ${\boldsymbol {d}}W/dt\not =0$

Osztályozás jelátviteli idő szerint

Számos neurális hálózatban az aktiváló funkció nemcsak a kapcsolatok súlytényezőitől függhet , hanem az impulzus (jel) kommunikációs csatornákon történő átvitelének idejétől is . Ezért általában a kapcsolat aktiváló (átvivő) funkciója elemről elemre a következő formában van: . Ekkor szinkron hálózatnak nevezzük azt a hálózatot, amelyben az egyes kapcsolatok átviteli ideje nulla vagy fix állandó . Az aszinkron hálózat olyan hálózat, amelyben az egyes elemek közötti kapcsolatok átviteli ideje eltérő , de állandó. $w_{ij}$ $\tau_{ij}$ $c_{ij}$ $u_{i}$ $u_{j}$ $c_{ij}^{*}=f[w_{ij}(t),u_{i}^{*}(t-\tau _{ij})]$ $\tau_{ij}$ $\tau$ $\tau_{ij}$ $u_{i}$ $u_{j}$

Osztályozás a kapcsolatok jellege szerint

Feed-forward neurális hálózatok

Az előrecsatolt neurális hálózatokban minden kapcsolat szigorúan a bemeneti neuronoktól a kimeneti neuronok felé irányul . Ilyen hálózatok például a Rosenblatt perceptron , többrétegű perceptron , Word hálózatok .

Ismétlődő neurális hálózatok

A kimeneti neuronok vagy rejtett rétegbeli neuronok jelei részben visszakerülnek a bemeneti réteg neuronjainak bemeneteire ( visszacsatolás ). Az ismétlődő Hopfield hálózat „szűri” a bemeneti adatokat, visszaáll stabil állapotba, és ezáltal lehetővé teszi az adattömörítés és az asszociatív memória építésének problémáinak megoldását [23] . A kétirányú hálózatok az ismétlődő hálózatok speciális esetei. Az ilyen hálózatokban a rétegek között mind a bemeneti rétegtől a kimenetig, mind az ellenkező irányban vannak kapcsolatok. Klasszikus példa erre a Cosco Neural Network .

Radiális bázisfüggvények

Neurális hálózatokat fejlesztettek ki, amelyek radiális-alap (más néven RBF) hálózatokat használnak aktiválási funkcióként. A radiális bázisfüggvény általános képe:

$f(x)=\phi \left({\frac {x^{2}}{\sigma ^{2}}}\jobbra)$ , például, $f(x)=e^{-{{x^{2}} \over {\sigma ^{2}}}},$

ahol a neuron bemeneti jelek vektora, a függvényablak szélessége, egy csökkenő függvény (leggyakrabban nullával egyenlő egy bizonyos szegmensen kívül). $x$ $\sigma$ $\phi (y)$

A sugárirányú alaphálózatot három jellemző jellemzi:

Az egyetlen rejtett réteg;
Csak a rejtett réteg neuronjai rendelkeznek nemlineáris aktivációs funkcióval;
A bemeneti és rejtett rétegek kapcsolatainak szinaptikus súlya eggyel egyenlő.

Önszerveződő térképek

Az ilyen hálózatok egy felügyelet nélküli kompetitív neurális hálózat , amely a vizualizáció és a klaszterezés feladatát látja el . Ez egy módszer többdimenziós tér kisebb dimenziójú (leggyakrabban kétdimenziós) térbe való vetítésére, modellezési, előrejelzési stb. problémák megoldására is használható. A Kohonen-féle neurális hálózatok egyik változata [ 24] . Kohonen önszerveződő térképei elsősorban a vizualizációt és a kezdeti („felderítő”) adatok elemzését szolgálják [25] .

A Kohonen-hálózatba érkező jel egyszerre az összes neuronhoz jut, a megfelelő szinapszisok súlyait a csomópont pozíciójának koordinátáiként értelmezzük, és a kimeneti jelet a „győztes mindent visz” elv szerint alakítjuk ki, vagyis a A bemeneti jelhez (a szinapszis súlyok értelmében) legközelebbi neuronnak van egy nem nulla kimeneti jelobjektuma. A tanulási folyamat során a szinapszis súlyokat úgy állítják be, hogy a rácscsomópontok lokális adatsűrűsödő helyeken „elhelyezkedjenek”, vagyis leírják az adatfelhő klaszterstruktúráját, másrészt a neuronok közötti kapcsolatokat. megfelelnek a jellemzőtér megfelelő klaszterei közötti szomszédsági kapcsolatoknak.

Az ilyen térképeket célszerű többdimenziós térben elhelyezkedő csomópontok kétdimenziós rácsainak tekinteni. Kezdetben az önszerveződő térkép egy linkekkel összekapcsolt csomópontokból álló rács. Kohonen két lehetőséget vizsgált a csomópontok összekapcsolására - téglalap alakú és hatszögletű rácsban - a különbség az, hogy egy téglalap alakú rácsban minden csomópont 4 szomszédos csomóponthoz, a hatszögletűben pedig hat legközelebbi csomóponthoz kapcsolódik. Két ilyen rács esetében a Kohonen-hálózat felépítésének folyamata csak abban tér el, ahol az adott csomóponthoz legközelebbi szomszédokat bejárják.

A rács kezdeti beágyazása az adattérben tetszőlegesen kerül kiválasztásra. A szerző SOM_PAK csomagja lehetőségeket kínál a csomópontok véletlenszerű kezdeti helyének meghatározására a térben, és egy változatot a csomópontok síkban történő elhelyezésére. Ezt követően a csomópontok elkezdenek mozogni a térben a következő algoritmus szerint:

Egy adatpont véletlenszerűen kerül kiválasztásra . $x$
Meg van határozva a legközelebbi térképcsomópont (BMU – legjobb egyezési egység). $x$
Ez a csomópont az adott lépést a felé mozgatja . Azonban nem egyedül mozog, hanem bizonyos számú legközelebbi csomópontot visz magával a térkép valamelyik környékéről. Az összes mozgó csomópont közül az adatponthoz legközelebbi központi csomópont van a legerősebben eltolva, a többi pedig annál kisebb elmozdulásokat tapasztal, minél távolabb vannak a BMU-tól. A térképhangolásnak két szakasza van - a durva ( rendezés ) és a finom ( finomhangolás ) szakasza. Az első szakaszban a környékek nagy értékeit választják ki, és a csomópontok mozgása kollektív jellegű - ennek eredményeként a térkép „kiterül”, és nagyjából tükrözi az adatstruktúrát; a finomhangolási szakaszban a szomszédság sugara 1-2, és a csomópontok egyes pozíciói már be vannak állítva. Ezenkívül a torzítási érték egyenletesen csökken az idő múlásával, azaz minden edzésszakasz elején nagy, a végén pedig nullához közelít. $x$
Az algoritmus bizonyos számú korszakon keresztül ismétlődik (jól látható, hogy a lépések száma a feladattól függően nagymértékben változhat).

Ismert hálózattípusok

Perceptron Rosenblatt ;
Hakimov spline modellje ;
Rosenblatt többrétegű perceptron ;
Rumelhart többrétegű perceptronja ;
Jordan Network ;
Elman Network ;
Hamming hálózat ;
A Word hálózat ;
Hopfield hálózat ;
Kohonen hálózat ;
Neurongáz [26] ;
Cognitron ;
neokognitron ;
Kaotikus neurális hálózat ;
Oszcillációs neurális hálózat ;
Ellenterjedési hálózat ;
Radial Basis Functions Network (RBF-hálózat);
Általánosított regressziós hálózat ;
D. Szmirnov hálózata ;
Valószínűségi hálózat ;
Reshetov valószínűségi neurális hálózata ;
Sziámi Neurális Hálózat ;
Adaptív rezonancia hálózatok ;
Konvolúciós neurális hálózat ( eng. convolutional neural network );
Fuzzy többrétegű perceptron ;
Impulzus neurális hálózat .

Különbségek a Neumann architektúra gépeitől

A neurális hálózatokon alapuló számítástechnikai rendszereknek számos olyan tulajdonságuk van, amelyek hiányoznak a Neumann-architektúrájú gépekből (de az emberi agy velejárói):

Tömeges párhuzamosság ;
Információk és számítások elosztott megjelenítése ;
Tanulási és általánosítási képesség;
alkalmazkodóképesség ;
A kontextuális információfeldolgozás tulajdonsága;
hibatűrés ;
Alacsony energia fogyasztás.

Használati példák

Pénzügyi idősorok előrejelzése

A bemeneti adat az év részvényárfolyama. A feladat a holnapi pálya meghatározása. A következő átalakítást hajtjuk végre - a mai, tegnapi, tegnapelőtti pálya felsorakozik. A következő sor dátum szerint egy nappal eltolódik és így tovább. A kapott halmazon egy 3 bemenettel és egy kimenettel rendelkező hálózat betanításra kerül - azaz kimenet: tanfolyam eddig, bemenetek: tanfolyam mínusz 1 nap, mínusz 2 nap, mínusz 3 nap. A betanított hálózat a mai, tegnapi, tegnapelőtti árfolyamot táplálja, és holnapra kap választ. Ebben az esetben a hálózat egy paraméter függőségét mutatja az előző háromtól. Ha kívánatos valamilyen más paramétert figyelembe venni (például az iparág általános indexét), akkor azt bemenetként kell hozzáadni (és szerepeltetni a példákban), át kell képezni a hálózatot, és új eredményeket kell elérni. A legpontosabb edzés érdekében érdemes az ORO módszert használni , mint a leginkább kiszámítható és könnyen megvalósítható.

Pszichodiagnosztika

M. G. Dorrer és szerzőtársai munkáinak sorozata foglalkozik a pszichológiai intuíció fejlesztésének lehetőségével neurális hálózati szakértői rendszerekben [27] [28] . A kapott eredmények megközelítést adnak a neurális hálózatok intuíciójának mechanizmusának feltárására, amely akkor nyilvánul meg, amikor pszichodiagnosztikai problémákat oldanak meg. A pszichodiagnosztika intuitív , a számítógépes módszereknél nem szabványos megközelítését alkották meg, amely a leírt valóság konstrukciójának kizárásából áll . Lehetővé teszi a pszichodiagnosztikai módszerekkel kapcsolatos munka csökkentését és egyszerűsítését.

Kemoinformatika

A neurális hálózatokat széles körben használják a kémiai és biokémiai kutatásokban [29] . Napjainkban a neurális hálózatok a kemoinformatika egyik legelterjedtebb módszerei a kvantitatív szerkezet-tulajdonság összefüggések keresésében [ 30] [31] , aminek köszönhetően aktívan használják mind a kémiai vegyületek fizikai-kémiai tulajdonságainak és biológiai aktivitásának előrejelzésére, mind kémiai vegyületek, előre meghatározott tulajdonságokkal rendelkező vegyületek és anyagok irányított tervezése, beleértve az új gyógyszerek kifejlesztését.

Neurofeedback

A neurális hálózatokat sikeresen használják dinamikus objektumok vezérlőrendszereinek szintézisére [32] [33] .

A vezérlés területén a neurális rendszereket objektum azonosítási problémákban, előrejelzési és diagnosztikai algoritmusokban, valamint az optimális ACS szintézisében használják. Az ANN alapú ACP megvalósításához jelenleg intenzíven fejlesztik a neurochipek és neurokontrollerek (NC) gyártását.

Bizonyos értelemben az ANN egy agyi szimulátor , amely képes tanulni és eligazodni a bizonytalanság körülményei között. A mesterséges neurális hálózat két szempontból hasonlít az agyhoz. A hálózat tudást szerez a tanulási folyamat során, és a tudás tárolására nem magukat az objektumokat használja, hanem azok kapcsolatait - az interneuronális kapcsolatok együtthatóinak értékeit, amelyeket szinaptikus súlyoknak vagy szinaptikus együtthatóknak neveznek.

Az ANN tanulási eljárás a szinaptikus súlyok azonosításából áll, amelyek biztosítják a szükséges transzformációs tulajdonságokat. Az ANN egyik jellemzője, hogy képes módosítani a paramétereket és a struktúrát a tanulási folyamatban. [34]

Közgazdaságtan

A neurális hálózati algoritmusokat széles körben használják a közgazdaságtanban [35] . A neurális hálózatok segítségével megoldódik a gazdasági objektumok (vállalkozás, ipar, régió) működési mintáinak analitikus leírásának megtalálására szolgáló algoritmusok fejlesztésének problémája. Ezeket az algoritmusokat az objektumok egyes „kimeneti” mutatóinak előrejelzésére alkalmazzák. A neurális hálózati módszerek alkalmazása lehetővé teszi a közgazdasági és statisztikai modellezés egyes problémáinak megoldását, a matematikai modellek megfelelőségének növelését, a gazdasági valósághoz való közelítését [36] . Mivel a gazdasági, pénzügyi és társadalmi rendszerek nagyon összetettek, és emberi cselekvések és reakciók eredményei, ezért egy komplett matematikai modell létrehozása , amely minden lehetséges cselekvést és reakciót figyelembe vesz, nagyon nehéz (ha megoldható) feladat. Az ilyen komplexitású rendszerekben természetes és leghatékonyabb olyan modellek alkalmazása, amelyek közvetlenül utánozzák a társadalom és a gazdaság viselkedését. Pontosan ezt tud nyújtani a neurális hálózatok [37] módszertana .

Lásd még

Jegyzetek

Megjegyzések

↑ A jól ismert gépi tanulási specialista , Yang LeCun szerint a gépi tanulás a mesterséges neurális hálózatokon alapuló gondolkodás reprodukciója [4]

Lábjegyzetek

↑ Neurális hálózat // Great Russian Encyclopedia : [35 kötetben] / ch. szerk. Yu. S. Osipov . - M . : Nagy orosz enciklopédia, 2004-2017.
↑ 1 2 McCulloch W. S. , Pitts W. Logical Calculus of Ideas Relating to Nervous Activity Archive 2007. november 27, the Wayback Machine // Automata / Szerk. C. E. Shannon és J. McCarthy. — M .: Izd-vo inostr. lit., 1956. - S. 363-384. (Az 1943-as angol cikk fordítása)
↑ Gorban A.N. Kik vagyunk, merre tartunk, hogyan mérjük az utunkat? 2009. augusztus 14-i archivált másolat a Wayback Machine plenáris ülésén, a Neuroinformatics-99 konferencia megnyitóján (MEPhI, 1999. január 20.). Folyóirat verziója: Gorban A. N. Neuroinformatika: kik vagyunk, merre tartunk, hogyan mérjük az utunk // Számítási technológiák. - M . : Mashinostroenie. - 2000. - 4. sz. - S. 10-14. = Gorban AN Neuroinformatika: Mik vagyunk, merre tartunk, hogyan mérjük az utunk? Archivált : 2016. február 17., a Wayback Machine The Lecture at the USA-NIS Neurocomputing Opportunities Workshop, Washington DC, 1999. július (Kapcsolódóan az IJCNN'99-el) .
↑ LeCun, 2021 , p. 78.
↑ N. Wiener. Kibernetika. 2. kiadás, 1961, ch. ÉN.
↑ Golubev, 2007 , p. négy.
↑ Mintafelismerés és adaptív vezérlés. BERNARD WIDROW . Letöltve: 2009. február 9. Archiválva az eredetiből: 2010. június 22. (határozatlan)
↑ Widrow B., Stearns S. Adaptív jelfeldolgozás. - M . : Rádió és kommunikáció, 1989. - 440 p.
↑ Petrov A.P. A perceptron képességeiről // A Szovjetunió Tudományos Akadémia kiadványa, Műszaki kibernetika. - 1964. - 6. sz .
↑ Bongard M. M. A felismerés problémái. - M .: Fizmatgiz, 1967.
↑ Golubev, 2007 , p. 5.
↑ Khakimov B. B. Korrelációs függőségek modellezése spline-okkal geológiai és ökológiai példákon. - M . : Moszkvai Kiadó. egyetemi; SPb. : Neva, 2003. - 144 p.
↑ Werbos PJ A regresszión túl: Új eszközök az előrejelzéshez és elemzéshez a viselkedéstudományokban. — Ph. D. értekezés, Harvard Egyetem, Cambridge, MA, 1974.
↑ Galushkin A.I. Többrétegű mintafelismerő rendszerek szintézise. - M . : Energia, 1974.
↑ Rumelhart DE, Hinton GE, Williams RJ , Belső reprezentációk tanulása hibaterjedés útján. In: Parallel Distributed Processing, vol. 1, pp. 318-362. Cambridge, MA, MIT Press. 1986.
↑ Rumelhart DE, Hinton GE, Williams RJ Internal Representations by Error Propagation // Párhuzamos elosztott feldolgozás. Vol. 1. - Cambridge, MA: MIT Press, 1986. P. 318-362.
↑ Bartsev S.I., Okhonin V.A. Az információfeldolgozás adaptív hálózatai. - Krasznojarszk: Fizikai Intézet SO AN USSR, 1986. Preprint N 59B. - 20-as évek.
↑ Ezt a típusú kódolást néha "1 az N-ből" kódnak is nevezik.
↑ 1 2 Nyílt rendszerek – Bevezetés a neurális hálózatokba Archiválva : 2005. október 31. a Wayback Machine -nél
↑ Gorban A. N. A neurális hálózatok általánosított közelítési tétele és számítási képességei Archív másolat 2012. január 27-én a Wayback Machine -nél // Siberian Journal of Computational Mathematics , 1998, 1. kötet, 1. szám - 12-24.
↑ Mirkes E. M. Logikailag transzparens neurális hálózatok és explicit tudás előállítása adatokból Archív példány 2019. február 4., a Wayback Machine // Neuroinformatika / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdin et al. - Novoszibirszk: Tudomány. Az Orosz Tudományos Akadémia Szibériai Vállalkozása, 1998. - 296 p. — ISBN 5-02-031410-2 .
↑ A történet említése a Popular Mechanics-ban . Letöltve: 2012. április 16. Az eredetiből archiválva : 2011. szeptember 8.. (határozatlan)
↑ INTUIT.ru – Ismétlődő hálózatok asszociatív tárolóeszközökként . Letöltve: 2007. október 5. Az eredetiből archiválva : 2007. december 17.. (határozatlan)
↑ Kohonen T. Önszerveződő térképek. 3. kiadás. - Berlin - New York: Springer-Verlag, 2001 / - ISBN 0-387-51387-6 , ISBN 3-540-67921-9 .
↑ Zinovjev A. Yu. Többdimenziós adatok megjelenítése . - Krasznojarszk: Krasznojarszk Állami Kiadó. tech. un-ta, 2000. - 180 p.
↑ Martinetz TM, Berkovich SG, Schulten KJ Neurális gázhálózat vektorkvantáláshoz és idősor-előrejelzéshez való alkalmazása Archiválva : 2019. július 16., a Wayback Machine // IEEE Trans. Neurális Hálózatokról, 1993, 1. sz. 4. - P. 558-569. A PCA webhelyéről Archiválva : 2019. március 16., a Wayback Machine -nél
↑ Gorban AN, Rossiyev DA, Dorrer MG MultiNeuron – Neurális hálózatok szimulátora orvosi, fiziológiai és pszichológiai alkalmazásokhoz Archiválva : 2016. február 17., a Wayback Machine // Wcnn'95, Washington, DC: Nemzetközi Neurális Hálózatok Kongresszusa, 1995. A Neural Network Society éves találkozója: Renaissance Hotel, Washington, DC, USA, 1995. július 17-21.
↑ Dorrer M.G. Mesterséges neurális hálózatok pszichológiai intuíciója Archiválva : 2009. március 25., a Wayback Machine , Diss. … 1998. Egyéb online példányok: [1] archiválva 2009. április 28-án a Wayback Machine -nél , [2] archiválva 2009. április 7-én a Wayback Machine -nél
↑ Baskin I. I., Palyulin V. A., Zefirov N. S. Mesterséges neurális hálózatok alkalmazása kémiai és biokémiai kutatásokban Archív másolat 2007. július 10-én a Wayback Machine -nél // Vestn. Moszkva egyetemi Ser. 2. Kémia . 1999. V. 40. 5. sz.
↑ Galbershtam N. M., Baskin I. I., Palyulin V. A., Zefirov N. S. Neural networks as a method for searching for structure-property dependencies of organic compounds // Uspekhi khimii . - Orosz Tudományos Akadémia , 2003. - T. 72 , 7. sz . - S. 706-727 . (Orosz)
↑ Baskin I. I., Palyulin V. A., Zefirov N. S. Többrétegű perceptronok a szerves vegyületek szerkezete-tulajdonságai közötti összefüggések vizsgálatában // Russian Chemical Journal (D. I. Mengyelejev nevével fémjelzett Orosz Kémiai Társaság folyóirata). - 2006. - T. 50 . - S. 86-96 .
↑ Shigeru, Marzuki, Rubia, 2000 .
↑ Chernodub A. N., Dzyuba D. A. A neurokontroll módszerek áttekintése Archivált 2012. január 13-án a Wayback Machine -nél // Programozási problémák . - 2011. - 2. sz. - S. 79-94.
↑ Sabanii V. R. Automatic control systems based on neural network technologies / V. R. Sabanin, N. I. Smirnov, A. I. Repin // Proceedings of the International Scientific Conference Control-2003. M.: MEI Kiadó, 2003.S. 45-51.
↑ Kalatskaya L. V., Novikov V. A., Sadov V. S. Mesterséges neurális hálózatok szervezése és képzése: Experimental studies. juttatás. - Minszk: BSU Kiadó, 2003. - 72 p.
↑ Kenin A. M., Mazurov V. D. Tapasztalat a neurális hálózatok használatában gazdasági problémákban A Wayback Machine 2013. április 2-i archív példánya
↑ [3] Neurális hálózatok a közgazdaságtanban

Irodalom

Berkinblit M. B. Neurális hálózatok . - M. : MIROS és VZMSH RAO, 1993. - 96 p. — ISBN 5-7084-0026-9 . Archiválva: 2011. május 12. aWayback Machine
Voronovsky G. K., Makhotilo K. V., Petrashev S. N., Sergeev S. A. Genetikai algoritmusok, mesterséges neurális hálózatok és a virtuális valóság problémái. - Harkov: Osnova, 1997. - 112 p. — ISBN 5-7768-0293-8 .
Golubev Yu. F. Neurális hálózati módszerek a mechatronikában. - M . : Moszkvai Kiadó. unta, 2007. - 157 p. — ISBN 978-5-211-05434-9 .
Gorban A.N. Neurális hálózatok képzése . - M. : Szovjetunió-USA SP "Paragrafus", 1990. - 160 p.
Gorban A.N., Rossiev D.A. Neurális hálózatok személyi számítógépen . - Novoszibirszk: Nauka, 1996. - 276 p. — ISBN 5-02-031196-0 .
Gorban A. N., Dunin-Barkovsky V. L. és munkatársai: Neuroinformatics . - Novoszibirszk: Nauka, 1998.
Goodfellow Y., Bengio I., Courville A. Deep Learning = Deep Learning. — M. : DMK-Press , 2017. — 652 p. - ISBN 978-5-97060-554-7 .
Eremin D. M., Gartseev I. B. Mesterséges neurális hálózatok intelligens vezérlőrendszerekben. - M. : MIREA, 2004. - 75 p. - ISBN 5-7339-0423-2 .
Callan R. Essential Neural Network Concepts = The Essence of Neural Networks First Edition. - M. : Williams, 2001. - 288 p. — ISBN 5-8459-0210-X .
Kruglov V. V. , Borisov V. V. Mesterséges neurális hálózatok. Elmélet és gyakorlat. - M . : Forró vonal - Telecom, 2001. - 382 p. — ISBN 5-93517-031-0 .
Mirkes E. M. Neurocomputer. Szabványtervezet . - Novoszibirszk: Nauka, 1999. - 337 p. — ISBN 5-02-031409-9 . Egyéb példányok online:Neurocomputer. Szabványtervezet.
Nikolenko S. , Kadurin A., Arkhangelskaya E. Deep learning. - Szentpétervár. : Péter , 2018. - 480 p. - ISBN 978-5-496-02536-2 .
Osovsky Stanislav. Neurális hálózatok információfeldolgozáshoz = Sieci neuronowe do przetwarzania informacji (lengyel) / Fordította I. D. Rudinsky. - M. : Pénzügy és statisztika, 2004. - 344 p. — ISBN 5-279-02567-4 .
Saveljev A. V. Úton a neurális hálózatok általános elméletéhez. A komplexitás kérdéséről // Neuroszámítógépek: fejlesztés, alkalmazás. - 2006. - 4-5. sz . - P. 4-14 . Az eredetiből archiválva : 2016. szeptember 11.
Shigeru Omatu, Marzuki Khalid, Rubia Yusof. Neurocontrol and its Applications = Neuro-Control and its Applications. 2. kiadás — M. : IPRZhR, 2000. — 272 p. — ISBN 5-93108-006-6 .
Tadeusevich Ryszard, Borovik Barbara, Gonchazh Tomasz, Lepper Bartosz. Elemi bevezetés a neurális hálózatok technológiájába programpéldákkal / I. D. Rudinsky fordítása. - M . : Forró vonal - Telecom, 2011. - 408 p. - ISBN 978-5-9912-0163-6 . .
Terekhov V. A., Efimov D. V., Tyukin I. Yu. Neurális hálózatvezérlő rendszerek. - M . : Felsőiskola , 2002. - 184 p. — ISBN 5-06-004094-1 .
Wasserman F. Neurocomputer technológia: elmélet és gyakorlat = Neural Computing. elmélet és gyakorlat. — M .: Mir, 1992. — 240 p. — ISBN 5-03-002115-9 . Archivált : 2009. június 30. a Wayback Machine -nél
Khaykin S. Neurális hálózatok: teljes tanfolyam = Neural Networks: A Comprehensive Foundation. 2. kiadás - M. : Williams, 2006. - 1104 p. — ISBN 0-13-273350-1 .
Yasnitsky L. N. Bevezetés a mesterséges intelligenciába. - M . : Kiadó. Központ "Akadémia", 2005. - 176 p. — ISBN 5-7695-1958-4 .

Jan LeCun . Hogyan tanul egy gép. Forradalom a neurális hálózatokban és a mély tanulásban. (Sber Library: Artificial Intelligence). - M . : Alpina ismeretterjesztő, 2021. - ISBN 978-5-907394-29-2 .

Linkek

Neurális hálózatok a Curlie Link könyvtárban (dmoz)
Mesterséges neurális hálózatok oktatóanyaga
Ian Goodfellow, Yoshua Bengio, Aaron Courville. Mély tanulás . MIT Press (2016). — Könyv a gépi tanulásról és különösen a mély tanulásról .

Szótárak és enciklopédiák	nagy kínai Nagy norvég Nagy orosz Universalis
Bibliográfiai katalógusokban	GND : 4226127-2 J9U : 987007551192405171 LCCN : sh90001937 NDL : 01165604 NKC : ph115443

A mesterséges neurális hálózatok típusai

Feed-forward hálózat ( radiális alapú funkciók hálózata )
Egyrétegű perceptron
Többrétegű perceptron ( Rosenblatt • Rumelhart )
Hopfield hálózat
Markov lánc
Boltzmann gép
Limitált Boltzmann gép
Autoencoder ( Zajtalanító autoencoder • Ritka autoencoder • Változatos autoencoder )
A bizalom mély hálója
Konvolúciós Neurális Hálózat
Mély konvolúciós neurális hálózat
Telepítési neurális hálózat
Mély konvolúciós inverz grafikus hálózat
Generatív ellenséges hálózat
Ismétlődő neurális hálózat
Rekurzív neurális hálózatok
hosszú távú rövid távú memória
Ellenőrzött visszatérő blokk
Neurális Turing-gépek
Kétirányú hálózat ( Bidirectional recurrent neural network • Kétirányú hálózat hosszú távú memóriával • Kétirányú vezérelt visszatérő neuronok )
Deep Residual Network
Neurális visszhanghálózat
Extrém tanulási módszer
Az instabil állapotok módszere
Támogatja a vektoros gépet
Kohonen hálózat
Kohonen önszerveződő térképe
Kapszula neurális hálózat
Asszociatív memória neurális hálózatokon

Mesterséges intelligencia
Sztori	A mesterséges intelligencia története A mesterséges intelligencia tél Dartmouth szeminárium
Filozófia	Turing teszt Kínai szoba Erős és gyenge mesterséges intelligencia Barátságos mesterséges intelligencia A mesterséges intelligencia etikája Vezérlési probléma
Útvonalak	Ügynöki megközelítés Adaptív vezérlés Tudásmérnöki Életképes rendszermodell Gépi tanulás Neurális hálózat zavaros logika természetes nyelvi feldolgozás Mintafelismerés Raj Intelligencia Szimbolikus AI Evolúciós algoritmusok Szakértői rendszer
Alkalmazás	Hangvezérlés Osztályozási feladat Dokumentum minősítés Dokumentumcsoportosítás klaszteranalízis Helyi keresés Gépi fordítás Optikai karakter felismerés Beszédfelismerés Kézírás felismerés Játék AI
Kutatók	Charles Babbage Vlagyimir Vapnik Weizenbaum József Wiener Norbert Viktor Glushkov Vlagyimir Gorodetszkij Jan LeCun Alekszej Ljapunov John McCarthy Marvin Minsky Allen Newell Seymour Papert Judah Pearl Germogen Poszpelov Dmitrij Poszpelov Frank Rosenblatt Herbert Sándor Simon Alan Turing Patrick Winston Victor Finn Szergej Fomin Demis Hassabis Geoffrey Hinton Noam Chomsky Claude Shannon Andrew Eun Eliezer Judkovszkij

Tudásmérnöki
Általános fogalmak	Adat metaadatokat Tudás metatudás Tudásábrázolás Tudásbázis Ontológia szemantikus web
Merev modellek	Termékek Szemantikus hálózatok Keretek Logikai modell
Lágy módszerek	Neurális hálózat evolúciós modellezés zavaros logika
Alkalmazások	Szakértői rendszerek Adatbányászat Információ kinyerése Virtuális beszélgetőpartnerek Hibrid intelligens rendszerek
Mesterséges intelligencia Gépi tanulás természetes nyelvi feldolgozás

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG