A verbalizáció egy szintetizált és már betanított neurális hálózat munkájának minimalizált leírása , több, egymástól függő algebrai vagy logikai függvény formájában.
A betanított neurális hálózatok egyik fő hátránya sok felhasználó szemszögéből az, hogy egy képzett neurális hálózatból nehéz explicit és felhasználóbarát algoritmust kinyerni a probléma megoldására – maga a neurális hálózat ez az algoritmus. , és ha a hálózat szerkezete összetett, akkor ez az algoritmus értelmezhetetlen. Egy speciálisan felépített egyszerűsítési és verbalizációs eljárás azonban gyakran lehetővé teszi explicit megoldási módszer kivonatát.
A verbalizációt elsősorban egy betanított és egyszerűsített neurális hálózat előkészítése céljából, programkódban vagy speciális elektronikus (optoelektronikai) eszköz formájában történő megvalósításra, valamint az eredmények explicit tudás formájában történő felhasználására hajtják végre . [1] Ebben az esetben a tünetek a neurális hálózat bemeneti értékei, a szindrómák pedig a neuronok kimenetén lévő értékek . A végszindróma a neurális hálózat kimeneti értéke. A verbalizációt általában speciális csomagok segítségével végzik.
A hálózat verbalizálása előtt, általában termelési szabályok segítségével, bizonyos típusú hálózatok esetében javasolták a hálózatok szerkezetének egyszerűsítését - ritkítását. A metszés lényege, hogy a modell azon elemei, illetve a hálózat azon neuronjai, amelyeknek alig van hatása a közelítési hibára , a közelítés minőségének jelentős romlása nélkül kizárhatók a modellből [2] . Ugyanakkor szem előtt kell tartani, hogy ez csak a megoldandó problémára igaz. Ha lesznek új statisztikák a képzésre, akkor a ritka hálózat elveszíti az általánosító képességét, ami akkor lett volna, ha a kapcsolatok nem vesznek el (legalábbis az ellenkezője nem igazolódott). Így veszteséges algoritmusokról beszélünk, amelyek bizonyos problémákra használhatók, de nem használhatók a problémától függetlenül. Növekvő specializáció, elvesztik rugalmasságukat.
A másodrendű módszert ( a második származékok számításán alapuló érzékenységi elemzést használva) LeCun javasolta 1990-ben [3] , és "optimális agykárosodásnak" nevezték. Aztán Hussibey [4] fejlesztette ki, és az "optimális agysebészet" nevet kapta.
Valamivel korábban módszereket javasoltak a neurális hálózatok vékonyítására [5] és csontvázasítására [6] , amelyek egyszerűen a legkisebb súllyal rendelkező elemek eltávolításán alapultak ( nullarendű módszerek ).
Végül, ugyanebben az 1990-ben A. N. Gorban egy hatékony módszert javasolt, amely a gradiens módszerekkel történő tanulás során az első származékok elemzésén alapul, és nem igényel külön differenciálást. [7] Az elemek eltávolításának feladatán kívül egyéb egyszerűsítési problémákat is megoldottak: súlyok és jelek szóhosszának csökkentése (durvaság), neuronok aktivációs funkcióinak egyszerűsítése, értelmezhető tudás megszerzése, stb. " kontrasztos neurális hálózatoknak " is nevezik . Az érzékenység főbb mutatóinak leírása az áttekintésben található. [nyolc]
E. M. Mirkes az "Ideal neurocomputer " projektben Gorban megközelítésére és az alkalmazott szoftverfejlesztés tapasztalataira alapozva bevezette a "Contrast" elemet, felépítette annak fő funkcióinak könyvtárát, és kifejlesztett egy leíró nyelvet. [9]
Egy neurális hálózat egyszerűsítésre való felkészítéséhez hasznosnak bizonyul bevezetni a képzés során minimálisra csökkentett munkájának értékelésébe a büntetési feltételeket (angolul büntetés), amely bünteti a bonyolultságot. Ezeket az algoritmusokat A. N. Gorban [7] könyve mutatja be . Ezt a megközelítést később Ishikawa és Zurada fedezte fel újra, és alapozta meg a strukturális tanulás elméletét . [10] [11]
A Rosenblatt-perceptron tizedes algoritmusára nincs szükség. Ennek oka az a tény, hogy Rumelhart többrétegű perceptronjával ellentétben a perceptron nem egy teljesen összefüggő hálózat, vagyis a középső elemtől a bemenetig tartó kapcsolatok számát a kísérletező közvetlenül szabályozhatja a feladat összetettségétől függően. . Ezért nincs szükség extra kapcsolatokkal végzett képzésre, és azonnal kiválaszthatja a feladathoz szükséges kapcsolatok számát. Az ilyen szelekció kísérletileg történik, ha a képzés során konvergenciát kaptunk, akkor tovább csökkenthető. Amint a konvergencia kezdett lényegesen nagyobb számú iterációt igényelni, ez annak a jele, hogy elértük a kívánt kapcsolatokat.
Egy másik szabályozott paraméter, amely jelentősebben befolyásolja a kapcsolatok számát, a középső elemek száma. Minél jobban edzhető a perceptron kisebb számú középső elemmel, annál optimálisabb szerkezetet kapunk.
Ezért ennek a két paraméternek a szabályozásával a ritkítás automatikusan, további algoritmusok nélkül történik.