Perceptron visszajelzéssel

A visszacsatolásos  perceptronok a perceptronok legáltalánosabb típusai, amelyek egy részét F. Rosenblatt írta le. Visszacsatolás jelenlétében különböznek az egyszerű perceptronoktól . Emiatt a szenzoros bemenetektől viszonylag távol eső elemrétegek befolyásolhatják a bemenethez közelebb elhelyezkedő rétegek aktivitását. A modern besorolás szerint ez a típusú neurális hálózat a visszatérő neurális hálózatokhoz tartozik .

Perceptronok szelektív figyelemmel

Ha a legegyszerűbb perceptronhoz hozzáadjuk az R-elemektől az A-elemekig állandó (változhatatlan) súlyegyütthatós visszacsatolást, akkor szelektív figyelem mellett a legegyszerűbb típusú perceptront kapjuk. Az ábrán a folytonos vonalak állandó súllyal, a szaggatott vonalak pedig a változó súlyú kapcsolatokat jelölik. A visszacsatolás véletlenszerűen (egyenlő arányban) +1-es (serkentő) vagy -1-es (gátló) súllyal kerül kiválasztásra. Ilyen értelemben ezeket a visszacsatolásokat ugyanúgy választjuk ki, mint az S-elemek és az A-elemek közötti kapcsolatokat, de az első rétegtől eltérően a második rétegben minden R-elemtől minden A-elemhez kapcsolódnak. Ebben az esetben az egyes kapcsolatok átviteli ideje megegyezik egy rögzített állandóval , és az inger egy ideig a retinán marad .

Egy egyszerű példán keresztül meggyőződhet arról, hogy ez a fajta perceptron képes a szelektív figyelemre. Tanítsuk meg a rendszert a következő reakciókkal:

  1. (r1 = 1, r2 = 0, r3 = 0, r4 = 0) egy háromszögre;
  2. (r1 = 0, r2 = 1, r3 = 0, r4 = 0) – négyzetenként;
  3. (r1 = 0, r2 = 0, r3 = 1, r4 = 0) — az ábra helyzetéről a retina felső részén;
  4. (r1 = 0, r2 = 0, r3 = 0, r4 = 1) - az ábra helyzetére a retina alsó részében.

Edzés után ellenőrizze az ingerekre adott választ:

  1. S1 egy háromszög a mező felső részében (r1 = 1, r2 = 0, r3 = 1, r4 = 0), és egy négyzet az alsó részében (r1 = 0, r2 = 1, r3 = 0, r4 = 1);
  2. S2 egy négyzet a mező tetején és egy háromszög a mező alján.

Szükséges, hogy egy ilyen perceptron konzisztens leírást adjon a két inger közül az egyik alakjáról és helyzetéről, anélkül, hogy figyelembe venné a másikat, annak ellenére, hogy egyidejűleg jelen vannak a retinán.

Ahhoz, hogy egy ilyen feladatot a perceptron szelektív figyelemmel tudjon megoldani, a tanulási folyamat során el kell érni a súlyegyütthatók egy bizonyos eloszlását, amely a helyes választ adó A-elemek számától függ a rájuk viszonyítva. teljes szám. Tekintsük az R(1,0,0,0) válaszú elemek egy részhalmazának metszéspontját egy R(1,0,1,0) válaszú részhalmazzal, azaz egy helytől független háromszöggel és egy háromszöggel a tetején a retináról. Kiderült, hogy egy ilyen metszéspont viszonylag nagy, mivel a négy R-elem közül három ugyanabban az állapotban van. Ugyanez igaz a helytől független háromszög és a retina alján lévő háromszög kombinációjára is. De az R(1,0,0,0) és R(0,1,0,0), azaz a háromszög és a négyzet kombinációja, helytől függetlenül, kisebb metszésponttal rendelkezik, mivel a négy R-elem közül csak kettő van ugyanabban állapot . Ugyanez igaz az R (0,0,1,0) és R (0,0,0,1) kombinációjára, vagyis a fenti vagy alatti alakzatok bármelyikére.

A súlytényezők ilyen eloszlása ​​miatt a felismerés során a következők fognak történni. Ha kiderül, hogy egy reakciópárhoz (háromszög, négyzet) kapcsolatban a háromszög [kimeneti jel (1,0,0,0)] lesz kezdetben domináns, akkor a gerjesztett részhalmaz, amelybe a legnagyobb erősítés kerül be. , megadja a „fel” reakciót. Ez annak köszönhető, hogy a „felső, háromszög” kombináció sokkal nagyobb súlyú, mint az „alul, négyzet” kombináció. Ha a reakció (0,1,0,0), akkor az ellenkező trend jelenik meg a rendszerben, ami a (0,1,0,1) reakcióhoz vezet.

Ha most az S1 inger helyett az S2 ingert adjuk meg, akkor az (1,0,0,1) vagy a (0,1,1,0) reakciókat részesítjük előnyben.

Lényegében ez a példa egy olyan probléma megoldását szemlélteti, amely megoldható egy DAP segítségével, azzal a különbséggel, hogy a szelektív figyelmű perceptronnak egy helyett két rétege van, és hibajavítási módszerrel tanítják, nem pedig a közvetlen és transzponált mátrix. Ezek a különbségek olyan problémák megoldását teszik lehetővé, amelyek lineárisan elválaszthatatlanok, és ezeknek köszönhetően a hálózat információs kapacitása sokkal nagyobb, mint a DAP kapacitása. Itt a hálózat működése során egy véletlenszerűen kiválasztott vektor (szelektív figyelem alapján) a statisztikailag leghelyesebb szabvány szerint egészül ki.

Program-tanuló perceptronok

Ez a legösszetettebb mesterséges visszatérő neurális hálózatok csoportja az architektúrájában. Rosenblatt adott egy elméleti sémát az ilyen hálózatokról, de ez idáig nem modellezték programozottan. Egy ilyen hálózat legegyszerűbb formáját perceptronok alapján vezetik be szelektív figyelemmel, de úgy, hogy a válasz nem csak az aktuális komplex (amikor több inger jelenik meg egyidejűleg) ingertől, hanem az ilyen ingerek sorrendjétől is függ. bizonyos hosszúságú. Ehhez a keresztkötésekkel ellátott asszociatív elemek második rétegét vezetik be, amelyek különböző zárt kontúrokat alkothatnak egymás között.

Lásd még

Irodalom