Mesterséges neuron

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2020. december 25-én felülvizsgált verziótól ; az ellenőrzések 4 szerkesztést igényelnek .

A mesterséges neuron ( matematikai neuron McCulloch - Pitts , formális neuron [1] ) egy mesterséges neurális hálózat csomópontja , amely egy természetes neuron egyszerűsített modellje . Matematikailag a mesterséges neuront általában egyetlen argumentum valamilyen nemlineáris függvényeként ábrázolják - az összes bemeneti jel lineáris kombinációjaként . Ezt a funkciót aktiválási függvénynek [2] vagy műveleti függvénynek , átviteli függvénynek nevezzük . Az eredmény egyetlen kimenetre kerül elküldésre. Az ilyen mesterséges neuronokat hálózatokká egyesítik - egyes neuronok kimeneteit összekötik mások bemeneteivel. A mesterséges neuronok és hálózatok az ideális neurokomputer fő elemei . [3]

Biológiai prototípus

A biológiai neuron egy 3-100 mikron átmérőjű testből áll, amely magot (nagyszámú nukleáris pórussal) és egyéb organellumokat (beleértve a magasan fejlett durva ER aktív riboszómákkal , a Golgi-készüléket ) és folyamatokat tartalmaz. Kétféle hajtás létezik. Az axon általában egy hosszú folyamat, amely alkalmas arra, hogy egy neuron testéből származó gerjesztést vezessenek le. A dendritek általában rövid és erősen elágazó folyamatok, amelyek az idegsejtre ható serkentő és gátló szinapszisok kialakulásának fő helyeként szolgálnak (a különböző neuronokban eltérő az axon és a dendritek hosszának aránya). Egy neuronnak több dendritje és általában csak egy axonja lehet. Egy neuronnak 20 000 másik neuronnal lehet kapcsolata. Az emberi agykéreg körülbelül 80 milliárd neuront tartalmaz .

Fejlesztési előzmények

Egy mesterséges neuron matematikai modelljét W. McCulloch és W. Pitts javasolta az ezekből az idegsejtekből álló hálózat modelljével együtt. A szerzők kimutatták, hogy az ilyen elemeken lévő hálózat képes numerikus és logikai műveleteket végrehajtani [4] . A gyakorlatban a hálózatot Frank Rosenblatt valósította meg 1958-ban számítógépes programként, később pedig elektronikus eszközként - perceptronként . A neuron kezdetben csak a logikai nulla és logikai egyes jeleivel működhetett [5] , mivel egy biológiai prototípus alapján épült fel, amely csak két állapotban lehet - gerjesztett vagy gerjesztetlen. A neurális hálózatok fejlődése megmutatta, hogy alkalmazási körük bővítéséhez szükséges, hogy a neuron ne csak bináris, hanem folyamatos (analóg) jelekkel is működjön. A neuronmodell ilyen általánosítását Widrow és Hoff [6] végezte , akik a logisztikus görbe alkalmazását javasolták a neuron tüzelési függvényeként.

Mesterséges neuronok közötti kapcsolatok

Azokat a kapcsolatokat, amelyeken keresztül egyes neuronok kimenőjelei eljutnak mások bemenetéhez, gyakran nevezik szinapszisoknak , a biológiai neuronok közötti kapcsolatok analógiájára. Minden csatlakozást saját súlya jellemez . A pozitív súllyal rendelkező kapcsolatokat serkentőnek , a negatív súlyúakat gátlónak nevezzük [7] . A neuronnak egy kijárata van, amelyet gyakran axonnak neveznek , a biológiai prototípus analógiájára. Egy neuron egyetlen kimenetéről egy jel tetszőleges számú bemenetre érkezhet más neuronokhoz.

Matematikai modell

Matematikailag egy neuron egy súlyozott összeadó, amelynek egyetlen kimenetét a bemenetei és a súlymátrix adják meg, az alábbiak szerint:

y=f(u)

, ahol

{\displaystyle u=\sum _{i=1}^{n}w_{i}x_{i}+w_{0}x_{0))

Itt és itt vannak a neuron bemenetein lévő jelek és a bemenetek súlyai, az u függvényt indukált lokális mezőnek, f(u)-t pedig az átviteli függvénynek nevezzük. A neuron bemenetein lévő jelek lehetséges értékeit az intervallumban megadottnak tekintjük . Lehetnek diszkrét (0 vagy 1) vagy analógok. A kiegészítő bemenet és a hozzá tartozó súly a neuron inicializálására szolgál [8] . Inicializálás alatt az idegsejt aktivációs funkciójának vízszintes tengely mentén történő eltolódását értjük, vagyis a neuron érzékenységi küszöbének kialakítását [5] . Ezenkívül néha egy bizonyos valószínűségi változót, úgynevezett eltolódást szándékosan hozzáadnak egy neuron kimenetéhez. Az eltolódás egy további, mindig terhelt szinapszis jelzésének tekinthető. $x_{i}$ $w_{i}$ $[0,1]$ $x_{0}$ $w_{0}$

Egy neuron átviteli függvénye

Az átviteli függvény meghatározza a neuron kimenetén lévő jel függőségét a bemeneti jelek súlyozott összegétől. A legtöbb esetben monoton növekszik, és vagy tartománya van , de vannak kivételek. Ezenkívül egyes hálózati tanulási algoritmusok esetében szükséges, hogy a teljes numerikus tengelyen folyamatosan differenciálható legyen [8] . A mesterséges idegsejteket teljes mértékben az átviteli funkciója jellemzi. A különféle átviteli függvények alkalmazása lehetővé teszi a nemlinearitás bevezetését a neuron és a neurális hálózat egészének működésébe. $f(u)$ $[-1,1]$ $[0,1]$

A neuronok osztályozása

Alapvetően a neuronokat a hálózati topológiában elfoglalt helyzetük alapján osztályozzák. Részvény:

Bemeneti neuronok - elfogadják a bemeneti jelet kódoló eredeti vektort. Ezek a neuronok általában nem hajtanak végre számítási műveleteket, hanem egyszerűen továbbítják a vett bemeneti jelet a kimenetnek, esetleg erősítik vagy gyengítik azt;
A kimeneti neuronok a hálózat kimenetei. A kimeneti neuronokban bármilyen számítási művelet elvégezhető;
Köztes neuronok - alapvető számítási műveleteket hajtanak végre [9] .

Az átviteli függvények alapvető típusai

Lineáris átviteli függvény

A neuron kimenetén lévő jel lineárisan kapcsolódik a bemenetén lévő jelek súlyozott összegéhez.

f(x)=tx

ahol egy függvényparaméter. A réteges szerkezetű mesterséges neurális hálózatokban általában az ilyen típusú átviteli funkcióval rendelkező neuronok alkotják a bemeneti réteget. Az egyszerű lineáris függvényen kívül annak módosításai is használhatók. Például egy féllineáris függvény (ha az argumentuma kisebb, mint nulla, akkor egyenlő nullával, és más esetekben úgy viselkedik, mint egy lineáris) vagy egy lépésfüggvény (telítettségű lineáris függvény), amely lehet a [10] képlettel kifejezve : $t$

f(x)={\begin{cases}0&{\text{if }}x\leq 0\\1&{\text{if }}x\geq 1\\x&{\text{else}} \end{cases}}

Ebben az esetben a függvény mindkét tengely mentén eltolható (az ábrán látható módon).

A lépéses és féllineáris aktiváló függvények hátránya a lineárishoz képest, hogy nem differenciálhatóak a teljes numerikus tengelyen, ami azt jelenti, hogy bizonyos algoritmusok szerinti tanulás során nem használhatók.

Küszöb átviteli függvény

Egy másik név a Heaviside függvény . Szakadékot jelent. Amíg a súlyozott jel a neuron bemenetén el nem ér egy bizonyos szintet , a kimeneten a jel nulla. Amint a neuron bemeneti jele meghaladja a megadott szintet, a kimeneti jel eggyel ugrik. A réteges mesterséges neurális hálózatok legelső képviselője , a perceptron [11] kizárólag ilyen típusú neuronokból állt [5] . Ennek a függvénynek a matematikai jelölése így néz ki: $T$

f(x)={\begin{cases}1&{\text{if }}x\geq T\\0&{\text{else}}\end{cases}}

Itt az aktiválási függvény eltolódása a vízszintes tengelyhez képest, ennek megfelelően az idegsejt bemenetein lévő jelek súlyozott összegét kell érteni anélkül, hogy ezt a kifejezést figyelembe vennénk. Tekintettel arra, hogy ez a függvény nem differenciálható a teljes x tengelyen, nem használható a backpropagation algoritmussal és más olyan algoritmusokkal betanított hálózatokban, amelyek megkövetelik az átviteli függvény differenciálhatóságát. ${\displaystyle T=-w_{0}x_{0))$ $x$

Szigmoid átviteli függvény

Az egyik leggyakrabban használt átviteli függvény jelenleg. A szigmoid típusú függvények bevezetése a neuronok küszöbaktiválási funkciójával rendelkező neurális hálózatok korlátai miatt következett be - ilyen aktiválási függvénynél bármelyik hálózati kimenet nulla vagy egy, ami korlátozza a hálózatok használatát nem osztályozási problémákban . A szigmafüggvények használata lehetővé tette a bináris neuronkimenetekről analógra való átállást [12] . Az ilyen típusú átviteli funkciók általában a neurális hálózat belső rétegeiben elhelyezkedő neuronokban rejlenek.

Logisztikai funkció

Matematikailag a logisztikai függvény a következőképpen fejezhető ki:

\sigma (x)={\frac {1}{(1+\exp(-tx))))

Itt t egy függvényparaméter, amely meghatározza a meredekségét . Ahogy t közeledik a végtelenhez, a függvény küszöbfüggvénnyé degenerálódik. Amikor a szigma 0,5 értékű konstans függvénysé degenerálódik. Ennek a függvénynek a tartománya a (0,1) intervallumban van. Ennek a függvénynek egy fontos előnye a származékának egyszerűsége: $t = 0$

{\cfrac {d\sigma (x)}{dx}}=t\sigma (x)(1-\sigma (x))

Az a tény, hogy ennek a függvénynek a deriváltja kifejezhető értékével, megkönnyíti ennek a függvénynek a használatát egy hálózat visszaterjesztési algoritmussal történő betanítása során [13] . Az ilyen átviteli karakterisztikával rendelkező neuronok sajátossága, hogy az erős jeleket sokkal kevésbé erősítik, mint a gyengéket, mivel az erős jelek területei a karakterisztika lapos szakaszainak felelnek meg. Ez megakadályozza a nagy jelek telítettségét [14] .

Hiperbolikus tangens

A hiperbolikus érintő függvény használata

{\displaystyle \operatorname {th} (Ax)={\frac {e^{Ax}-e^{-Ax}}{e^{Ax}+e^{-Ax))))

abban különbözik a fent vizsgált logisztikai görbétől, hogy értéktartománya a (-1; 1) intervallumban található. Mivel az arány helyes

\operatorname {th} \left({\frac {t}{2}}x\right)=2\sigma (x)-1

akkor mindkét grafikon csak a tengelyek léptékében tér el. A hiperbolikus érintő deriváltját természetesen másodfokú értékfüggvénnyel is kifejezzük; a telítésnek ellenálló tulajdonsága pontosan ugyanaz.

Módosított hiperbolikus érintő

A módosított hiperbolikus érintőfüggvény használata

\operatorname {mth} x={\frac {e^{x}-e^{-x}}{e^{ax}+e^{-bx}}},(a,b>1) ,

az y tengely mentén a [-1; 1] intervallumra skálázva szigmoid függvénycsaládot kaphat.

Radiális bázisátviteli függvény

A Radial Basis Transfer Function (RBF) a bemeneti vektor és néhány előre definiált aktiválási függvényközpont közötti távolságot veszi argumentumként. Ennek a függvénynek az értéke annál nagyobb, minél közelebb van a bemeneti vektor a középponthoz [15] . Radiális alapként használhatja például a Gauss-függvényt :

y=\exp \left(-{\frac {(SR)^{2}}{2\sigma ^{2}}}\jobbra)

Itt van a távolság a bemeneti jelek középpontja és vektora között . A skaláris paraméter határozza meg a függvény csillapítási sebességét, amikor a vektor elmozdul a középponttól, és ablakszélességnek nevezik , a paraméter határozza meg az aktiváló függvény eltolódását az abszcissza tengely mentén. Az ilyen funkciókat használó neuronokat tartalmazó hálózatokat RBF hálózatoknak nevezzük . Különféle metrikák [16] használhatók a vektorok közötti távolságként, általában az euklideszi távolságot használják: $S=||\mathbf {X} -\mathbf {C} ||$ ${\mathbf {C}}$ $\mathbf {X}$ $\sigma$ $R$

S={\sqrt {\sum _{j=1}^{N}{(x_{j}-c_{j})^{2))))

Itt van az idegsejt bemenetére táplált vektor -edik komponense, és a vektor -edik komponense, amely meghatározza az átviteli függvény középpontjának helyzetét. Ennek megfelelően az ilyen neuronokat tartalmazó hálózatokat valószínűségi és regressziós hálózatoknak nevezik [17] . $x_{j}$ $j$ ${\displaystyle c_{j))$ $j$

Valós hálózatokban ezeknek a neuronoknak az aktiválási funkciója tükrözheti valamilyen valószínűségi változó valószínűségi eloszlását , vagy jelezheti a változók közötti heurisztikus függőségeket.

Egyéb átviteli funkciók

A fent felsorolt funkciók csak töredékét képezik a jelenleg használt átviteli függvényeknek. Az egyéb átviteli funkciók közé tartozik [18] :

Kiállító ; $f(x)=\exp(-Ax)$
trigonometrikus szinusz ;
Moduláris: ; $f(x)=\left|x\right|$
Kvadratikus .

Sztochasztikus neuron

Egy determinisztikus mesterséges neuron modelljét fentebb leírtuk, vagyis a neuron kimeneti állapotát egyértelműen a bemeneti jelek összeadójának működési eredménye határozza meg. Sztochasztikus neuronok is számításba jönnek , ahol a neuronváltás az indukált lokális mezőtől függően valószínûséggel történik, vagyis az átviteli függvényt a következõképpen határozzuk meg:

f(u)={\begin{cases}1&{\text{valószínűséggel}}P(u)\\0&{\text{valószínűséggel}}1-P(u)\end{esetek}}

ahol a valószínűségi eloszlás általában szigmoid alakú: $P(u)$

\sigma (u)={\frac {A(T)}{1+\exp(-u/T)))

normalizációs állandót vezetünk be a valószínűségi eloszlás normalizálásának feltételére . Így a neuron valószínűséggel aktiválódik . A paraméter analóg a hőmérséklettel (de nem a neuron hőmérsékletével), és meghatározza a zavart a neurális hálózatban. Ha a 0-ra hajlamosunk, a sztochasztikus neuron reguláris neuronná változik, amely Heaviside átviteli funkcióval (küszöbfüggvény) rendelkezik. $A(T)$ $\int _{0}^{1}\sigma (u)du=1$ $P(u)$ $T$ $T$

Formális logikai függvények modellezése

Egy küszöbátviteli funkcióval rendelkező neuron különféle logikai függvényeket képes modellezni.

$f(u)={\begin{cases}1&{\text{if }}u\geqslant T\\0&{\text{else}}\end{cases}}$ , ahol $u=\sum _{i=1}^{n}w_{i}x_{i}+0$

A táblázatok szemléltetik, hogyan lehetséges a bemeneti jelek súlyának és az érzékenységi küszöb beállításával a neuron konjunkciót (logikai "ÉS") és diszjunkciót (logikai "VAGY") végrehajtani a bemeneti jeleken, valamint a logikai negációt. a bemeneti jel [19] . Ez a három művelet elegendő tetszőleges számú argumentum bármilyen logikai függvényének modellezéséhez.

NEM	T	-1.0
	w	-1.5
	x	0	egy
	f	egy	0

És	T	1.5
	w 1	1.0
	w 2	1.0
	x 1	0	0	egy	egy
	x2 _	0	egy	0	egy
	f	0	0	0	egy

VAGY	T	0.5
	w 1	1.0
	w 2	1.0
	x 1	0	0	egy	egy
	x2 _	0	egy	0	egy
	f	0	egy	egy	egy

Lásd még

Jegyzetek

↑ L. G. Komartsova, A. V. Maksimov "Neurocomputers", MSTU. N. E. Bauman, 2004, ISBN 5-7038-2554-7
↑ Az aktivációs neuronokhoz hasonlóan
↑ Mirkes E.M. , Neurocomputer. Szabványtervezet. Archív másolat 2009. június 15-én a Wayback Machine -nél - Novoszibirszk: Nauka, 1999. - 337 p. ISBN 5-02-031409-9
↑ McCulloch W.S., Pitts W. Az idegi tevékenységben immanens ötletek logikai számítása - Bull. Matematikai biofizika, 1943 online (nem elérhető link)
↑ 1 2 3 Yasnitsky, 2005 , p. 29.
↑ Widrow B., Hoff ME Adaptív kapcsolóáramkörökben . 1960 IRE WESTCON konferencia rekord. – New York, 1960
↑ V. V. Kruglov, V. V. Boriszov - Mesterséges neurális hálózatok. Elmélet és gyakorlat - 11. o
↑ 1 2 V. A. Terekhov - Neurális hálózati vezérlőrendszerek - 12-13.
↑ V. V. Kruglov, V. V. Boriszov - Mesterséges neurális hálózatok. Elmélet és gyakorlat - 14. o
↑ V. V. Kruglov, V. V. Boriszov - Mesterséges neurális hálózatok. Elmélet és gyakorlat - 12. o
↑ A szakirodalomban nagyon gyakran találkozhatunk a perceptron névvel
↑ Yasnitsky, 2005 , p. 34.
↑ CIT fórum - Neurocomputers - architektúra és megvalósítás . Letöltve: 2007. november 16. Az eredetiből archiválva : 2008. május 10. (határozatlan)
↑ V. V. Kruglov, V. V. Boriszov - Mesterséges neurális hálózatok. Elmélet és gyakorlat - 13. o
↑ Yasnitsky, 2005 , p. 77.
↑ V. V. Kruglov, V. V. Boriszov - Mesterséges neurális hálózatok. Elmélet és gyakorlat - 349. o
↑ V. V. Kruglov, V. V. Boriszov - Mesterséges neurális hálózatok. Elmélet és gyakorlat - 348. o
↑ szöveg
↑ Yasnitsky, 2005 , p. harminc.

Irodalom

Terekhov V.A., Efimov D.V., Tyukin I.Yu. Neurális hálózatvezérlő rendszerek. - 1. - Felsőiskola , 2002. - S. 184. - ISBN 5-06-004094-1 .
Kruglov VV, Borisov VV Mesterséges neurális hálózatok. Elmélet és gyakorlat. - 1. - M . : Forródrót - Telecom, 2001. - S. 382. - ISBN 5-93517-031-0 .
Callan R. Essential Neural Network Concepts = The Essence of Neural Networks First Edition. - 1. - "Williams" , 2001. - S. 288. - ISBN 5-8459-0210-X .
Yasnitsky L. N. Bevezetés a mesterséges intelligenciába. - 1. - "Akadémia" Kiadói Központ, 2005. - P. 176. - ISBN 5-7695-1958-4 .
Komartsova L. G., Maksimov A. V. Neurocomputers . - 1. - MSTU kiadó im. N.E. Bauman, 2002. - P. 320. - ISBN 5-7038-1908-3 .
Savelyev A. V. A többprocesszoros neuron fogalma // Mesterséges intelligencia. Intelligens és többprocesszoros rendszerek. - Donyeck-Taganrog-Minszk, 2006. - S. 293-300 .
Savelyev A. V. Neuroszámítógépek a találmányokban // folyóirat "Neurocomputers: fejlesztés, alkalmazás". , "Rádiótechnika" kiadó. - Moszkva, 2004. - 2-3. sz . - S. 33-49 .
Lakhmi C. Jain; NM Martin Neurális hálózatok, fuzzy rendszerek és genetikai algoritmusok fúziója: Ipari alkalmazások. – CRC Press, CRC Press LLC, 1998
Emelyanov VV, Kureichik VV, Kureichik VN Az evolúciós modellezés elmélete és gyakorlata. - M: Fizmatlit, 2003.

Külső linkek

RF-PSTH neuromodel (a receptív mező (RP) szerkezetét és a PSTH kimeneti neurális jelet szimulálja)