A bizalom mély hálója

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2018. október 24-én felülvizsgált verziótól ; az ellenőrzések 8 szerkesztést igényelnek .

A mély hithálózat (GSD, eng.  deep belief network, DBN ) egy generatív grafikus modell , vagy más szóval a mély neurális hálózatok egyik fajtája, amely több rejtett rétegből áll , amelyekben az egy rétegen belüli neuronok nem kapcsolódnak egymáshoz. hanem a szomszédos neuronokhoz kapcsolódik. [egy]

Amikor spontán módon tanul egy példán , a GSD megtanulhatja a bemenetek valószínűségi hangolását. A rétegek ebben az esetben a bemeneti jelek detektoraiként működnek. [1] A képzés végén a GSD egy tanárral betanítható az osztályozás elvégzésére . [2]

A GDN olyan egyszerű, spontán hálózatok összetételeként fogható fel, mint például a korlátozott Boltzmann-gépek (BMB-k) [ 1] vagy az autoencoderek [3] , amelyekben az egyes alhálózatok rejtett rétegei a következő látható rétegeiként szolgálnak. Ez lehetővé teszi a gyors, felügyelet nélküli rétegenkénti tanulási eljárást, amelyben a relatív divergenciát az egyes alhálózatokra felváltva alkalmazzák, kezdve az első rétegpárral (amelynek látható rétegére az példakészlet betáplálva van ).

angol megfigyelés .  Yee-Whye Teh , Geoffrey Hinton tanítványa [2] azt sugallja, hogy a GDS-t mohó réteges tanulási módon lehet képezni , ami az egyik első működőképes mélytanulási algoritmus volt . [4] :6 :6

Tanulási algoritmus

A GSD képzési algoritmus a következőképpen működik. [2] Legyen X bemenetek mátrixa, amelyet jellemzők halmazának tekintünk .

  1. Jelenítse meg a két alsó réteget (bemeneti és első rejtett) korlátozott Boltzmann-gépként (BM). Tanítsa meg X bemeneti adatokra, és kapja meg a W súlymátrixát, amely leírja a hálózat két alsó rétege közötti kapcsolatokat.
  2. Adja át az X bemeneti adatokat a betanított Boltzmann-gépen, és az első rejtett réteg csomópontjainak aktiválása után kapja meg kimenetként az X' rejtett réteg adatait.
  3. Ismételje meg ezt az eljárást X ← X' karakterekkel minden következő rétegpárnál, amíg a hálózat felső két rétege meg nem tanít.
  4. Finomhangolja ennek a mélyhálózatnak az összes paraméterét, miközben fenntartja a GDN naplózási valószínűségét , vagy felügyelt tanulást használ (miután további tanulási mechanizmusokat ad hozzá a betanított hálózati munka elvégzéséhez, például egy lineárisan elválasztható osztályozót).

Lásd még

Jegyzetek

  1. ↑ 1 2 3 Mély hithálózatok  (határozatlan)  // Scholarpedia . - 2009. - T. 4 , 5. sz . - S. 5947 . doi : 10.4249 /scholarpedia.5947 .
  2. ↑ 1 2 3 Hinton, GE; Osindero, S.; Teh, YW (2006).
  3. ↑ Mély hálózatok mohó rétegbeli oktatása (PDF) . NIPS . 2007. Archiválva : 2019. október 20. a Wayback Machine -nél
  4. ↑ Mély architektúrák tanulása mesterséges intelligencia számára  (határozatlan)  // A gépi tanulás alapjai és trendjei. - 2009. - T. 2 . - doi : 10.1561/2200000006 .

Link

 A mesterséges neurális hálózatok típusai