Kivétel (neurális hálózatok)

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2020. január 31-én felülvizsgált verziótól ; az ellenőrzések 5 szerkesztést igényelnek .

Kivétel vagy lemorzsolódás (az angol  dropout szóból ) – a mesterséges neurális hálózatok rendszeresítésének módszere , amelynek célja a hálózati átképzés csökkentése azáltal, hogy megakadályozza az egyes neuronok komplex koadaptációját a képzési adatokon a képzés során. [egy]

A "dropout" (kiütés, ejekció) kifejezés a véletlenszerű neuronok (rejtett és látható rétegekben egyaránt) bizonyos százalékának (például 30%-ának) kizárását jellemzi különböző iterációkban (korszakokban) a neurális hálózatok képzése során. Ez egy nagyon hatékony módja a modellek átlagolásának egy neurális hálózaton belül. Ennek eredményeként a képzettebb neuronok nagyobb súlyt kapnak a hálózatban. [2] [3] Ez a technika jelentősen növeli a tanulási sebességet, a betanítás minőségét a betanítási adatokon, valamint javítja az új tesztadatokon a modell-előrejelzések minőségét is. [egy]

Lásd még

Link

Jegyzetek

  1. 1 2 Hinton, Geoffrey E.; Srivastava, Nitish; Krizsevszkij, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Improving neural networks by preventing co-adaptation of feature detectors, arΧiv : 1207.0580 [cs.NE]. 
  2. Lemorzsolódás: Egyszerű módszer a neurális hálózatok túlillesztésének megelőzésére . Letöltve: 2015. július 26. Az eredetiből archiválva : 2019. december 5..
  3. Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), A lemorzsolódás empirikus elemzése darabonként lineáris hálózatokban, arΧiv : 1312.6197 [stat.ML].