Výjimka (neuronové sítě)

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 31. ledna 2020; kontroly vyžadují 5 úprav .

Exception nebo dropout (z angl .  dropout ) - metoda regularizace umělých neuronových sítí , určená ke snížení přetrénování sítě zabráněním složité koadaptace jednotlivých neuronů na trénovací data během tréninku. [jeden]

Pojem „dropout“ (vyřazení, vysunutí) charakterizuje vyloučení určitého procenta (například 30 %) náhodných neuronů (nacházejících se ve skrytých i viditelných vrstvách) v různých iteracích (epochách) během tréninku neuronové sítě. Jedná se o velmi efektivní způsob průměrování modelů v rámci neuronové sítě. Výsledkem je, že více trénovaných neuronů získá v síti větší váhu. [2] [3] Tato technika výrazně zvyšuje rychlost učení, kvalitu tréninku na trénovacích datech a také zlepšuje kvalitu předpovědí modelu na nových testovacích datech. [jeden]

Viz také

Odkaz

Poznámky

  1. 1 2 Hinton, Geoffrey E.; Srivastava, Nitish; Križevskij, Alex; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Zlepšení neuronových sítí prevencí společné adaptace detektorů vlastností, arΧiv : 1207.0580 [cs.NE]. 
  2. Dropout: Jednoduchý způsob, jak zabránit přetížení neuronových sítí . Získáno 26. července 2015. Archivováno z originálu 5. prosince 2019.
  3. Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), Empirická analýza výpadků v dílčích lineárních sítích, arΧiv : 1312.6197 [stat.ML].