Hluboká síť důvěry

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 24. října 2018; kontroly vyžadují 8 úprav .

Síť hlubokého přesvědčení (GSD, angl.  deep faith network, DBN ) je generativní grafický model , nebo jinými slovy jeden z typů hlubokých neuronových sítí skládajících se z několika skrytých vrstev , v nichž neurony v jedné vrstvě nejsou vzájemně propojeny, ale spojené se sousedními neurony. [jeden]

Při spontánním učení na sadě příkladů se GSD může naučit pravděpodobnostně ladit své vstupy. Vrstvy v tomto případě fungují jako detektory znaků vstupů. [1] Na konci školení může být GSD proškolen s učitelem k provádění klasifikace . [2]

GDN si lze představit jako složení jednoduchých, spontánních sítí, jako jsou Restricted Boltzmann Machines (BMB) [1] nebo autoencodery [3] , ve kterých skrytá vrstva každé podsítě slouží jako viditelná vrstva pro další. To umožňuje rychlý proces učení vrstvy po vrstvě bez dozoru, ve kterém je relativní divergence aplikována postupně na každou podsíť, počínaje prvním párem vrstev (na jejichž viditelné vrstvě je napájena trénovací sada příkladů ).

Anglické pozorování .  Yee-Whye Teh , student Geoffreyho Hintona , [2] navrhuje, že GDS lze trénovat chamtivým vrstveným učením , což byl jeden z prvních funkčních algoritmů hlubokého učení . [4] :6 :6

Algoritmus učení

Tréninkový algoritmus GSD funguje následovně. [2] Nechť X je matice vstupů, která je považována za množinu vlastností .

  1. Představte dvě spodní vrstvy (vstupní a první skrytou) jako omezený Boltzmannův stroj (BM). Natrénujte jej na vstupní data X a získejte jeho váhovou matici W, která bude popisovat spojení mezi dvěma spodními vrstvami sítě.
  2. Vstupní data X předejte trénovaným Boltzmannovým strojem a po aktivaci uzlů první skryté vrstvy získejte data skryté vrstvy X' jako výstup.
  3. Opakujte tento postup s X ← X' pro každou další dvojici vrstev, dokud nebudou natrénovány horní dvě vrstvy sítě.
  4. Dolaďte všechny parametry této hluboké sítě při zachování logaritmické pravděpodobnosti GDN nebo pomocí supervizovaného učení (po přidání dalších učících mechanismů pro práci na trénované síti, například lineárně oddělitelný klasifikátor).

Viz také

Poznámky

  1. ↑ 1 2 3 Sítě hlubokého přesvědčení  (neurčité)  // Scholarpedia . - 2009. - T. 4 , č. 5 . - S. 5947 . doi : 10.4249 /scholarpedia.5947 .
  2. ↑ 1 2 3 Hinton, GE; Osindero, S.; Teh, YW (2006).
  3. ↑ Greedy Layer-Wise Training of Deep Networks (PDF) . NIPS . 2007. Archivováno 20. října 2019 na Wayback Machine
  4. ↑ Learning Deep Architectures for AI  (neurčité)  // Základy a trendy ve strojovém učení. - 2009. - T. 2 . - doi : 10.1561/2200000006 .

Odkaz

 Typy umělých neuronových sítí