Perceptron se zpětnou vazbou

Perceptrony se zpětnou vazbou  jsou nejobecnějším typem perceptronů, některé typy popsal F. Rosenblatt. Od jednoduchých perceptronů se liší přítomností zpětné vazby. Díky tomu mohou vrstvy prvků, které jsou relativně daleko od senzorických vstupů, ovlivnit aktivitu vrstev umístěných blíže vstupu. Podle moderní klasifikace patří tento typ neuronové sítě mezi rekurentní neuronové sítě .

Perceptrony se selektivní pozorností

Přidáme-li zpětnou vazbu s konstantními (neměnnými) váhovými koeficienty od R-prvků k A-prvkům k nejjednoduššímu perceptronu, pak můžeme se selektivní pozorností získat nejjednodušší druh perceptronu. Na obrázku plné čáry označují spoje s konstantními hmotnostmi a tečkované spoje s proměnnými hmotnostmi. Zpětná vazba je náhodně (ve stejném poměru) vybrána s váhou +1 (excitační) nebo s váhou −1 (inhibiční). V tomto smyslu jsou tyto zpětné vazby voleny stejně jako spoje z S-prvků na A-prvky, ale na rozdíl od této první vrstvy jsou ve druhé vrstvě spoje od každého R-prvku ke každému A-prvku. V tomto případě se doba přenosu každého spojení rovná pevné konstantě a stimul je udržován na sítnici po určitou dobu .

Na jednoduchém příkladu se můžete ujistit, že tento typ perceptronu je schopen selektivní pozornosti. Pojďme trénovat systém s následujícími reakcemi:

  1. (r1 = 1, r2 = 0, r3 = 0, r4 = 0) na trojúhelník;
  2. (r1 = 0, r2 = 1, r3 = 0, r4 = 0) — na čtverec;
  3. (r1 = 0, r2 = 0, r3 = 1, r4 = 0) — na pozici postavy v horní části sítnice;
  4. (r1 = 0, r2 = 0, r3 = 0, r4 = 1) - na pozici postavy ve spodní části sítnice.

Po tréninku zkontrolujte reakci na podněty:

  1. S1 je trojúhelník v horní části pole (r1 = 1, r2 = 0, r3 = 1, r4 = 0) a čtverec ve spodní části (r1 = 0, r2 = 1, r3 = 0, r4 = 1);
  2. S2 je čtverec v horní části pole a trojúhelník ve spodní části.

Je nutné, aby takový perceptron poskytoval konzistentní popis tvaru a polohy jednoho ze dvou podnětů, aniž by bral v úvahu druhý, přestože jsou na sítnici přítomny současně.

Aby takovou úlohu mohl perceptron řešit se selektivní pozorností, je v procesu učení nutné dosáhnout určitého rozložení váhových koeficientů, které závisí na počtu A-prvků se správnou odezvou ve vztahu k jejich celkový počet. Uvažujme průnik podmnožiny prvků s odezvou R(1,0,0,0) s podmnožinou s odezvou R(1,0,1,0), tedy trojúhelník bez ohledu na umístění a trojúhelník nahoře. sítnice. Ukazuje se, že takový průnik je poměrně velký, protože tři ze čtyř R-prvků jsou ve stejném stavu. Totéž platí pro kombinaci trojúhelníku bez ohledu na umístění a trojúhelníku ve spodní části sítnice. Ale kombinace R(1,0,0,0) a R(0,1,0,0), tj. trojúhelník a čtverec bez ohledu na umístění, má menší průsečík, protože pouze dva ze čtyř R-prvků jsou ve stejném stát . Totéž platí pro kombinaci R (0,0,1,0) a R (0,0,0,1), tedy jakýkoli z tvarů výše nebo níže.

Díky tomuto rozložení váhových koeficientů se během rozpoznávání stane následující. Pokud se ukáže, že ve vztahu k dvojici reakcí (trojúhelník, čtverec) bude zpočátku dominantní trojúhelník [výstupní signál (1,0,0,0)], pak excitovaná podmnožina, do které je zavedeno největší zesílení , dá reakci „up“. Stane se tak díky tomu, že kombinace „nahoře, trojúhelník“ má mnohem větší váhu než kombinace „dole, čtverec“. Pokud je reakce (0,1,0,0), pak se v systému objeví opačný trend, který povede k reakci (0,1,0,1).

Pokud je nyní místo podnětu S1 dán podnět S2, pak budou preferovány reakce (1,0,0,1) nebo (0,1,1,0).

Tento příklad v podstatě ilustruje řešení problému, který lze vyřešit pomocí DAP , pouze s tím rozdílem, že perceptron se selektivní pozorností má dvě vrstvy místo jedné a je trénován metodou opravy chyb, nikoli násobením přímá a transponovaná matice. Tyto rozdíly umožňují řešit problémy, které jsou lineárně neoddělitelné a informační kapacita sítě je díky nim mnohem větší než kapacita DAP. Zde je v procesu síťového provozu náhodně vybraný vektor (selektivní pozorností) doplněn na statisticky nejpřesnější standard.

Program-learning perceptrons

Jedná se o skupinu nejsložitějších umělých rekurentních neuronových sítí ve své architektuře. Rosenblatt uvedl teoretické schéma takových sítí, ale zatím nebylo programově modelováno. Nejjednodušší forma takové sítě je zavedena na základě perceptronů se selektivní pozorností, ale tak, že odezva nezávisí pouze na aktuálním komplexním (při současném podání více podnětů) podnětu, ale na sekvenci takových podnětů. určitou délku. K tomu se zavádí druhá vrstva asociativních prvků s příčnými vazbami, které mezi sebou mohou vytvářet různé uzavřené obrysy.

Viz také

Literatura