Delta pravidlo

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 22. září 2018; kontroly vyžadují 11 úprav .

Pravidlo delta je metoda učení perceptronu založená na principu sestupu gradientu nad chybovou plochou. Jeho další vývoj vedl ke vzniku metody backpropagation .

Delta pravidlo

Ve skutečnosti se pravidlo delta nazývá matematická forma zápisu. Nechť vektor je vektor vstupních signálů a vektor je vektor signálů, které by měly být přijaty z perceptronu pod vlivem vstupního vektoru. Zde je počet neuronů, které tvoří perceptron. Vstupní signály přijaté na vstupech perceptronu byly zváženy a sečteny, což vedlo k vektoru výstupních hodnot perceptronu. Potom je možné určit chybový vektor , jehož rozměr se shoduje s rozměrem vektoru výstupních signálů. Složky chybového vektoru jsou definovány jako rozdíl mezi očekávanou a skutečnou hodnotou výstupního signálu perceptronového neuronu: ${\mathbf {X}}={x_{1},x_{2},...x_{r},...x_{m}}$ ${\mathbf {D}}={d_{1},d_{2},...d_{k},...d_{n}}$ $n$ ${\mathbf {Y}}={y_{1},y_{2},...y_{k},...y_{n}}$ ${\mathbf {\mathrm{E} }}={e_{1},e_{2},...e_{k},...e_{n}}$

{\mathbf {\mathrm{E} =DY))

S takovými zápisy lze vzorec pro úpravu j-té váhy i-tého neuronu napsat takto:

w_{j}(t+1)=w_{j}(t)+e_{i}x_{j}

Číslo signálu se mění od jedné do rozměru vstupního vektoru . Počet neuronů se liší od jedné do počtu neuronů . Hodnota je číslo aktuální iterace školení. Váha vstupního signálu neuronu se tedy mění ve směru snižování chyby úměrně hodnotě celkové chyby neuronu. Často se zavádí faktor úměrnosti , kterým se násobí velikost chyby. Tento koeficient se nazývá míra nebo míra [1] učení . Konečný vzorec pro úpravu závaží je tedy: $j$ $m$ $i$ $n$ $t$ $\eta$

w_{j}(t+1)=w_{j}(t)+\eta e_{i}x_{j}

Zobecněné pravidlo delta

Aby se rozšířil rozsah úloh řešených perceptronem, Widrow a Hoff [2] navrhli funkci sigmoidální aktivace pro neurony. To umožnilo perceptronu pracovat se spojitými signály, ale vyžadovalo to úpravu algoritmu učení [3] . Upravený algoritmus je zaměřen na minimalizaci chybové funkce root-mean-square:

\epsilon ={\frac {1}{2}}\sum _{{i=1}}^{{n}}{(d_{i}-y_{i})^{2}}

Tato funkce je definována váhovou maticí . Zde je číslo neuronu a číslo vstupu. Plocha popsaná touto funkcí má tvar pseudo -paraboloidu [4] . Úkolem učení je najít globální minimum tohoto povrchu. Jedním ze způsobů, jak najít minimum, je metoda gradientního klesání . Závaží jsou nastavena ve směru protispádu povrchu: $w_{ij}$ $i$ $j$

\Delta w_{{ij}}=-\eta {\frac {\částečný \epsilon }{\částečný w_{{ij))))

Zde je koeficient rychlosti učení. $\eta$

Chybová funkce je komplexní a závisí především na výstupních signálech perceptronu. Podle pravidel diferenciace komplexních funkcí:

{\frac {\částečný \epsilon }{\částečný w_{{ij))))={\frac {\částečný \epsilon }{\částečný y_{i))}{\frac {\částečný y_{i)) {\částečné w_{{ij))))

(*)

Výstupní signál každého neuronu je určen vzorcem: $y_{i}$

y_{i}=\jméno operátora {f}(S_{i}),S_{i}=\sum _{{j=1}}^{{m}}{w_{{ij}}x_{j}}

Zde je počet vstupů perceptronu, je signál na j-tém vstupu a je aktivační funkce. Pak dostaneme: $m$ $x_{j}$ $\operatorname {f}(S)$

{\frac {\partial y_{i}}{\partial w_{{ij}}}}=({\frac {\partial \operatorname {f}(S)}{\partial S)))\mid _{ {S=S_{i}}}{\frac {\částečné S_{i}}{\částečné w_{{ij}}}}=f^{\prime }(S_{i})x_{j}

(**)

Odlišením chybové funkce hodnotou výstupního signálu dostaneme:

{\frac {\partial \epsilon }{\partial y_{i}}}=-(d_{i}-y_{i})

(***)

Dosazením vzorců (**) a (***) do výrazu (*) získáme výraz pro úpravu váhy j-tého vstupu i-tého neuronu pro libovolnou aktivační funkci [5] :

\Delta w_{{ij}}=\eta (d_{i}-y_{i})f^{\prime }(S_{i})x_{j}

Z tohoto vzorce je vidět, že jako aktivační funkce při použití zobecněného delta pravidla musí být aktivační funkce neuronů průběžně diferencovatelná podél celé osy x. Výhodu mají aktivační funkce s jednoduchou derivací (například logistická křivka nebo hyperbolická tečna).

Na základě pravidla delta vytvořili Widrow a Hopf jeden z prvních hardwarových neuropočítačů Adalin ( 1960 ).

Poznámky

↑ Nielsen, Michael A. Neuronové sítě a hluboké učení . — 2015-01-01. Archivováno z originálu 6. září 2016.
↑ Widrow B., Hoff ME - Adaptivní spínací obvody. Záznam konference IRE WESTCON z roku 1969. — New York, 1960
↑ L. N. Yasnitsky - Úvod do umělé inteligence. - str. 34-36
↑ L. N. Yasnitsky - Úvod do umělé inteligence. - str. 35
↑ L. N. Yasnitsky - Úvod do umělé inteligence. - str. 36

Viz také

Literatura

Rosenblatt F. Principy neurodynamiky: perceptrony a teorie mozkových mechanismů. Washington, DC: Spartan Books (1962).
Russell, Ingrid. "Pravidlo delty". University of Hartford. Archivováno z originálu 4. března 2016. Načteno 5. listopadu 2012.
Golovko, V. A. Neuronové sítě: školení, organizace a aplikace: Kniha 4: Učebnice pro vysoké školy ve směru „Aplikovaná matematika a fyzika“ / V. A. Golovko; Tot. vyd. A. I. Galuškin. - M.: IPRZhR, 2001. – 256 str. - (Neuropočítače a jejich aplikace): 5-93108-05-8.
Osovský S. Neuronové sítě pro zpracování informací (2002)
Hebb, D.O. Organizace chování: neuropsychologická teorie. New York (2002) (původní vydání - 1949)
Hebb, D.O. Podmíněné a nepodmíněné reflexy a inhibice. Nepublikovaná diplomová práce, McGill University, Montreal, Quebec, (1932)
Lakhmi C. Jain; NM Martin Fúze neuronových sítí, fuzzy systémů a genetických algoritmů: průmyslové aplikace. — CRC Press, CRC Press LLC, 1998