Hammingova neuronová síť

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 2. srpna 2019; ověření vyžaduje 1 úpravu .

Hammingova neuronová síť je typ neuronové sítě používaný ke klasifikaci binárních vektorů, přičemž hlavním kritériem je Hammingova vzdálenost . Jde o vývoj Hopfieldovy neuronové sítě .

Síť se používá ke korelaci binárního vektoru , kde , s jedním z referenčních obrázků (každá třída má svůj vlastní obrázek), nebo k rozhodnutí, že vektor neodpovídá žádnému ze standardů. Na rozdíl od sítě Hopfield nevydává samotný vzorek, ale jeho číslo. $x=(x_{1},x_{2},x_{3},...,x_{m})$ $x_{i}=\{-1,1\}$

Síť navrhl Richard Lippmann v roce 1987. Byl umístěn jako specializované heteroasociativní úložné zařízení. [jeden]

Architektura

Hammingova síť je třívrstvá neuronová síť se zpětnou vazbou. Počet neuronů ve druhé a třetí vrstvě se rovná počtu klasifikačních tříd. Synapse neuronů druhé vrstvy jsou napojeny na každý vstup sítě, neurony třetí vrstvy jsou propojeny zápornými spoji, kromě synapse napojené na vlastní axon každého neuronu - ta má pozitivní zpětnou vazbu.

Síťový trénink

Matice váhových koeficientů první vrstvy se získá z matice referenčních snímků jako , kde maticí referenčních snímků je matice , jejíž každý řádek je odpovídající referenční binární vektor. Aktivační funkce je definována jako $X$ $w_{ij}={\dfrac {x_{ij}}{2}}$ $K\times M$ $f(s)=\left\{{\begin{matrix}0,&s\leqslant 0,\\s,&0<s\leqslant T;\\T,&s>T\\\end{matrix} }\že jo.$

kde $T={\dfrac {M}{2}}$

Hmotnostní matice druhé vrstvy má velikost , a je definována jako $K\times K$

{\begin{bmatrix}1&-\epsilon &\cdots &-\epsilon \\-\epsilon &1&\cdots &-\epsilon \\\cdots &\cdots &\cdots &\cdots \\-\epsilon &-\epsilon &\cdots &1\end{bmatrix}},

kde $\epsilon \in (0,{\dfrac {1}{K}}]$

Trénink tedy probíhá v jednom cyklu.

Provoz sítě

Klasifikovaný vektor je uveden jako vstup . Stav neuronů v první vrstvě se vypočítá jako . Výstup neuronů v první vrstvě je získán aplikací aktivační funkce na stav a stává se počáteční hodnotou odpovídajících neuronů ve druhé vrstvě. Dále se stavy neuronů druhé vrstvy získávají z jejich předchozího stavu na základě matice váhových koeficientů druhé vrstvy a postup se iterativně opakuje, dokud se stavový vektor druhé vrstvy nestabilizuje - dokud se norma rozdíl mezi vektory dvou po sobě jdoucích iterací je menší než určitá hodnota (v praxi hodnoty řádově 0,1). ${\displaystyle {\vec {x^{*))))$ $s_{1j}=w_{ji}x_{i}^{*}$ $E_{{max}}$

Pokud je nakonec jeden vektor pozitivní a zbytek negativní, pak to ukazuje na vhodný vzorek. Pokud je několik vektorů kladných a zároveň žádný z nich nepřekračuje , pak to znamená, že neuronová síť nemůže přiřadit příchozí vektor žádné z tříd, avšak kladné výstupy indikují nejpodobnější standardy. $E_{{max}}$

Příklady

Síť lze použít k rozpoznání obrázků sestávajících pouze z černých a bílých pixelů, jako je index napsaný na razítku kódu obálky .

Poznámky

↑ Richard Lipmann. 1987. Úvod do počítání s neuronovými sítěmi. časopis IEEE Assp

Literatura

Vladimír Golovko. Neuronové sítě. Školení, organizace a aplikace. Kniha 4. - M. : IPRZhR, 2001. - 256 s.
Osovský S. Neuronové sítě pro zpracování informací. - M. : Finance a statistika, 2002. - 344 s.

Typy umělých neuronových sítí

Dopředná síť ( Network of Radial Base Functions )
Jednovrstvý perceptron
Vícevrstvý perceptron ( Rosenblatt • Rumelhart )
Hopfieldova síť
Markovský řetěz
Boltzmannův stroj
Limitovaný Boltzmannův stroj
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variační autoencoder )
Hluboká síť důvěry
Konvoluční neuronová síť
Hluboká konvoluční neuronová síť
Nasazení neuronové sítě
Hluboká konvoluční inverzní grafická síť
Generative Adversarial Network
Rekurentní neuronová síť
Rekurzivní neuronové sítě
dlouhodobá krátkodobá paměť
Řízený rekurentní blok
Neural Turing Machines
Obousměrná síť ( Obousměrná rekurentní neuronová síť • Obousměrná síť s dlouhodobou krátkodobou pamětí • Obousměrně řízené rekurentní neurony )
Hluboká zbytková síť
Neuronová echo síť
Metoda extrémního učení
Metoda nestabilních stavů
Podpora vektorového stroje
Kohonen síť
Samoorganizující se mapa Kohonenu
Neuronová síť kapsle
Asociativní paměť na neuronových sítích

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG