Nervový plyn

Expandující neurální plyn je algoritmus , který umožňuje adaptivní shlukování vstupních dat, tedy nejen rozdělit prostor do shluků, ale také určit jejich potřebný počet na základě vlastností samotných dat. Expandující nervový plyn nevyžaduje a priori informace o datech, jako je odhad počtu shluků nebo tvaru shluků.“ [1] Toto je nová třída výpočetních mechanismů. Počet a umístění umělých neuronů v prostoru rysů není předem určeno, ale je výsledkem výpočtu v procesu trénovacích modelů na základě dat zadaných na vstupu [2] . V tomto modelu není okolí uzlů pevné, ale dynamicky se mění, jak se shlukování zlepšuje. Proměnnými nejsou pouze sousedské vztahy, ale také počet neuronů shluku.

Historie vytvoření

Existují techniky, které jsou schopny vybrat nejpodobnější objekty v prostoru a vytvořit z nich skupiny. Během analýzy je množina objektů organizována do podmnožin na základě měřené podobnosti. Typicky jsou metody založeny na standardním schématu: optimalizace vztahu mezi prostorovým uspořádáním vektorů a sadou objektů tak, že každý vektor určuje strukturu shluků . Většina technik má však dvě významné nevýhody: analýza závisí na daném počtu shluků a rozdělení do shluků je lokalizováno v čase. Všechny moderní metody shlukování byly statické a neuměly přizpůsobit výsledky, pokud byla k datům přidána nová data, bylo nutné algoritmus znovu spustit.

Popis algoritmu

Implementace algoritmu začíná dvěma neurony. Pak dochází k postupné změně (většinou ve směru zvyšování) jejich počtu, zároveň se mezi neurony vytvářejí spojení, která nejlépe odpovídají rozložení vstupních vektorů. Každému neuronu je přiřazena vnitřní proměnná, která akumuluje „lokální chybu“. Spojení mezi uzly popisuje proměnná zvaná „věk“ [3] .

Nejprve se vytvoří dva uzly (dále jen uzel=neuron) s váhovými vektory povolenými rozložením vstupních vektorů a lokálními chybovými hodnotami nula;
Uzly jsou propojeny spojkou, kterou lze nastavit věk. V počáteční fázi je věk 0.
Poté je na vstup neuronové sítě přiveden vektor . ${\vec {X}}$
V další fázi jsou dva neurony a , nejblíže k ( blíže než ), tedy uzly s váhovými vektory a , takové, které je minimální a je druhou hodnotou minimální vzdálenosti mezi všemi uzly. $S$ $T$ ${\vec {X}}$ $S$ $T$ ${\displaystyle {\vec {W_{s))))$ ${\displaystyle {\vec {W_{t))))$ $\left\|{\vec {W_{s}}}-{\vec {X}}\right\|$ $\left\|{\vec {W_{t}}}-{\vec {X}}\right\|$
Lokální chyba nejbližšího neuronu, vítěze , je aktualizována a je k ní přidána druhá mocnina vzdálenosti mezi vektory a . $S$ ${\displaystyle {\vec {W_{s))))$ ${\vec {X}}$ $E_{s}\Rightarrow E_{s}+\left\|{\vec {W_{s}}}-{\vec {X}}\right\|^{2}$
Při implementaci tohoto postupu obdrží nejčastěji vítězné uzly (maximální počet vstupních signálů spadá do jejich sousedství) největší chybovou hodnotu. Tyto oblasti jsou v první řadě "zhuštěny" a to se děje díky přidávání nových uzlů.
Vítězný neuron a všechny jeho topologické sousedy (tj. všechny neurony , které mají spojení s vítězem) jsou posunuty směrem ke vstupnímu vektoru o vzdálenosti rovné zlomkům a od úplného. $S$ $N$ $\varepsilon_{w}$ $\varepsilon_{n}$ ${\vec {W_{s}}}\Rightarrow {\vec {W_{s}}}+\varepsilon _{w}({\vec {W_{s}}}-{\vec {X} })$ ${\vec {W_{n}}}\Rightarrow {\vec {W_{n}}}+\varepsilon _{n}({\vec {W_{n}}}-{\vec {X} })$

Pokud jsou v této fázi uzly posunuty směrem ke vstupnímu vektoru, pak vítěz má tendenci "zprůměrovat" svou pozici vzhledem ke vstupním signálům umístěným v jeho blízkosti. V tomto případě nejlepší neuron mírně „táhne“ sousední neurony ve směru signálu.

Zvyšte o 1 věk všech spojení pocházejících od vítěze . $S$
Pokud jsou dva nejlepší neurony a spojeny, je nutné resetovat věk jejich spojení. V opačném případě musíte mezi nimi vytvořit spojení. $S$ $T$
Odstraňte všechny vztahy, které jsou starší než maximální věk. Neurony, které nemají spojení s jinými uzly, jsou odstraněny.
Pokud je číslo aktuální iterace násobkem a není dosaženo maximální velikosti sítě, je nutné vytvořit nový neuron podle pravidel. Postupem času se po několika cyklech přesunů nashromáždí informace, na základě kterých se rozhodne o místě, kam by měl být přidán nový neuron. Během tohoto procesu se opravují proměnné chyby všech neuronů ve vrstvě. Díky tomu síť „zapomene“ na staré vstupní vektory a lépe reaguje na nové. Je možné použít expandující neuronový plyn k přizpůsobení neuronové sítě k pomalu se měnícím distribucím vstupních signálů. $\lambda$ $R$
Najděte neuron s maximální lokální chybou. $U$
Mezi sousedy najděte neuron s největší chybou. $U$ $PROTI$
Vytvořte uzel „uprostřed“ mezi a : $R$ $U$ $PROTI$ ${\vec {W_{r}}}={\frac {{\vec {W_{u}}}+{\vec {W_{v}}}}{2}}$
Nahraďte vztah mezi a vztahem mezi a , a . $U$ $PROTI$ $U$ $R$ $R$ $PROTI$
Snižte chyby neuronů a nastavte hodnotu chyby neuronů . $U$ $PROTI$ $R$ $E_{u}\Rightarrow E_{u}*a$ $E_{v}\Rightarrow E_{v}*a$ $E_{r}\Rightarrow E_{u}$
Velká hodnota této chyby ukazuje, že odpovídající neuron leží v oblasti malého počtu neuronů.
Pokaždé , když je pro náhodně vybraný neuron určen nejbližší neuron , zvýší se místní chyba pro tento neuron . $X$ ${\displaystyle {\vec {W_{j))))$ $E_{j}$ $\left\|{\vec {W_{j}}}-{\vec {X}}\right\|^{2}$

Formulář struktury dat

Výzkumník si může sám nastavit podobu shlukové struktury, zda bude shlukování prováděno pro hypersféru , hypertrubici nebo nadrovinu . Pokud tyto znalosti nemá, pak díky hodnotě jeho vlastní kovarianční matice můžete určit potřebnou formu. Pokud má struktura alespoň o jednu vlastní hodnotu menší než práh zvolený uživatelem, pak bude model hyperlineární, jinak musí být struktura považována za nelineární varietu. Další testování ukáže, zda má model tvar koule nebo trubky. Test sféricity závisí na splnění nerovnosti np/na>ψ, kde np je počet vektorů uvnitř shluku, který se zjistí pomocí Jordan Brauerovy věty [4] a ap je plocha povrchu shluku. cluster a ψ je uživatelsky specifikovaný práh. Pokud má tato nerovnost tvar np/na<ψ, pak tvar shluku bude „hypertrubice“. [3]

Vzdálenost od vektoru X k neuronům ve shlucích různých tvarů

Pro shluk ve formě hypertrubice se vypočítá radiální vzdálenost:

kde Aj je kladná, jednoznačná matice vypočítaná tak, aby zohlednila excentricitu a orientaci hypertrubice [5] . Hodnota Aj pro tuto rovnici je nalezena pomocí Lownerova hyperlipsoidu pomocí Khachiyanova algoritmu [6] .

Chcete-li určit vzdálenosti v nadrovině, použijte následující vzorec:

kde Aj je libovolně kladná definitní symetrická hmotnostní matice. A bj, k se odhadne nalezením vlastních vektorů neurálních uzlů modelu.

Chcete-li určit vzdálenost v hypersféře, musíte použít vzorec:

kde wi je buď střední hodnota vektorů obsažených v rovině.

Vizualizace dat

Ve 3D prostoru jsou data velmi snadno vizualizovatelná. [3] Můžete to vidět na obrázku.

Pokud je však náš prostor větší než trojrozměrný, pak je vizualizace dat obtížná. K vyřešení tohoto problému se používá technika založená na DPH [7] . Podstatou konstrukce je nalezení minimální kostry modelu. Po dokončení procesu třídění lze shlukovou strukturu analyzovat pomocí čtverců poblíž úhlopříčky. Nejprve se v každém izolovaném grafu vypočítají normalizované, párově odlišné neurony. Různé neurony se pak přeskupí, aby se vytvořila nejhustší distribuce uvnitř seskupení. Poté je každý shluk natřen svou vlastní barvou a umístěn podél hlavní diagonály. V diagramu jsou také zahrnuty vztahy uvnitř shluků, bíle je vyznačena maximální vzdálenost mezi dvěma shluky a černě nejmenší vzdálenost. Jako další rozměr lze přidat objem shluku, jedná se o výšku čtverců.

Příklad expandujícího nervového plynu

Tento příklad ukazuje, jak se systém přizpůsobí, když jsou zadána nová data. Databáze se skládá z 1050 bodových objektů. Na začátku bylo provedeno 5000 iterací a do algoritmu se dostalo 75 % informací. Poté, co byla do systému vložena malá část 756 datových bodů, nervové vektory se začaly přizpůsobovat, aby vytvořily distribuci znázorněnou na obrázku níže.

Poté bylo spuštěno dalších 150 nových vektorů. To vedlo k vytvoření nové sférické třídy, naznačené na obrázku níže:

Navzdory prostorové blízkosti zelených a purpurových shluků algoritmus zaznamenal nárůst shluků a přizpůsobil se těmto změnám. V tomto případě bylo zbývajících 120 objektů opakovaně zamícháno mezi zelenými a purpurovými shluky. Algoritmus následně distribuoval data mezi dva shluky a zachoval původní počet shluků.

Poznámky

↑ Slovník Neural.ru . Datum přístupu: 15. června 2012. Archivováno z originálu 24. července 2012. (neurčitý)
↑ Implementace rostoucího neurálního plynu v programovacím jazyce MQL5 . Získáno 15. června 2012. Archivováno z originálu 16. června 2012. (neurčitý)
↑ 1 2 3 Isaac J. Sledge, Growing Neural Gas for Temporal Clustering/IEEE, 2008
↑ M. Berg, M. Kreveld, M. Overmars, O. Schwarzkopf, Computational Geometry, Springer-Verlag, New York, 2000.
↑ G. Carpenter, "Competitive Learning: From Interactive Activation to Adaptive Resonance", Cognitive Science, sv. 11, 1987.
↑ L. Khachiyan, M. Todd, "O složitosti aproximace maximálního vepsaného elipsoidu pro polytop", Math. Prog., 1993.
↑ J. Keller, I. Sledge, "A Cluster By Any Other Name", IEEE Proc., NAFIPS, 2007.

Viz také

T. Martinetz, Neural Gas Network for Vector Organization a její aplikace na predikci časových řad/IEEE, sv. 4, 1993
T. Martinetz, Neural Gas Network se učí topologie.

Typy umělých neuronových sítí

Dopředná síť ( Network of Radial Base Functions )
Jednovrstvý perceptron
Vícevrstvý perceptron ( Rosenblatt • Rumelhart )
Hopfieldova síť
Markovský řetěz
Boltzmannův stroj
Limitovaný Boltzmannův stroj
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variační autoencoder )
Hluboká síť důvěry
Konvoluční neuronová síť
Hluboká konvoluční neuronová síť
Nasazení neuronové sítě
Hluboká konvoluční inverzní grafická síť
Generative Adversarial Network
Rekurentní neuronová síť
Rekurzivní neuronové sítě
dlouhodobá krátkodobá paměť
Řízený rekurentní blok
Neural Turing Machines
Obousměrná síť ( Obousměrná rekurentní neuronová síť • Obousměrná síť s dlouhodobou krátkodobou pamětí • Obousměrně řízené rekurentní neurony )
Hluboká zbytková síť
Neuronová echo síť
Metoda extrémního učení
Metoda nestabilních stavů
Podpora vektorového stroje
Kohonen síť
Samoorganizující se mapa Kohonenu
Neuronová síť kapsle
Asociativní paměť na neuronových sítích

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-síť Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG