Samoorganizující se mapa Kohonenu

Kohonenova samoorganizující se mapa ( anglicky  Self-organizing map  - SOM) je nekontrolovaná neuronová síť , která plní úlohu vizualizace a shlukování . Myšlenku sítě navrhl finský vědec T. Kohonen . Jedná se o metodu promítání vícerozměrného prostoru do prostoru s nižší dimenzí (nejčastěji dvourozměrného), používá se také k řešení problémů modelování, prognózování, identifikace souborů nezávislých prvků, hledání vzorců ve velkých souborech dat. , vývoj počítačových her, kvantování barev na jejich omezený počet indexů v paletě barev: při tisku na tiskárně a dříve na PC nebo na set-top boxech s displejem se sníženým počtem barev, pro archivátory [univerzální použití] nebo video kodeky atd. Je to jedna z verzí Kohonenovy neuronové sítě .

Historie

Metodu navrhl finský vědec Teuvo Kohonen v roce 1984. Existuje mnoho modifikací původního modelu.

Struktura sítě

Samoorganizující se mapa se skládá z komponent nazývaných uzly nebo neurony. Jejich počet stanoví analytik . Každý z uzlů je popsán dvěma vektory. První je tzv. vektor hmotnosti m , který má stejný rozměr jako zadání. Druhým je vektor r , což jsou souřadnice uzlu na mapě. Kohonenova mapa je vizuálně zobrazena pomocí obdélníkových nebo šestiúhelníkových buněk; ten druhý se používá častěji, protože v tomto případě jsou vzdálenosti mezi středy sousedních buněk stejné, což zvyšuje správnost vizualizace mapy.

Zpočátku je známa dimenze vstupních dat, nějakým způsobem je na ní postavena výchozí verze mapy. Během procesu učení se vektory vah uzlů přibližují ke vstupním datům. Pro každé pozorování (vzorek) se vybere nejpodobnější uzel z hlediska váhového vektoru a hodnota jeho váhového vektoru se přiblíží pozorování. Také váhové vektory několika uzlů umístěných poblíž se blíží pozorování, takže pokud byla dvě pozorování podobná ve vstupním souboru dat, blízké uzly jim budou na mapě odpovídat. Proces cyklického učení, iterující přes vstupní data, končí, když mapa dosáhne přijatelné (předem určené analytikem) chyby, nebo po stanoveném počtu iterací. Kohonenova mapa tedy jako výsledek tréninku klasifikuje vstupní data do shluků a vizuálně zobrazuje vícerozměrná vstupní data ve dvourozměrné rovině, rozděluje vektory blízkých prvků do sousedních buněk a vybarvuje je v závislosti na analyzovaných parametrech neuronů.

Výsledkem algoritmu jsou následující mapy:

• mapa vstupu neuronů  — zobrazuje vnitřní strukturu vstupních dat úpravou vah mapových neuronů. Obvykle se používá několik vstupních map, z nichž každá zobrazuje jednu z nich a je obarvena v závislosti na váze neuronu. Na jedné z map je určitou barvou vyznačena oblast, která obsahuje přibližně stejné vstupy pro analyzované příklady.
• mapa výstupu neuronů  - vizualizuje model relativní polohy vstupních příkladů. Vyznačené oblasti na mapě jsou shluky neuronů s podobnými výstupními hodnotami.
• speciální mapy  jsou mapa shluků získaná jako výsledek aplikace Kohonenova samoorganizujícího se mapového algoritmu, stejně jako další mapy, které je charakterizují. [jeden]

Provoz sítě

• Inicializace mapy, tedy počáteční přiřazení váhových vektorů pro uzly.
• Cyklus:
  • Výběr dalšího pozorování (vektor ze sady vstupů).
  • Nalezení pro něj nejlépe vyhovující jednotky (BMU nebo Winner) - uzel na mapě, jehož váhový vektor se nejméně liší od pozorování (v metrice nastavené analytikem nejčastěji euklidovský).
  • Určení počtu sousedů BMU a učení - změna váhových vektorů BMU a jeho sousedů za účelem jejich přiblížení k pozorování.
  • Definice chyby mapy.

Algoritmus

• Inicializace

Existují tři nejběžnější způsoby, jak nastavit počáteční váhy uzlů:

• • Nastavení všech souřadnic náhodnými čísly.
  • Přiřazení hodnoty náhodného pozorování ze vstupu k váhovému vektoru.
  • Výběr váhových vektorů z lineárního prostoru překlenutého hlavními složkami vstupního souboru dat.
• Cyklus

Nechť je  číslo iterace (inicializace odpovídá číslu 0).

• • Vyberte libovolné pozorování ze sady vstupních dat.
  • Najděte vzdálenosti od něj k hmotnostním vektorům všech uzlů mapy a určete nejbližší uzel z hlediska hmotnosti . Toto je BMU nebo vítěz. Podmínka pro :

, for any , kde  je hmotnostní vektor uzlu . Pokud existuje několik uzlů, které splňují podmínku, je z nich náhodně vybrán BMU.

• • Pomocí funkce (funkce sousedství) určete sousedy a změňte jejich vektory vah.
    • Cvičení

Funkce určuje „míru sousedství“ uzlů a změnu vektorů vah. Postupně by měl zpřesňovat jejich hodnoty, nejprve u většího počtu uzlů a silnějších, poté u menšího a slabšího. Gaussova funkce se často používá jako funkce sousedství: kde  je tréninkový faktor, který s každou další iterací monotónně klesá (tj. určuje aproximaci hodnoty váhových vektorů BMU a jeho sousedů s pozorováním; čím větší krok, tím menší zpřesnění); ,  - souřadnice uzlů a na mapě;  — faktor, který snižuje počet sousedů s iteracemi, monotónně klesá. Parametry a jejich charakter poklesu nastavuje analytik. Jednodušší způsob, jak definovat funkci sousedství: , pokud je v blízkosti poloměru předem určeného analytikem, a 0 v opačném případě. Funkce je stejná pro BMU a klesá se vzdáleností od BMU.

• • • Změna vektorů hmotnosti

Změňte vektor hmotnosti podle vzorce: Že. váhové vektory všech uzlů, které sousedí s BMU, se blíží uvažovanému pozorování.

• • Výpočet chyb mapy

Například jako aritmetický průměr vzdáleností mezi pozorováními a váhových vektorů jejich odpovídajících BMU: , kde N je počet prvků vstupní datové sady.

Vlastnosti modelu

Odolnost vůči hlučným datům, rychlé a nekontrolované učení, schopnost zjednodušit vícerozměrná vstupní data pomocí vizualizace. [2]

Samoorganizující se Kohonenovy mapy lze pro shlukovou analýzu použít pouze v případě, že je předem znám počet shluků [2] .

Důležitou nevýhodou je, že konečný výsledek práce neuronových sítí závisí na počátečním nastavení sítě. Na druhou stranu neuronové sítě dokážou teoreticky aproximovat jakoukoli spojitou funkci, což umožňuje výzkumníkovi nedělat předem žádné hypotézy o modelu [2] .

Viz také

• Neuronová síť Kohonena
• elastická karta

Poznámky

1. ↑ Chubuková, 2000 , s. 140.
2. ↑ 1 2 3 Manzhula, 2011 .

Literatura

• T. Kohonen , Samoorganizující se mapy (třetí rozšířené vydání), New York, 2001, 501 stran. ISBN 3-540-67921-9
• Debock G., Kohonen T. Analýza finančních dat se samoorganizujícími se mapami, Alpina Publisher, 2001, 317 s. ISBN 5-89684-013-6
• Zinoviev A. Yu. Vizualizace vícerozměrných dat . - Krasnojarsk: Ed. Krasnojarská státní technická univerzita, 2000. - 180 s.
• Chubuková I.A. data mining . - 2000. - 326 s.
• Manzhula V.G., Fedyashov D.S. Kohonenovy neuronové sítě a fuzzy neuronové sítě v dolování dat . — 2011.
• Lakhmi C. Jain; NM Martin Fúze neuronových sítí, fuzzy systémů a genetických algoritmů: průmyslové aplikace. — CRC Press, CRC Press LLC, 1998

Odkazy

• SOM-Research na webových stránkách Helsinské technologické univerzity
• WEBSOM , projekt sítě Kohonen
• PCA, SOM a GSOM: applet , E. M. Mirkes a University of Leicester. Analýza hlavních komponent, samoorganizující se mapy a rostoucí samoorganizující se mapy. Kapitola online učebnice s programy, které vám umožní provádět srovnávací studie.
• Přednáška o samoorganizujících se Kohonenových mapách

Typy umělých neuronových sítí

Dopředná síť ( Network of Radial Base Functions ) Jednovrstvý perceptron Vícevrstvý perceptron ( Rosenblatt • Rumelhart ) Hopfieldova síť Markovský řetěz Boltzmannův stroj Limitovaný Boltzmannův stroj Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variační autoencoder ) Hluboká síť důvěry Konvoluční neuronová síť Hluboká konvoluční neuronová síť Nasazení neuronové sítě Hluboká konvoluční inverzní grafická síť Generative Adversarial Network Rekurentní neuronová síť Rekurzivní neuronové sítě dlouhodobá krátkodobá paměť Řízený rekurentní blok Neural Turing Machines Obousměrná síť ( Obousměrná rekurentní neuronová síť • Obousměrná síť s dlouhodobou krátkodobou pamětí • Obousměrně řízené rekurentní neurony ) Hluboká zbytková síť Neuronová echo síť Metoda extrémního učení Metoda nestabilních stavů Podpora vektorového stroje Kohonen síť Samoorganizující se mapa Kohonenu Neuronová síť kapsle Asociativní paměť na neuronových sítích

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-síť Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG