Nervová síť

Neuronová síť [1] (též umělá neuronová síť , ANN ) je matematický model , stejně jako jeho softwarová či hardwarová implementace, vybudovaný na principu organizace a fungování biologických neuronových sítí - sítí nervových buněk živého organismu. Tento koncept vznikl při studiu procesů probíhajících v mozku a při pokusu o modelování těchto procesů. Prvním takovým pokusem byly neuronové sítě W. McCullocha a W. Pittse [2] . Po vývoji algoritmů učení se výsledné modely začaly používat pro praktické účely:problémy s předpovídáním , rozpoznávání vzorů , problémy s ovládáním atd.

ANN je systém propojených a interagujících jednoduchých procesorů ( umělých neuronů ). Takové procesory jsou obvykle poměrně jednoduché (zejména ve srovnání s procesory používanými v osobních počítačích). Každý procesor v takové síti pracuje pouze se signály , které periodicky přijímá, a se signály, které periodicky odesílá jiným procesorům. A přesto, jsou-li takto jednotlivě jednoduché procesory propojeny v dostatečně velké síti s řízenou interakcí, mohou společně vykonávat poměrně složité úkoly.

Neuronové sítě nejsou naprogramovány v obvyklém slova smyslu, jsou trénované [a] . Schopnost učit se je jednou z hlavních výhod neuronových sítí oproti tradičním algoritmům . Technicky vzato je učení o hledání koeficientů spojení mezi neurony. V procesu učení je neuronová síť schopna identifikovat složité závislosti mezi vstupy a výstupy a také provádět zobecnění . To znamená, že v případě úspěšného školení bude síť schopna vrátit správný výsledek na základě dat, která v trénovacím vzorku chyběla, a také neúplných a/nebo „hlučných“, částečně zkreslených dat.

Chronologie

Významná použití

Rozpoznávání a klasifikace vzorů

Jako obrázky mohou fungovat objekty různé povahy: textové symboly, obrázky, zvukové vzory atd. Při trénování sítě jsou nabízeny různé vzory obrázků s uvedením, do které třídy patří. Vzorek je obvykle reprezentován jako vektor hodnot vlastností. V tomto případě musí souhrn všech znaků jednoznačně určit třídu , do které vzorek patří. Pokud není dostatek funkcí, může síť přiřadit stejný vzorek k několika třídám, což není pravda. Na konci síťového školení může být předložen s dosud neznámými obrázky a získat odpověď o příslušnosti k určité třídě.

Topologie takové sítě se vyznačuje tím, že počet neuronů ve výstupní vrstvě se obvykle rovná počtu definovaných tříd. Tím se vytvoří korespondence mezi výstupem neuronové sítě a třídou, kterou reprezentuje. Když je síť prezentována s obrázkem, jeden z jejích výstupů by měl ukazovat, že obrázek patří do této třídy. Zároveň by ostatní výstupy měly mít označení, že obrázek do této třídy nepatří [18] . Pokud mají dva nebo více výstupů znak příslušnosti ke třídě, má se za to, že si síť „není jistá“ svou odpovědí.

Použité architektury neuronových sítí

Rozhodování a řízení

Tento problém je blízký problému klasifikace. Situace podléhají klasifikaci, jejíž charakteristiky jsou přiváděny na vstup neuronové sítě. Na výstupu sítě by se měl objevit znak rozhodnutí, které učinila. V tomto případě se jako vstupní signály používají různá kritéria pro popis stavu řízeného systému [19] .

Shlukování

Clustering označuje rozdělení sady vstupních signálů do tříd, a to navzdory skutečnosti, že ani počet, ani vlastnosti tříd nejsou předem známy. Po naučení je taková síť schopna určit, do jaké třídy vstupní signál patří. Síť také může signalizovat, že vstupní signál nepatří do žádné z vybraných tříd – to je známka chybějících nových dat v trénovacím vzorku. Taková síť tedy může detekovat nové, dříve neznámé třídy signálů . Korespondence mezi třídami identifikovanými sítí a třídami, které existují v předmětné oblasti, je stanovena osobou. Shlukování je prováděno např. Kohonenovými neuronovými sítěmi .

Neuronové sítě v Kohonenově jednoduché verzi nemohou být obrovské, proto se dělí na hypervrstvy (hypersloupce) a jádra (mikrokloupce). V porovnání s lidským mozkem by ideální počet paralelních vrstev neměl překročit 112. Tyto vrstvy zase tvoří hypervrstvy (hypersloupce), ve kterých je 500 až 2000 mikrosloupců (jader). Každá vrstva je navíc rozdělena na sadu hypersloupů prostupujících těmito vrstvami. Mikrosloupce jsou zakódovány číslicemi a jednotkami s výsledkem získaným na výstupu. V případě potřeby jsou odstraněny nebo přidány další vrstvy a neurony. Pro výběr počtu neuronů a vrstev je ideální použít superpočítač. Takový systém umožňuje, aby neuronové sítě byly plastické.

Použité architektury neuronových sítí
  • Učení bez učitele:

Předpověď

Schopnost neuronové sítě předpovídat přímo vyplývá z její schopnosti zobecňovat a zvýraznit skryté závislosti mezi vstupními a výstupními daty. Po trénování je síť schopna předpovědět budoucí hodnotu určité sekvence na základě několika předchozích hodnot a (nebo) některých aktuálně existujících faktorů. Prognóza je možná pouze tehdy, když předchozí změny skutečně do určité míry předurčují budoucnost . Například predikce cen akcií na základě cen akcií z minulého týdne může, ale nemusí být úspěšná, zatímco predikce zítřejších výsledků loterie na základě dat za posledních 50 let téměř jistě selže.

Použité architektury neuronových sítí
  • Školení s lektorem:
  • Smíšené učení:

Aproximace

Neuronové sítě mohou aproximovat spojité funkce. Byla prokázána zobecněná aproximační věta [20] : pomocí lineárních operací a kaskádového zapojení je možné získat zařízení z libovolného nelineárního prvku, které počítá libovolnou spojitou funkci s určitou předem stanovenou přesností . To znamená, že nelineární charakteristika neuronu může být libovolná: od sigmatu po libovolný vlnový paket nebo vlnku , sinus nebo polynom . Složitost konkrétní sítě může záviset na volbě nelineární funkce , ale při jakékoli nelinearitě zůstává síť univerzálním aproximátorem a při správné volbě struktury může přesně aproximovat fungování jakéhokoli spojitého automatu.

Použité architektury neuronových sítí
  • Školení s lektorem:
  • Smíšené učení:

Komprese dat a asociativní paměť

Schopnost neuronových sítí identifikovat vztahy mezi různými parametry umožňuje kompaktněji vyjadřovat vysokorozměrná data, pokud jsou data mezi sebou úzce propojena. Opačný proces – obnovení původního souboru dat z části informace – se nazývá (auto)asociativní paměť. Asociativní paměť také umožňuje obnovit původní signál/obraz ze zašuměných/poškozených vstupních dat. Řešení problému heteroasociativní paměti umožňuje implementovat obsahově adresovatelnou paměť [19] .

Analýza dat

Použité architektury neuronových sítí
  • Školení s lektorem:
  • Učení bez učitele:

Optimalizace

Použité architektury neuronových sítí
  • Učení bez učitele:

Fáze řešení problému

  • Sběr dat pro školení;
  • Příprava a normalizace dat;
  • Volba topologie sítě;
  • Experimentální výběr síťových charakteristik;
  • Experimentální výběr tréninkových parametrů;
  • skutečný výcvik;
  • Kontrola přiměřenosti školení;
  • Úprava parametrů, závěrečný trénink;
  • Verbalizace sítě [21] pro další použití.

Některé z těchto kroků by měly být zváženy podrobněji.

Sběr dat pro školení

Výběr dat pro trénování sítě a jejich zpracování je nejtěžším krokem při řešení problému. Tréninkový datový soubor musí splňovat několik kritérií:

  • Reprezentativnost – údaje by měly ilustrovat skutečný stav věcí v předmětné oblasti;
  • Konzistence − Nekonzistentní data v trénovací sadě budou mít za následek špatnou kvalitu trénování sítě.

Počáteční data jsou převedena do podoby, ve které je lze odeslat na vstupy sítě. Každý záznam v datovém souboru se nazývá tréninkový pár nebo tréninkový vektor . Tréninkový vektor obsahuje jednu hodnotu pro každý síťový vstup a v závislosti na typu trénování (s dohledem nebo bez dozoru) jednu hodnotu pro každý síťový výstup. Trénink sítě na „surové“ sestavě zpravidla nedává vysoce kvalitní výsledky. Existuje řada způsobů, jak zlepšit „vnímání“ sítě.

  • Normalizace se provádí, když jsou data různých rozměrů přiváděna na různé vstupy. Například hodnoty s hodnotami od nuly do jedné jsou přiváděny na první vstup sítě a hodnoty od sta do tisíce jsou přiváděny na druhý vstup. Při absenci normalizace budou mít hodnoty na druhém vstupu vždy výrazně větší dopad na síťový výstup než hodnoty na prvním vstupu. Při normalizaci se rozměry všech vstupních a výstupních dat spojí;
  • Kvantování se provádí na spojitých veličinách, pro které je přidělena konečná množina diskrétních hodnot. Například kvantizace se používá k nastavení frekvencí zvukových signálů při rozpoznávání řeči;
  • Filtrování se provádí pro "šumová" data.

Kromě toho hraje důležitou roli prezentace vstupních i výstupních dat. Předpokládejme, že síť je naučená rozpoznávat písmena na obrázcích a má jeden číselný výstup – číslo písmene v abecedě. V tomto případě síť získá falešný dojem, že písmena 1 a 2 jsou si podobnější než písmena 1 a 3, což obecně není pravda. Aby k takové situaci nedocházelo, používá se topologie sítě s velkým počtem výstupů, kdy každý výstup má svůj význam. Čím více výstupů v síti, tím větší je vzdálenost mezi třídami a tím obtížnější je jejich záměna.

Výběr topologie sítě

Typ sítě by měl být zvolen na základě prohlášení o problému a dostupných tréninkových dat. Učení pod dohledem vyžaduje „expertní“ hodnocení pro každý prvek vzorku. Někdy je získání takového odhadu pro velké množství dat prostě nemožné. V těchto případech je přirozenou volbou nekontrolovaná výuková síť (např. Kohonenova samoorganizující se mapa nebo Hopfieldova neuronová síť ). Při řešení jiných problémů (např. prognózování časových řad) je odborný posudek obsažen již v původních datech a lze jej extrahovat během zpracování. V tomto případě můžete použít vícevrstvý perceptron[ objasnit ] nebo síť Word .

Experimentální výběr síťových charakteristik

Po zvolení obecné struktury je nutné experimentálně vybrat parametry sítě. U sítí jako perceptron to bude počet vrstev, počet bloků ve skrytých vrstvách (pro sítě Word), přítomnost nebo nepřítomnost bypassových spojení a přenosové funkce neuronů. Při volbě počtu vrstev a neuronů v nich je třeba vycházet ze skutečnosti, že schopnost sítě zobecňovat je tím vyšší, čím větší je celkový počet spojení mezi neurony . Na druhou stranu je počet spojení shora omezen počtem záznamů v trénovacích datech.

Experimentální výběr parametrů učení

Po zvolení konkrétní topologie je nutné zvolit parametry trénování neuronové sítě. Tento krok je zvláště důležitý pro kontrolované sítě . Správná volba parametrů určuje nejen to, jak rychle budou odezvy sítě konvergovat ke správným reakcím. Například volba nízké rychlosti učení prodlouží dobu konvergence, ale někdy se vyhnete paralýze sítě . Zvýšení momentu učení může buď zvýšit nebo snížit dobu konvergence, v závislosti na tvaru chybové plochy . Na základě takového rozporuplného vlivu parametrů lze dojít k závěru, že jejich hodnoty by měly být vybrány experimentálně, vedené kritériem dokončení učení (například minimalizace chyby nebo omezení doby školení).

Síťový trénink

Během procesu učení síť skenuje trénovací vzorek v určitém pořadí. Pořadí procházení může být sekvenční, náhodné atd. Některé sítě bez dozoru ( například sítě Hopfield ) skenují vzorek pouze jednou. Jiné (jako jsou sítě Kohonen ), stejně jako sítě pod dohledem, skenují vzorek mnohokrát, přičemž jeden úplný průchod vzorkem se nazývá epocha učení . Při učení s učitelem je soubor výchozích dat rozdělen na dvě části – vlastní tréninkový vzorek a testovací data; princip oddělení může být libovolný. Tréninková data se přivádějí do sítě pro trénování a testovací data se používají k výpočtu chyby sítě (testovací data se nikdy nepoužívají k trénování sítě). Pokud se tedy chyba na testovacích datech sníží, síť zobecní. Pokud se chyba v trénovacích datech stále snižuje a chyba v testovacích datech se zvyšuje, pak síť přestala zobecňovat a jednoduše si „pamatuje“ trénovací data. Tento jev se nazývá síťové overfitting nebo overfitting . V takových případech je trénink obvykle zastaven. Během tréninkového procesu se mohou objevit další problémy, jako je paralýza nebo se síť dostane do lokálního minima chybové plochy. Není možné předem předvídat projev konkrétního problému, stejně jako dát jednoznačná doporučení pro jejich řešení.

Vše výše uvedené platí pouze pro iterativní algoritmy pro hledání řešení neuronové sítě. U nich nelze skutečně nic zaručit a nelze plně automatizovat trénování neuronových sítí. Spolu s iterativními algoritmy učení však existují i ​​neiterativní algoritmy, které mají velmi vysokou stabilitu a umožňují plně automatizovat proces učení .

Kontrola přiměřenosti školení

I v případě na první pohled úspěšného školení se síť ne vždy naučí přesně to, co od ní tvůrce chtěl. Je znám případ, kdy byla síť vycvičena k rozpoznání obrázků tanků z fotografií, ale později se ukázalo, že všechny tanky byly vyfotografovány na stejném pozadí. V důsledku toho se síť „naučila“ rozpoznávat tento typ terénu, místo aby se „učila“ rozpoznávat tanky [22] . Síť tedy „chápe“ nikoli to, co se od ní požadovalo, ale to, co je nejjednodušší zobecnit.

Testování kvality trénování neuronové sítě by mělo být prováděno na příkladech, které se nezúčastnily jejího trénování. Počet testovacích případů by měl být tím větší, čím vyšší je kvalita školení. Pokud mají chyby neuronové sítě pravděpodobnost blízkou jedné miliardtině, pak je k potvrzení této pravděpodobnosti potřeba miliarda testovacích případů. Ukazuje se, že testování dobře trénovaných neuronových sítí se stává velmi obtížným úkolem.

Klasifikace podle typu vstupní informace

  • Analogové neuronové sítě (využívají informace ve formě reálných čísel);
  • Binární neuronové sítě (pracují s informacemi prezentovanými v binární formě);
  • Obrazové neuronové sítě (operují s informacemi prezentovanými ve formě obrázků: znaky, hieroglyfy, symboly).

Klasifikace podle charakteru školení

  • Učení pod dohledem  – je znám výstupní rozhodovací prostor neuronové sítě;
  • Učení bez dozoru  − Neuronová síť generuje výstupní rozhodovací prostor pouze na základě vstupních akcí. Takové sítě se nazývají samoorganizující se;
  • Posilovací učení  je systém pro přidělování trestů a odměn z okolí.

Klasifikace podle povahy ladění synapse

  • Sítě s pevným připojením (váhy neuronové sítě se volí okamžitě, na základě podmínek problému, přičemž: , kde W jsou váhy sítě);
  • Sítě s dynamickými spoji (pro ně se během procesu učení upravují synaptické spoje, tedy , , kde W jsou váhové koeficienty sítě).

Klasifikace podle doby přenosu signálu

V řadě neuronových sítí může aktivační funkce záviset nejen na váhových koeficientech spojení , ale také na době přenosu impulsu (signálu) komunikačními kanály . Obecně tedy má aktivační (přenášecí) funkce spojení z prvku na prvek tvar: . Synchronní síť je pak taková síť, ve které je doba přenosu každého spojení buď nulová, nebo pevná konstanta . Asynchronní síť je síť, ve které je doba přenosu pro každé spojení mezi prvky různá , ale také konstantní.

Klasifikace podle povahy spojení

Dopředné neuronové sítě

V dopředných neuronových sítích jsou  všechna spojení řízena striktně od vstupních neuronů k výstupním neuronům. Příklady takových sítí jsou Rosenblattův perceptron , vícevrstvý perceptron , sítě Word .

Rekurentní neuronové sítě

Signál z výstupních neuronů nebo neuronů skryté vrstvy je částečně přenášen zpět na vstupy neuronů vstupní vrstvy ( zpětná vazba ). Rekurentní Hopfieldova síť „filtruje“ vstupní data, vrací se do stabilního stavu a umožňuje tak řešit problémy komprese dat a budování asociativní paměti [23] . Obousměrné sítě jsou zvláštním případem rekurentních sítí. V takových sítích dochází k propojení mezi vrstvami jak ve směru od vstupní vrstvy k výstupní, tak i v opačném směru. Klasickým příkladem je Cosco Neural Network .

Radiální základní funkce

Byly vyvinuty neuronové sítě, které používají radiálně-základní (také nazývané RBF) sítě jako aktivační funkce. Celkový pohled na funkci radiální báze:

, například,

kde  je vektor vstupních signálů neuronů,  je šířka okna funkce,  je klesající funkce (nejčastěji rovna nule mimo určitý segment).

Radiálně-základní síť se vyznačuje třemi rysy:

  1. Jediná skrytá vrstva;
  2. Pouze neurony ve skryté vrstvě mají nelineární aktivační funkci;
  3. Synaptické váhy spojení vstupní a skryté vrstvy jsou rovny jedné.

Samoorganizující se mapy

Takové sítě jsou nekontrolované konkurenční neuronové sítě , které plní úlohu vizualizace a shlukování . Jde o metodu promítání vícerozměrného prostoru do prostoru s nižší dimenzí (nejčastěji dvourozměrného), používá se také k řešení problémů modelování, předpovídání apod. Je jednou z verzí Kohonenovy neuronové sítě [ 24] . Kohonenovy samoorganizující se mapy slouží především k vizualizaci a prvotní („průzkumné“) analýze dat [25] .

Signál do Kohonenovy sítě jde do všech neuronů najednou, váhy odpovídajících synapsí jsou interpretovány jako souřadnice polohy uzlu a výstupní signál je tvořen podle principu „vítěz bere vše“ - tedy neuron nejblíže (ve smyslu synapsích vah) vstupnímu signálu má nenulový výstupní signálový objekt. Během procesu učení se váhy synapsí upravují tak, že uzly mřížky jsou „umístěny“ v místech lokálního zhušťování dat, tedy popisují shlukovou strukturu datového cloudu, na druhé straně spoje mezi neurony. odpovídají sousedským vztahům mezi odpovídajícími shluky v prostoru prvků.

Takové mapy je vhodné považovat za dvourozměrné sítě uzlů umístěných ve vícerozměrném prostoru. Zpočátku je samoorganizující se mapa mřížkou uzlů propojených vazbami. Kohonen zvažoval dvě možnosti připojení uzlů - v obdélníkové a šestihranné mřížce - rozdíl je v tom, že v obdélníkové mřížce je každý uzel připojen ke 4 sousedním a v šestiúhelníkové - k šesti nejbližším uzlům. U dvou takových sítí se proces konstrukce Kohonenovy sítě liší pouze v místě, kde procházejí nejbližší sousedé daného uzlu.

Počáteční vnoření mřížky do datového prostoru se volí libovolně. Autorský balíček SOM_PAK nabízí možnosti pro náhodné počáteční umístění uzlů v prostoru a variantu pro umístění uzlů v rovině. Poté se uzly začnou pohybovat v prostoru podle následujícího algoritmu:

  1. Datový bod je vybrán náhodně .
  2. Je určen nejbližší uzel mapy (BMU - Best Matching Unit).
  3. Tento uzel posune daný krok směrem k . Nepohybuje se však sám, ale nese s sebou určitý počet nejbližších uzlů z nějaké čtvrti na mapě. Ze všech pohybujících se uzlů je centrální uzel nejblíže k datovému bodu nejsilněji přemístěn a zbytek zažívá menší přemístění, čím dále jsou od BMU. Při ladění mapy existují dvě fáze - fáze hrubého ( objednávání ) a fáze jemného ( jemné ladění ) ladění. V první fázi jsou vybrány velké hodnoty sousedství a pohyb uzlů je kolektivní povahy - v důsledku toho se mapa „rozprostírá“ a zhruba odráží strukturu dat; ve fázi jemného ladění je poloměr okolí 1-2 a jednotlivé pozice uzlů jsou již upraveny. Kromě toho hodnota zkreslení klesá rovnoměrně s časem, to znamená, že je velká na začátku každé z tréninkových fází a na konci se blíží nule.
  4. Algoritmus se opakuje po určitý počet epoch (je jasné, že počet kroků se může značně lišit v závislosti na úloze).

Známé typy sítí

Rozdíly od strojů von Neumannovy architektury

Výpočetní systémy založené na neuronových sítích mají řadu vlastností, které u strojů s von Neumannovou architekturou chybí (ale jsou vlastní lidskému mozku):

Příklady použití

Predikce finančních časových řad

Vstupním údajem je cena akcií za daný rok. Úkolem je určit zítřejší kurz. Provádí se následující transformace - seřadí se kurz na dnešek, včerejšek, předevčírem. Další řádek se posune podle data o jeden den a tak dále. Na výsledné množině se trénuje síť se 3 vstupy a jedním výstupem - tedy výstup: kurz k datu, vstupy: kurz k datu mínus 1 den, mínus 2 dny, mínus 3 dny. Trénovaná síť je napájena sazbou pro dnešek, včerejšek, předevčírem a dostane odpověď pro zítřek. V tomto případě síť zobrazí závislost jednoho parametru na třech předchozích. Pokud je žádoucí vzít v úvahu nějaký další parametr (například obecný index pro odvětví), pak je třeba jej přidat jako vstup (a zahrnout do příkladů), přeškolit síť a získat nové výsledky. Pro co nejpřesnější trénink se vyplatí použít metodu ORO , která je nejpředvídatelnější a nejsnáze implementovatelná.

Psychodiagnostika

Série prací M. G. Dorrera a spoluautorů se věnuje studiu možnosti rozvoje psychologické intuice v expertních systémech neuronových sítí [27] [28] . Získané výsledky poskytují přístup k odhalení mechanismu intuice neuronových sítí, který se projevuje při řešení psychodiagnostických problémů. Vznikl pro počítačové metody nestandardní intuitivní přístup k psychodiagnostike , který spočívá ve vyloučení konstrukce popisované reality . Umožňuje omezit a zjednodušit práci na psychodiagnostických metodách.

Chemoinformatika

Neuronové sítě jsou široce používány v chemickém a biochemickém výzkumu [29] . V současnosti jsou neuronové sítě jednou z nejrozšířenějších metod chemoinformatiky pro hledání kvantitativních vztahů struktura-vlastnost [30] [31] , díky čemuž jsou aktivně využívány jak pro predikci fyzikálně-chemických vlastností a biologické aktivity chemických sloučenin, tak pro řízený návrh chemických sloučenin, sloučenin a materiálů s předem určenými vlastnostmi, včetně vývoje nových léků.

Neurofeedback

Neuronové sítě se úspěšně používají pro syntézu řídicích systémů pro dynamické objekty [32] [33] .

V oblasti řízení se neuronové systémy používají v problémech identifikace objektů, v algoritmech pro prognózování a diagnostiku a také pro syntézu optimálních ACS. Pro implementaci ACP na bázi ANN se v současné době intenzivně rozvíjí výroba neuročipů a neurokontrolérů (NC) .

V určitém smyslu je ANN mozkovým simulátorem , který má schopnost učit se a navigovat v podmínkách nejistoty. Umělá neuronová síť je podobná mozku ve dvou aspektech. Síť získává znalosti v procesu učení a k ukládání znalostí nepoužívá objekty samotné, ale jejich spojení - hodnoty koeficientů interneuronálních spojení, nazývané synaptické váhy nebo synaptické koeficienty.

Postup učení ANN spočívá v identifikaci synaptických vah, které jí poskytují potřebné transformační vlastnosti. Charakteristickým rysem ANN je jeho schopnost upravovat parametry a strukturu v procesu učení. [34]

Ekonomie

Algoritmy neuronových sítí jsou široce používány v ekonomii [35] . Pomocí neuronových sítí je řešen problém vývoje algoritmů pro nalezení analytického popisu zákonitostí fungování ekonomických objektů (podnik, průmysl, region). Tyto algoritmy jsou aplikovány na předpovídání některých "výstupních" indikátorů objektů. Využití metod neuronových sítí umožňuje řešit některé problémy ekonomického a statistického modelování, zvyšovat přiměřenost matematických modelů a přibližovat je ekonomické realitě [36] . Vzhledem k tomu, že ekonomické, finanční a sociální systémy jsou velmi složité a jsou výsledkem lidských akcí a reakcí, je vytvoření kompletního matematického modelu , který bere v úvahu všechny možné akce a reakce, velmi obtížným (pokud řešitelným) úkolem. V systémech této složitosti je přirozené a nejúčinnější používat modely, které přímo napodobují chování společnosti a ekonomiky. Právě to může nabídnout metodika neuronových sítí [37] .

Viz také

Poznámky

Komentáře

  1. ↑ Podle známého specialisty na strojové učení Yang LeCun je strojové učení reprodukcí myšlení na základě umělých neuronových sítí [4]

Poznámky pod čarou

  1. ↑ Neuronová síť  // Velká ruská encyklopedie  : [ve 35 svazcích]  / kap. vyd. Yu. S. Osipov . - M  .: Velká ruská encyklopedie, 2004-2017.
  2. ↑ 1 2 McCulloch W. S. , Pitts W. Logický počet nápadů souvisejících s nervovou aktivitou Archivováno 27. listopadu 2007 na Wayback Machine // Automata / Ed. C. E. Shannon a J. McCarthy. — M .: Izd-vo inostr. lit., 1956. - S. 363-384. (Překlad anglického článku z roku 1943)
  3. ↑ Gorban A.N. Kdo jsme, kam jdeme, jak měřit svou cestu? Archivovaná kopie ze dne 14. srpna 2009 ve zprávě Wayback Machine Plelenary na zahájení konference Neuroinformatics -99 (MEPhI, 20. ledna 1999). Verze časopisu: Gorban A. N. Neuroinformatics: kdo jsme, kam jdeme, jak měřit naši cestu // Computational technologies. - M .: Mashinostroenie. - 2000. - č. 4. - S. 10-14. = Gorban AN Neuroinformatics: Co jsme, kam jdeme, jak měřit cestu? Archivováno 17. února 2016 na Wayback Machine Přednáška na USA-NIS Neurocomputing Opportunities Workshop, Washington DC, červenec 1999 (ve spojení s IJCNN'99) .
  4. ↑ LeCun, 2021 , str. 78.
  5. ↑ N. Wiener. Kybernetika. 2. vyd., 1961, kap. já
  6. ↑ Golubev, 2007 , s. čtyři.
  7. ↑ Rozpoznávání vzorů a adaptivní řízení. BERNARD VDROW . Získáno 9. února 2009. Archivováno z originálu 22. června 2010.
  8. ↑ Widrow B., Stearns S. Adaptivní zpracování signálu. - M . : Rozhlas a komunikace, 1989. - 440 s.
  9. ↑ Petrov A.P.  O schopnostech perceptronu // Sborník Akademie věd SSSR, Technická kybernetika. - 1964. - č. 6 .
  10. ↑ Bongard M. M.  Problémy rozpoznávání. — M .: Fizmatgiz, 1967.
  11. ↑ Golubev, 2007 , s. 5.
  12. ↑ Khakimov B. B. Modelování korelačních závislostí pomocí splajnů na příkladech z geologie a ekologie. - M. : Moskevské nakladatelství. univerzita; SPb. : Neva, 2003. - 144 s.
  13. ↑ Werbos PJ Beyond regression: Nové nástroje pro predikci a analýzu v behaviorálních vědách. — Ph. D. práce, Harvard University, Cambridge, MA, 1974.
  14. ↑ Galushkin A.I. Syntéza vícevrstvých systémů rozpoznávání vzorů. - M .: Energie, 1974.
  15. ↑ Rumelhart DE, Hinton GE, Williams RJ , Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, roč. 1, str. 318-362. Cambridge, MA, MIT Press. 1986.
  16. ↑ Rumelhart DE, Hinton GE, Williams RJ Učení interních reprezentací pomocí šíření chyb // Paralelní distribuované zpracování. sv. 1. - Cambridge, MA: MIT Press, 1986. S. 318-362.
  17. ↑ Bartsev S.I., Okhonin V.A. Adaptivní sítě zpracování informací. - Krasnojarsk: Ústav fyziky SO AN SSSR, 1986. Předtisk N 59B. — 20 s.
  18. ↑ Tento typ kódování se někdy nazývá kód „1 z N“.
  19. ↑ 1 2 Otevřené systémy - Úvod do neuronových sítí Archivováno 31. října 2005 na Wayback Machine
  20. ↑ Gorban A. N. Zobecněný teorém aproximace a výpočetní schopnosti neuronových sítí Archivní kopie ze dne 27. ledna 2012 na Wayback Machine // Siberian Journal of Computational Mathematics , 1998, vol. 1, č. 1. - S. 12-24.
  21. ↑ Mirkes E. M. Logicky transparentní neuronové sítě a produkce explicitních znalostí z dat Archivní kopie ze 4. února 2019 na Wayback Machine // Neuroinformatics / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdin et al. - Novosibirsk: Science. Sibiřský podnik Ruské akademie věd, 1998. - 296 s. — ISBN 5-02-031410-2 .
  22. ↑ Zmínka o tomto příběhu v Popular Mechanics . Získáno 16. dubna 2012. Archivováno z originálu 8. září 2011.
  23. ↑ INTUIT.ru - Rekurentní sítě jako asociativní úložná zařízení . Získáno 5. října 2007. Archivováno z originálu 17. prosince 2007.
  24. ↑ Kohonen T. Samoorganizující se mapy. 3. vydání. - Berlín - New York: Springer-Verlag, 2001 / - ISBN 0-387-51387-6 , ISBN 3-540-67921-9 .
  25. ↑ Zinoviev A. Yu.Vizualizace  vícerozměrných dat . - Krasnojarsk: Nakladatelství státu Krasnojarsk. tech. un-ta, 2000. - 180 s.
  26. ↑ Martinetz TM, Berkovich SG, Schulten KJ Neural-gas network pro vektorovou kvantizaci a její aplikace na predikci časových řad Archivováno 16. července 2019 na Wayback Machine // IEEE Trans. o neuronových sítích, 1993, no. 4. - S. 558-569. Z webu PCA Archivováno 16. března 2019 na Wayback Machine
  27. ↑ Gorban AN, Rossiyev DA, Dorrer MG MultiNeuron – Simulátor neuronových sítí pro lékařské, fyziologické a psychologické aplikace Archivováno 17. února 2016 ve Wayback Machine // Wcnn'95, Washington, DC: Světový kongres o neuronových sítích, 1995. Mezinárodní Výroční setkání Neural Network Society: Renaissance Hotel, Washington, DC, USA, 17.–21. července 1995.
  28. ↑ Dorrer M.G. Psychologická intuice umělých neuronových sítí Archivováno 25. března 2009 na Wayback Machine , Diss. … 1998. Další kopie online: [1] Archivováno 28. dubna 2009 na Wayback Machine , [2] Archivováno 7. dubna 2009 na Wayback Machine
  29. ↑ Baskin I. I., Palyulin V. A., Zefirov N. S. Aplikace umělých neuronových sítí v chemickém a biochemickém výzkumu Archivní kopie ze dne 10. července 2007 na Wayback Machine // Vestn. Moskva univerzita Ser. 2. Chemie . 1999. V. 40. č. 5.
  30. ↑ Galbershtam N. M., Baskin I. I., Palyulin V. A., Zefirov N. S.  Neuronové sítě jako metoda pro hledání závislostí mezi strukturou a vlastnostmi organických sloučenin  // Uspekhi khimii . - Ruská akademie věd , 2003. - T. 72 , č. 7 . - S. 706-727 .
  31. ↑ Baskin I. I., Palyulin V. A., Zefirov N. S.  Vícevrstvé perceptrony ve studiu vztahů mezi strukturou a vlastnostmi pro organické sloučeniny // Russian Chemical Journal (Journal of the Russian Chemical Society pojmenovaný po D. I. Mendělejevovi). - 2006. - T. 50 . - S. 86-96 .
  32. ↑ Shigeru, Marzuki, Rubia, 2000 .
  33. ↑ Chernodub A. N., Dzyuba D. A. Přehled metod neurokontroly Archivováno 13. ledna 2012 na Wayback Machine // Programming Problems . - 2011. - Ne 2. - S. 79-94.
  34. ↑ Sabanii V. R. Automatické řídicí systémy založené na technologiích neuronových sítí / V. R. Sabanin, N. I. Smirnov, A. I. Repin // Proceedings of the International Scientific Conference Control-2003. M.: Nakladatelství MEI, 2003.S. 45-51.
  35. ↑ Kalatskaya L. V., Novikov V. A., Sadov V. S. Organizace a trénink umělých neuronových sítí: Experimentální studie. příspěvek. - Minsk: Nakladatelství BSU, 2003. - 72 s.
  36. ↑ Kenin A. M., Mazurov V. D. Zkušenosti s používáním neuronových sítí v ekonomických problémech Archivní kopie z 2. dubna 2013 na Wayback Machine
  37. ↑ [3] Neuronové sítě v ekonomii

Literatura

  • Berkinblit M. B.  Neuronové sítě . - M. : MIROS a VZMSH RAO, 1993. - 96 s. — ISBN 5-7084-0026-9 . Archivováno12. května 2011 naWayback Machine
  • Voronovsky G. K., Makhotilo K. V., Petrashev S. N., Sergeev S. A.  Genetické algoritmy, umělé neuronové sítě a problémy virtuální reality. - Charkov: Osnova, 1997. - 112 s. — ISBN 5-7768-0293-8 .
  • Golubev Yu.F.  Metody neuronových sítí v mechatronice. - M. : Moskevské nakladatelství. unta, 2007. - 157 s. — ISBN 978-5-211-05434-9 .
  • Gorban A.N.   Trénink neuronových sítí . - M. : SSSR-USA SP "Paragraph", 1990. - 160 s.
  • Gorban A.N., Rossiev D.A.   Neuronové sítě na osobním počítači . - Novosibirsk: Nauka, 1996. - 276 s. — ISBN 5-02-031196-0 .
  • Gorban A. N., Dunin-Barkovsky V. L. a kol.,  Neuroinformatika . - Novosibirsk: Nauka, 1998.
  • Goodfellow Y., Bengio I., Courville A. Hluboké učení = Hluboké učení. — M. : DMK-Press , 2017. — 652 s. - ISBN 978-5-97060-554-7 .
  • Eremin D. M., Gartseev I. B.  Umělé neuronové sítě v inteligentních řídicích systémech. - M. : MIREA, 2004. - 75 s. - ISBN 5-7339-0423-2 .
  • Callan R. Základní koncepty neuronových sítí = The Essence of Neural Networks First Edition. - M. : Williams, 2001. - 288 s. — ISBN 5-8459-0210-X .
  • Kruglov V. V. , Borisov V. V.  Umělé neuronové sítě. Teorie a praxe. - M . : Horká linka - Telecom, 2001. - 382 s. — ISBN 5-93517-031-0 .
  • Mirkes E. M.  Neurocomputer. Návrh normy . - Novosibirsk: Nauka, 1999. - 337 s. — ISBN 5-02-031409-9 . Další kopie online:Neurocomputer. Návrh normy.
  • Nikolenko S. , Kadurin A., Arkhangelskaya E. Hluboké učení. - Petrohrad. : Petr , 2018. - 480 s. - ISBN 978-5-496-02536-2 .
  • Osovský Stanislav. Neuronové sítě pro zpracování informací = Sieci neuronowe do przetwarzania informacji  (polsky) / Přeložil I. D. Rudinsky. - M. : Finance a statistika, 2004. - 344 s. — ISBN 5-279-02567-4 .
  • Saveljev A. V.  Na cestě k obecné teorii neuronových sítí. K problematice složitosti  // Neurocomputers: vývoj, aplikace. - 2006. - č. 4-5 . - str. 4-14 . Archivováno z originálu 11. září 2016.
  • Shigeru Omatu, Marzuki Khalid, Rubia Yusof. Neurocontrol and its Applications = Neuro-Control and its Applications. 2. vyd. — M. : IPRZhR, 2000. — 272 s. — ISBN 5-93108-006-6 .
  • Tadeusevich Ryszard, Borovik Barbara, Gonchazh Tomasz, Lepper Bartosz. Základní úvod do technologie neuronových sítí s ukázkami programů / Překlad I. D. Rudinského. - M . : Horká linka - Telecom, 2011. - 408 s. - ISBN 978-5-9912-0163-6 . .
  • Terekhov V. A., Efimov D. V., Tyukin I. Yu.  Systémy řízení neuronové sítě. - M . : Vyšší škola , 2002. - 184 s. — ISBN 5-06-004094-1 .
  • Wasserman F.  Neurocomputer technology: Theory and practice = Neural Computing. teorie a praxe. — M .: Mir, 1992. — 240 s. — ISBN 5-03-002115-9 . Archivováno 30. června 2009 na Wayback Machine
  • Khaykin S.  Neuronové sítě: kompletní kurz = Neuronové sítě: Komplexní základ. 2. vyd. - M. : Williams, 2006. - 1104 s. — ISBN 0-13-273350-1 .
  • Yasnitsky L. N.  Úvod do umělé inteligence. - M . : Vydavatelství. Centrum "Akademie", 2005. - 176 s. — ISBN 5-7695-1958-4 .
  • Jan LeCun . Jak se stroj učí. Revoluce v neuronových sítích a hlubokém učení. (Knihovna Sber: Umělá inteligence). - M . : Alpina literatura faktu, 2021. - ISBN 978-5-907394-29-2 .

Odkazy

  Přejděte na položku Wikidata  Slovníky a encyklopedie
V bibliografických katalozích
 Typy umělých neuronových sítí
 Znalostní inženýrství
Obecné pojmy
Pevné modely
Měkké metody
Aplikace