Neurální procesor

Neuronový procesor ( angl.  Neural Processing Unit, NPU nebo AI accelerator eng.  AI Accelerator ) je specializovaná třída mikroprocesorů a koprocesorů (často jde o specializovaný integrovaný obvod ), která se používá pro hardwarovou akceleraci algoritmů umělých neuronových sítí , počítačového vidění , hlasu . rozpoznávání , strojové učení a další metody umělé inteligence [1] .

Popis

Neuronové procesory souvisí s výpočetní technikou a používají se pro hardwarovou akceleraci emulace neuronové sítě a digitálního zpracování signálu v reálném čase . Neuroprocesor zpravidla obsahuje registry , push-pull paměťové bloky , přepínač a výpočetní zařízení obsahující multiplikační matici , dekodéry , klopné obvody a multiplexory [2] .

V současné fázi (od roku 2017) může třída neuronových procesorů zahrnovat typy čipů různé konstrukce a specializace , například:

• Neuromorfní procesory  jsou postaveny na klastrové asynchronní architektuře vyvinuté na Cornell University (zásadně odlišné od von Neumannových a Harvardských počítačových architektur používaných v IT průmyslu posledních 70 let). Na rozdíl od tradičních výpočetních architektur je logika neuromorfních procesorů zpočátku vysoce specializovaná na vytváření a vývoj různých typů umělých neuronových sítí . Zařízení využívá běžné tranzistory , ze kterých jsou sestavena výpočetní jádra (každé jádro zpravidla obsahuje plánovač úloh, vlastní paměť SRAM a router pro komunikaci s dalšími jádry), každé z jader emuluje práci několika stovek neurony , a tedy jeden integrovaný obvod obsahující několik tisíc takových jader, může algoritmicky znovu vytvořit pole několika set tisíc neuronů a řádově více synapsí . Takové procesory se zpravidla používají pro algoritmy hlubokého strojového učení [3] .
• Tenzorové procesory  - zařízení jsou zpravidla koprocesory řízené centrálním procesorem , pracující s tenzory  - objekty, které popisují transformaci prvků jednoho lineárního prostoru do druhého a lze je reprezentovat jako vícerozměrná pole čísel [4] , která se zpracovávají pomocí takových softwarových knihoven , jako je například TensorFlow . Obvykle jsou vybaveny vlastní vestavěnou pamětí RAM a pracují s nízkobitovými (8bitovými) čísly a jsou vysoce specializované na provádění operací, jako je násobení matic a konvoluce , používané k emulaci konvolučních neuronových sítí , které se používají pro stroje. problémy s učením [5] .
• Procesory strojového vidění  – V mnoha ohledech podobné procesorům tensor, ale jsou vysoce specializované na urychlení algoritmů strojového vidění , které využívají techniky konvoluční neuronové sítě (CNN) a transformace škálově invariantních funkcí (SIFT). Kladou velký důraz na paralelizaci toku dat napříč více prováděcími jádry , včetně použití modelu zápisníku . - jako ve vícejádrových digitálních signálových procesorech a stejně jako tensor procesory se používají pro výpočty s nízkou přesností, přijaté při zpracování obrazu [6] .

Historie

Aplikace

• Bezpilotní prostředek - například Drive PX-series  vyvíjí své desky tímto směremNvidia [ 7] [8] .
• Bezpilotní letoun  – například navigační systém založený na čipech Movidius Myriad 2úspěšně řídí autonomní bezpilotní prostředky [9] .
• Diagnostika ve zdravotnictví .
• Strojový překlad .
• Zpracování přirozeného jazyka .
• Vyhledávač  – NPU zvyšují energetickou účinnost datových center a umožňují stále složitější dotazy.
• Průmyslový robot  – NPU vám umožňují rozšířit rozsah úloh, které lze automatizovat přidáním adaptability na měnící se situace.
• Rozpoznávání hlasu  – například v mobilních telefonech využívajících technologii Qualcomm Zeroth[deset]
• Zemědělský robot  – například hubení plevele bez použití chemikálií [11] .

Příklady

Stávající produkty

• Procesory strojového vidění :
  • Intel Movidius Myriad 2, což je vícejádrový akcelerátor AI založený na architektuře VLIW s rozšířenými uzly určenými pro zpracování videa [6] .
  • Mobileye EyeQ je specializovaný procesor, který urychluje zpracování algoritmů strojového vidění pro použití v bezpilotních vozidlech [12] .
• Tensor procesory :
  • Google TPU ( angl.  Tensor Processing Unit ) - prezentovaný jako akcelerátor pro systém Google TensorFlow , který je široce používán pro konvoluční neuronové sítě. Zaměřeno na velké množství 8bitové přesné aritmetiky [5] .
  • Huawei Ascend 310 / Ascend 910 jsou první dva čipy optimalizované pro umělou inteligenci z řady Ascend společnosti Huawei [13] .
  • Intel Nervana NNP( angl.  Neural Network Processor ) je první komerčně dostupný tenzorový procesor určený pro budování sítí hlubokého učení [14] , partnerem v jeho procesu návrhu byl Facebook [15] [16] .
  • Qualcomm Cloud AI 100 je akcelerátor umělé inteligence navržený pro použití jako součást cloudových platforem, které podporují softwarové knihovny PyTorch , Glow , TensorFlow , Keras a ONNX [17] .
• Neuromorfní procesory :
  • IBM TrueNorth  je neuromorfní procesor postavený na principu interakce mezi neurony , spíše než na tradiční aritmetice. Pulzní frekvence představuje intenzitu signálu. Od roku 2016 neexistuje mezi výzkumníky umělé inteligence shoda, zda je toto správná cesta [18] , ale některé výsledky jsou slibné, přičemž u úloh strojového vidění byly prokázány velké úspory energie [19] .
• Adapteva Epiphany - navržený jako koprocesor, obsahuje model paměti poznámkového bloku sítě na čipu, přibližuje model programování toku informací, který by měl být vhodný pro mnoho problémů strojového učení.
• ComBox x64 Movidius PCIe Blade deska - PCI Express rozšiřující deska s maximální hustotou VPU Intel Movidius (MyriadX) pro odvození ultrapřesných neuronových sítí v datovém centru
• CambriconMLU100 je 64 TFLOPS polopřesná rozšiřující karta AI procesoru PCI Express nebo 128 TOPS pro výpočty INT8 [20] .
• Cerebras Wafer Scale Engine (WSE, CS-1) – experimentální superprocesor Cerebras , obsahuje 1,2 bilionu tranzistorů uspořádaných do 400 000 výpočetních jader optimalizovaných pro umělou inteligenci a 18 GB lokálně distribuované paměti SRAM , vše propojené síťovou sítí s celkovým výkonem 100 petabitů za sekundu . Čip Cerebras je vlastně superpočítač na čipu, kde jsou výpočetní jádra SLAC (Sparse Linear Algebra Cores) plně programovatelná a lze je optimalizovat pro práci s libovolnými neuronovými sítěmi [21] .
• KnuPath - Procesor KnuEdge, navržený pro práci v systémech rozpoznávání řeči a dalších oblastech strojového učení, využívá technologii konektoru LambdaFabric a umožňuje spojit až 512 tisíc procesorů do jednoho systému [22] .

Produkty GPU

• Nvidia Tesla  je řada vyhrazených produktů GPGPU od společnosti Nvidia [23] :
  • Nvidia Volta - grafické procesory (GPU) architektury Volta (2017) od Nvidie (např. Volta GV100), obsahují až 640 speciálních jader pro tensor computing [1] .
  • Nvidia Turing - GPU architektury Turing (2018) od Nvidie (jako Nvidia TU104), obsahují až 576 speciálních jader pro tensor computing [24] .
  • Nvidia DGX-1 - specializovaný server sestávající ze 2 centrálních procesorů a 8 GPU Nvidia Volta GV100(5120 tenzorových jader) připojených přes rychlou sběrnici NVLink [25] . Architektura vyhrazené pamětitento systém je vhodný zejména pro budování sítí hlubokého učení [26] [27] .
• AMD Radeon Instinct je specializovaná deska AMD GPGPU nabízená jako akcelerátor pro úlohy hlubokého učení [28] [29] .

Akcelerátory AI ve formě interních koprocesorů (hardwarové jednotky AI)

• Cambricon-1A je blok NPU v čipech Huawei Kirin 970 ARM vyvinutý společností Cambricon Technologies[30] .
• CEVANeuPro je rodina licencovaných hloubkových AI procesorů od CEVA, Inc.[31] .
• Neural Engine  je akcelerátor AI uvnitř čipů Apple A11 Bionic a A12 Bionic SoC ARM [32] .
• PowerVR 2NX NNA (Neural Network Accelerator) je rodina licencovaných IP modulů pro strojové učení od Imagination Technologies [33] .

Produkty výzkumu a vývoje

• Indický technologický institut v Madrasuvyvíjí akcelerátor založený na impulsních neuronech pro nové systémy architektury RISC-V zaměřené na zpracování velkých dat na serverových systémech [34] .
• eyeriss - vývoj zaměřený na konvoluční neuronové sítě využívající paměti notebooku a síťovou architekturu v krystalu.
• Fujitsu DLU je víceblokový a vícejádrový koprocesor Fujitsu , který využívá výpočty s nízkou přesností a je určen pro hluboké strojové učení [35] .
• Intel Loihi je neuromorfní procesor Intel , který kombinuje učení, školení a rozhodování v jediném čipu, což umožňuje systému být autonomní a „chytrý“, aniž by byl připojen ke cloudu . Například při trénování s databází MNIST (Mixed National Institute of Standards and Technology) je procesor Loihi 1 milionkrát lepší než jiné typické neuronové sítě s hroty [36] .
• Kalray — ukázal MPPA[37] a zaznamenali zvýšení účinnosti konvolučních neuronových sítí ve srovnání s GPU .
• SpiNNaker  je masivně paralelní výpočetní architektura, která kombinuje jádra tradiční architektury ARM s pokročilým síťovým rámcem specializovaným na simulaci velkých neuronových sítí.
• Zeroth NPU je vývoj společnosti Qualcomm zaměřený přímo na přenos schopností rozpoznávání řeči a obrazu do mobilních zařízení [38] .
• IVA TPU je tenzorový procesor vyvinutý ruskou společností IVA Technologies [39] [40] . V říjnu 2020 byly zveřejněny výsledky [41] [42] testování architektury akcelerátoru neuronové sítě IVA TPU, které provedlo mezinárodní konsorcium MLPerf (založené v roce 2018 Baidu , Google , Harvard University , Stanford University , University of California, Berkeley ) byly zveřejněny.

Poznámky

1. ↑ 1 2 Popularita strojového učení ovlivňuje vývoj architektury procesorů . servernews. (31. srpna 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (neurčitý)
2. ↑ Neuroprocesor, zařízení pro výpočet saturačních funkcí, výpočetní zařízení a sčítačka . FindPatent.RU. Získáno 17. listopadu 2017. Archivováno z originálu 1. prosince 2017. (Ruština)
3. ↑ IBM dodala LLNL neuroprocesory TrueNorth za 1 milion $ . Computerra . (31. března 2016). Staženo 17. listopadu 2017. Archivováno z originálu 19. listopadu 2017. (Ruština)
4. ↑ Intel vyvíjí tensor procesory pro AI . PC týden /RE. (22. listopadu 2016). Získáno 17. listopadu 2017. Archivováno z originálu 1. prosince 2017. (Ruština)
5. ↑ 1 2 Podrobnosti o koprocesoru Google TPU Tensor Coprocessor . servernews. (25. srpna 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (Ruština)
6. ↑ 1 2 Intel oznamuje procesor Movidius Myriad X Vision . 3D News . (29. srpna 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (Ruština)
7. ↑ Nvidia Drive PX: Škálovatelný superpočítač s umělou inteligencí pro autonomní řízení . Nvidia . Získáno 17. listopadu 2017. Archivováno z originálu 16. července 2016.  (neurčitý)  (Angličtina)
8. ↑ NVIDIA představuje Drive PX Pegasus, platformu autopilota nové generace . 3DNews (10. října 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017.  (neurčitý)  (Ruština)
9. ↑ Movidius pohání nejinteligentnější dron na světě . Datum přístupu: 15. listopadu 2017. Archivováno z originálu 9. srpna 2016.  (neurčitý)  (Angličtina)
10. ↑ Qualcomm Research přináší strojové učení serverové třídy do každodenních zařízení . Získáno 15. listopadu 2017. Archivováno z originálu 8. srpna 2016.  (neurčitý)  (Angličtina)
11. ↑ Návrh systému strojového vidění pro hubení plevele (nepřístupný odkaz) . Získáno 15. listopadu 2017. Archivováno z originálu 23. června 2010.  (neurčitý)   (Angličtina)
12. ↑ Evoluce EyeQ . Získáno 18. listopadu 2017. Archivováno z originálu 7. prosince 2017. (neurčitý)
13. ↑ Huawei vytvořil první procesory AI na světě po cestě vývojářů Elbrus , CNews  (23. října 2018). Archivováno z originálu 23. října 2018. Staženo 24. října 2018.
14. ↑ Před koncem roku Intel uvede „první čip v oboru pro zpracování neuronových sítí“ – Intel Nervana Neural Network Processor . iXBT.com (18. října 2017). Získáno 21. listopadu 2017. Archivováno z originálu 15. listopadu 2017. (Ruština)
15. ↑ Intel představuje účelový procesor neuronové sítě pro hluboké učení , technická zpráva (17. října 2017). Archivováno z originálu 24. listopadu 2017. Staženo 17. listopadu 2017.
16. ↑ Intel Nervana Neural Network Processors (NNP) redefinují AI Silicon  (17. října 2017). Archivováno z originálu 20. října 2017. Staženo 17. listopadu 2017.
17. ↑ Qualcomm představil akcelerátor umělé inteligence Cloud AI 100 Servernews.ru (10. dubna  2019). Archivováno z originálu 10. dubna 2019. Staženo 16. dubna 2019.
18. ↑ Jan LeKun o IBM TrueNorth . Získáno 15. listopadu 2017. Archivováno z originálu 5. července 2015.  (neurčitý)  (Angličtina)
19. ↑ IBM otevírá novou éru neuromorfních výpočtů . - "TrueNorth je neuvěřitelně efektivní: Čip spotřebovává pouhých 72 miliwattů při maximální zátěži, což se rovná přibližně 400 miliardám synaptických operací za sekundu na watt - nebo asi 176 000krát efektivnější než moderní CPU se stejnou zátěží jako mozek, neboli 769 krát účinnější než jiné nejmodernější neuromorfní přístupy“. Získáno 15. listopadu 2017. Archivováno z originálu 9. července 2016.  (neurčitý)  (Angličtina)
20. ↑ Čínská společnost Cambricon vyvíjí AI čipy pro datová centra. (nedostupný odkaz) . Získáno 15. června 2018. Archivováno z originálu 16. června 2018. (neurčitý) 
21. ↑ Cerebras je AI procesor neuvěřitelné velikosti a výkonu . 3D News . (20. srpna 2019). Získáno 21. srpna 2019. Archivováno z originálu dne 20. srpna 2019. (neurčitý)
22. ↑ KnuPath je neuromorfní procesor vojenské úrovně . 3D News . (9. června 2016). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (neurčitý)
23. ↑ Computex: Šéf Nvidie nevidí v tensor procesoru Google žádnou hrozbu . " Otevřené systémy ". (1. června 2016). Získáno 17. listopadu 2017. Archivováno z originálu 1. prosince 2017. (neurčitý)
24. ↑ Co přinese nová architektura NVIDIA Turing na trh? . 3D News. (14.08.2018). Získáno 17. srpna 2018. Archivováno z originálu dne 23. března 2019. (neurčitý)
25. ↑ Éra NVIDIA Volta začala s akcelerátorem Tesla V100 . servernews. (11. května 2017). Získáno 17. listopadu 2017. Archivováno z originálu 1. prosince 2017. (neurčitý)
26. ↑ GTC Europe 2017: Knihovna NVIDIA TensorRT 3 zrychluje neuronové sítě 18krát ve srovnání s univerzálním řešením . servernews. (12. října 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (neurčitý)
27. ↑ Nový ruský superpočítač určený k trénování neuronových sítí . servernews. (1. září 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (neurčitý)
28. ↑ AMD oznamuje Radeon Instinct: GPU Accelerators for Deep Learning, přichází v roce 2017 , Anandtech (12. prosince 2016). Archivováno z originálu 12. prosince 2016. Staženo 12. prosince 2016.
29. ↑ Mezi GPU Radeon Instinct Machine Learning patří Vega, Preview Performance , PC Per (12. prosince 2016). Archivováno z originálu 11. srpna 2017. Staženo 12. prosince 2016.
30. ↑ Huawei na IFA 2017 odhaluje budoucnost mobilní umělé inteligence . Získáno 15. června 2018. Archivováno z originálu 16. června 2018. (neurčitý)
31. ↑ CEVA NeuPro. Rodina procesorů AI pro hluboké učení na hraně. . Získáno 15. června 2018. Archivováno z originálu 16. června 2018. (neurčitý)
32. ↑ Nový neuronový engine iPhonu X je příkladem přístupu Applu k AI , The Verge  (13. září 2017). Archivováno z originálu 15. září 2017. Staženo 17. listopadu 2017.
33. ↑ Imagination odhaluje nové PowerVR 2NX AI akcelerátory , 3DNews  (8. června 2018). Archivováno z originálu 16. června 2018. Staženo 15. června 2018.
34. ↑ Indie připravuje procesory RISC-V – Shakti se zaměřuje na servery, IoT, analytiku (downlink) . - "Projekt Shakti nyní zahrnuje plány na nejméně šest návrhů mikroprocesorů, jakož i související tkaniny a urychlovací čip." Získáno 15. listopadu 2017. Archivováno z originálu 3. července 2017.  (neurčitý)   (Angličtina)
35. ↑ Fujitsu vyvíjí vlastní procesor pro systémy AI . servernews. (24. července 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (neurčitý)
36. ↑ Intel představuje neuromorfní procesor Loihi . 3D News . (26. září 2017). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (neurčitý)
37. ↑ Kalray MPPA . Získáno 15. listopadu 2017. Archivováno z originálu dne 23. dubna 2016.  (neurčitý)  (Angličtina)
38. ↑ Qualcomm ukázal neuroprocesor Zeroth . Logmag.net (16. října 2013). Získáno 17. listopadu 2017. Archivováno z originálu 17. listopadu 2017. (neurčitý)
39. ↑ vestavěný svět. IVA TPU – akcelerátor inferencí DNN // Architektura NeuroMatrix pro aplikace neuronových sítí | vestavěný  svět . www.embedded-world.de _ Získáno 30. listopadu 2020. Archivováno z originálu dne 21. ledna 2021.
40. ↑ V Rusku byla vytvořena originální architektura procesoru, která dokáže vytlačit NVidia . cnews.ru _ Získáno 30. listopadu 2020. Archivováno z originálu dne 25. listopadu 2020. (neurčitý)
41. ↑ Výsledky odvození  . MLPerf . Staženo 30. listopadu 2020. Archivováno z originálu 28. listopadu 2020.
42. ↑ Sally Ward-Foxton. Benchmark strojového učení rozšiřuje podporu pro okrajové   pracovní zátěže datových center ? . Embedded.com (3. listopadu 2020). Získáno 30. listopadu 2020. Archivováno z originálu dne 25. listopadu 2020.  (neurčitý)

Odkazy

• Popularita strojového učení ovlivňuje vývoj architektury procesorů . servernews. (31. srpna 2017). Datum přístupu: 17. listopadu 2017. (Ruština)