Tenzorová skica

Tenzorová skica je technika redukce rozměrů používaná ve statistice, strojovém učení a algoritmech velkých dat [1] [2] . Je zvláště efektivní pro vektory, které mají tenzorovou strukturu. Takový náčrt lze použít k urychlení bilineárního kombinování v neuronových sítích a je základním kamenem mnoha algoritmů numerické lineární algebry [3] .

Historie

Termín tenzorová skica (náčrt) vznikl v roce 2013 [4] a ve stejném roce jej jako metodu popsal Rasmus Peg [5] .

Nejprve byla odpovídající metoda založena na použití rychlé Fourierovy transformace k implementaci rychlé konvoluce podobným způsobem jako referenční skica . V důsledku dalšího výzkumu byla zobecněna na mnohem větší třídu metod snižování dimenzionality pomocí náhodných tenzorových projekcí.

Tenzorové projekce

Jedna z variant náčrtu tenzoru je založena na použití konečného produktu matic navržených Slyusarem V. I. [ 6] v roce 1996 ( face-splitting product ) [7] [8] [9] [10] [11] .

Konečný součin dvou matic se stejným počtem řádků a má tvar [7] [8] [9] [12] : $\mathbf {C} \in \mathbb {R} ^{3\times 3}$ $\mathbf {D} \in \mathbb {R} ^{3\times 3}$ $\mathbf {C} \bullet \mathbf {D} =\left[{\begin{array}{c }\mathbf {C} _{1}\otimes \mathbf {D} _{1}\\ \hline \mathbf {C} _{2}\otimes \mathbf {D} _{2}\\\hline \mathbf {C} _{3}\otimes \mathbf {D} _{3}\\\end {array}}\right]=\left[{\begin{array}{ccccccccc }\mathbf {C} _{1,1}\mathbf {D} _{1,1}&\mathbf {C} _{ 1,1}\mathbf {D} _{1,2}&\mathbf {C} _{1,1}\mathbf {D} _{1,3}&\mathbf {C} _{1,2} \mathbf {D} _{1,1}&\mathbf {C} _{1,2}\mathbf {D} _{1,2}&\mathbf {C} _{1,2}\mathbf {D } _{1,3}&\mathbf {C} _{1,3}\mathbf {D} _{1,1}&\mathbf {C} _{1,3}\mathbf {D} _{1 ,2}&\mathbf {C} _{1,3}\mathbf {D} _{1,3}\\\hline \mathbf {C} _{2,1}\mathbf {D} _{2, 1}&\mathbf {C} _{2,1}\mathbf {D} _{2,2}&\mathbf {C} _{2,1}\mathbf {D} _{2,3}&\ mathbf {C} _{2,2}\mathbf {D} _{2,1}&\mathbf {C} _{2,2}\mathbf {D} _{2,2}&\mathbf {C} _{2,2}\mathbf {D} _{2,3}&\mathbf {C} _{2,3}\mathbf {D} _{2,1}&\mathbf {C} _{2, 3}\mathbf {D} _{2,2}&\mathbf {C} _{2,3}\mathbf {D} _{2,3}\\\hline \mathbf {C} _{3,1 }\mathbf {D} _{3,1}&\mathbf {C} _{3,1 }\mathbf {D} _{3,2}&\mathbf {C} _{3,1}\mathbf {D} _{3,3}&\mathbf {C} _{3,2}\mathbf { D} _{3,1}&\mathbf {C} _{3,2}\mathbf {D} _{3,2}&\mathbf {C} _{3,2}\mathbf {D} _{ 3,3}&\mathbf {C} _{3,3}\mathbf {D} _{3,1}&\mathbf {C} _{3,3}\mathbf {D} _{3,2} &\mathbf {C} _{3,3}\mathbf {D} _{3,3}\end{array}}\right].$

Účelnost použití tohoto díla spočívá v jeho vlastnosti:

(\mathbf {C} \bullet \mathbf {D} )(x\otimes y)=\mathbf {C} x\circ \mathbf {D} y=\left[{\begin{array}{c }(\mathbf {C} x)_{1}(\mathbf {D} y)_{1}\\(\mathbf {C} x)_{2}(\mathbf {D} y)_{2 }\\\vdots \end{array}}\right],

kde je prvek Hadamardův produkt . $\circ$

Na tomto základě může být libovolný tenzorový náčrt formuláře reprezentován jako , kde matice a mají menší rozměr a . Vzhledem k tomu, že operace a mohou být prováděny v lineárním čase , přechod na reprezentaci umožňuje provádět násobení vektory s tenzorovou strukturou mnohem rychleji, než se tvoří původní výraz , a to v čase . $\mathbf {M} (y\otimes z)$ $\mathbf {M'} y\circ \mathbf {M''} z$ $\mathbf {M'}$ $\mathbf {M''}$ $\mathbf {M'} \bullet \mathbf {M''} =\mathbf {M}$ $\mathbf {M'} y$ $\mathbf {M''} z$ $kd_{1}$ ${\displaystyle kd_{2))$ $\mathbf {M'} \bullet \mathbf {M''}$ $\mathbf {M} (y\otimes z)$ ${\displaystyle kd=kd_{1}d_{2))$

U tenzorů vyšších řádů, jako je , budou úspory ještě výraznější. $x=y\otimes z\otimes t$

Taková transformace splňuje lemma o malých zkresleních vysokorozměrných vstupních dat.

Viz také

Poznámky

↑ Nízkoúrovňový Tuckerův rozklad velkých tenzorů pomocí: Tensor Sketch . amath.colorado.edu . Boulder, Colorado: University of Colorado Boulder . Získáno 30. července 2020. Archivováno z originálu dne 14. února 2019. (neurčitý)
↑ Ahle, Thomas; Knudsen, Jakob Téměř optimální náčrt tenzoru . Researchgate (3. září 2019). Staženo 11. července 2020. Archivováno z originálu dne 14. července 2020. (neurčitý)
↑ Woodruff, David P. "Sketching as a Tool for Numerical Linear Algebra." Teoretická informatika 10.1-2 (2014): 1-157.
↑ Ninh, Pham; Rasmus, Pagh (2013). Rychlá a škálovatelná polynomiální jádra prostřednictvím explicitních map funkcí . Mezinárodní konference SIGKDD o objevování znalostí a dolování dat. Asociace pro výpočetní techniku. DOI : 10.1145/2487575.2487591 .
↑ Rasmus, Pagh (2013). Násobení komprimované matice. ACM Transactions on Computation Theory, srpen 2013 Článek č.: 9 . Asociace pro výpočetní techniku. DOI : 10.1145/2493252.2493254 .
↑ Anna Esteve, Eva Boj & Josep Fortiana (2009): Interakční termíny v regresi založené na vzdálenosti, komunikace ve statistice – teorie a metody, 38:19, P. 3501 [1] Archivováno 26. dubna 2021 na Wayback Machine
↑ 1 2 Slyusar, VI (27. prosince 1996). “Koncové produkty v matricích v radarových aplikacích” (PDF) . Radioelektronika a komunikační systémy. – 1998, sv. 41; Číslo 3 : 50-53. Archivováno (PDF) z originálu dne 27.07.2020 . Staženo 2020-07-30 . Použitý zastaralý parametr |deadlink=( nápověda )
↑ 1 2 Slyusar, VI Analytický model pole digitálních antén na bázi produktů face-splitting matrix // Proc . ICATT-97, Kyjev: deník. - 1997. - 20. května. - str. 108-109 . Archivováno z originálu 25. ledna 2020.
↑ 1 2 Slyusar, VI Rodina obličejových produktů matic a její vlastnosti // Kybernetika a systémová analýza C/C of Kibernetika I Sistemnyi Analiz : journal. - 1999. - Sv. 35 , č. 3 . - str. 379-384 . - doi : 10.1007/BF02733426 . Archivováno z originálu 25. ledna 2020.
↑ Slyusar, VI Zobecněné obličejové produkty matic v modelech digitálních anténních polí s neidentickými kanály // Radioelektronika a komunikační systémy : časopis . - 2003. - Sv. 46 , č. 10 . - S. 9-17 . Archivováno z originálu 20. září 2020.
↑ Minochkin A.I., Rudakov V.I., Slyusar V.I. Základy vojensko-technického výzkumu. Teorie a aplikace. Hlasitost. 2. Syntéza prostředků informační podpory zbraní a vojenské techniky / / Ed. A.P. Kovtuněnko. - Kyjev: "Granmna". - 2012. C. 7 - 98; 354 - 521 (2012). Získáno 30. července 2020. Archivováno z originálu dne 25. ledna 2020. (neurčitý)
↑ Slyusar, VI (1997-09-15). „Nové operace maticového produktu pro aplikace radarů“ (PDF) . Proč. Přímé a inverzní problémy teorie elektromagnetických a akustických vln (DIPED-97), Lvov. : 73-74. Archivováno (PDF) z originálu dne 25.01.2020 . Staženo 2020-07-31 . Použitý zastaralý parametr |deadlink=( nápověda )

Umělá inteligence
Příběh	Historie umělé inteligence Zima umělé inteligence Seminář v Dartmouthu
Filozofie	Turingův test Čínský pokoj Silná a slabá umělá inteligence Přátelská umělá inteligence Etika umělé inteligence Problém s ovládáním
Pokyny	Agentský přístup Adaptivní ovládání Znalostní inženýrství Životaschopný model systému Strojové učení Nervová síť fuzzy logika zpracování přirozeného jazyka Rozpoznávání vzorů Swarm Intelligence Symbolická AI Evoluční algoritmy Expertní systém
aplikace	Hlasová kontrola Klasifikační problém Klasifikace dokumentů Shlukování dokumentů shluková analýza Místní vyhledávání Strojový překlad Optické rozpoznávání znaků Rozpoznávání řeči Rozpoznávání rukopisu Herní AI
Výzkumníci	Charles Babbage Vladimír Vapník Josef Weizenbaum Norbert Wiener Viktor Gluškov Vladimír Gorodecký Jan LeCun Alexej Ljapunov John McCarthy Marvin Minsky Allen Newell Seymour Papert Judah Pearl Germogen Pospelov Dmitrij Pospelov Frank Rosenblatt Herbert Alexander Simon Alan Turing Patrik Winston Viktor Finn Sergej Fomin Demis Hassabis Geoffrey Hinton Noam Chomsky Claude Shannon Andrew Eun Eliezer Yudkovsky

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG