Radiální základní funkce

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 2. června 2021; ověření vyžaduje 1 úpravu .

Funkce radiální báze ( RBF ) je funkce ze sady radiálních funkcí stejného typu, které se používají jako aktivační funkce v jedné vrstvě umělé neuronové sítě nebo jinak, v závislosti na kontextu. Radiální funkce je jakákoli reálná funkce , jejíž hodnota závisí pouze na vzdálenosti k počátku nebo na vzdálenosti mezi nějakým jiným bodem , který se nazývá střed : . Normou je obvykle euklidovská vzdálenost , i když lze použít i jiné metriky . $\phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)$ ${\mathbf {c}}$ $\phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)$

K aproximaci dané funkce lze také použít lineární kombinace radiálních základních funkcí . Aproximaci lze interpretovat jako nejjednodušší druh neuronové sítě ; právě v tomto kontextu byly funkce radiální báze poprvé definovány Davidem Broomheadem a Davidem Lowem v roce 1988 [1] [2] , na základě klíčové práce Michaela Powella z roku 1977 [3] [4] [5] .

Radiální základní funkce se také používají jako jádro v podpůrných vektorových strojích . [6]

Druh

Mezi běžně používané radiální základní funkce patří ( ): $r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|$

Gaussova funkce : $\phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2))$
Multiquadric: ${\displaystyle \phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2))))$
Inverzní kvadratická: ${\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2))))$
Inverzní multikvadratický: $\phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2))))$
Polyharmonický spline : ${\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r ^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}$
Spline tenké desky (speciální polyharmonický spline): $\phi \left(r\right)=r^{2}\ln \left(r\right)$

Aproximace

Pro aproximaci funkcí pomocí radiálních bázových funkcí se obvykle používá jejich lineární kombinace tvaru:

y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\right\|\right)

kde součet radiálních bázových funkcí se středy v bodech a koeficienty se bere jako aproximační funkce . Koeficienty lze vypočítat pomocí metody nejmenších čtverců , protože funkce přizpůsobení je lineární s ohledem na koeficienty . $y\left(\mathbf {x} \right)$ $N$ ${\displaystyle \mathbf {x} _{i))$ $w_{{i}}$ $w_{{i}}$

Obzvláště užitečná jsou aproximační schémata tohoto druhu. v předpovídání časových řad , řízení nelineárních systémů , které vykazují poměrně jednoduché chaotické chování, a 3D modelování v počítačové grafice .

Neuronové sítě založené na RBF

Lineární kombinace:

y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\ mathbf {x} _{i}\right\|\right)

lze také interpretovat jako nejjednodušší umělou neuronovou síť s jednou vrstvou, nazývanou síť radiálních bázových funkcí , ve které radiální bázová funkce hraje roli aktivační funkce. Lze ukázat, že libovolnou spojitou funkci na kompaktním intervalu lze v zásadě interpolovat s libovolnou přesností pro dostatečně velké . $N$

Aproximace je diferencovatelná s ohledem na . Koeficienty lze vypočítat pomocí libovolné standardní iterační metody pro neuronové sítě. $y\left(\mathbf {x} \right)$ $w_{{i}}$

Radiální bazické funkce tedy poskytují flexibilní interpolační nástroj za předpokladu, že množina středů víceméně rovnoměrně pokrývá doménu požadované funkce (v ideálním případě by středy měly být stejně vzdálené od svých nejbližších sousedů). Zpravidla však v mezilehlých bodech dosahuje aproximace vysoké přesnosti pouze tehdy, je-li množina radiálních bázových funkcí doplněna o polynom ortogonální ke každému z RBF.

Poznámky

↑ Radiální základní funkční sítě Archivováno 23. dubna 2014.
↑ Broomhead, Lowe, 1988 , s. 321–355
↑ Michael J. D. Powell; Michael JD Powell. Restartujte procedury pro metodu konjugovaného gradientu // Matematické programování : deník. - Springer, 1977. - Sv. 12 . - str. 241-254 . - doi : 10.1007/bf01593790 .
↑ Sahin, Ferat (1997). Radiální základní funkční přístup k problému klasifikace barevného obrazu v průmyslové aplikaci v reálném čase (PDF) (M.Sc.). Virginia Tech . p. 26. Archivováno z originálu (PDF) dne 26. 10. 2015 . Staženo 2018-06-02 . Radiální bázové funkce byly poprvé představeny Powellem k vyřešení skutečného problému vícerozměrné interpolace. Použitý zastaralý parametr |deadlink=( nápověda )
↑ Broomhead, Lowe, 1988 , s. 347: "Rádi bychom poděkovali profesoru MJD Powellovi na katedře aplikované matematiky a teoretické fyziky Cambridgeské univerzity za poskytnutí počátečního podnětu pro tuto práci."
↑ VanderPlas, Jake Úvod do podpory vektorových strojů (odkaz není k dispozici) . [O'Reilly] (6. května 2015). Získáno 14. 5. 2015. Archivováno z originálu 5. 9. 2015. (neurčitý)

Literatura

Broomhead, David H.; Lowe, Davide. Multivariable Functional Interpolation and Adaptive Networks (anglicky) // Complex Systems : journal. - 1988. - Sv. 2 . - str. 321-355 . Archivováno z originálu 14. července 2014.
Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations , Cambridge University Press , ISBN 978-0-521-63338-3 .
Hardy, RL Multikvadrické rovnice topografie a jiných nepravidelných povrchů // Journal of Geophysical Research : deník. - 1971. - Sv. 76 , č. 8 . - S. 1905-1915 . - doi : 10.1029/jb076i008p01905 . — .
Hardy, RL Teorie a aplikace multikvadricko-biharmonické metody, 20 let Discovery, 1968 1988 // Comp . matematika Aplikace: deník. - 1990. - Sv. 19 , č. 8/9 . - S. 163-208 . - doi : 10.1016/0898-1221(90)90272-l .
Press, W.H.; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), oddíl 3.7.1. Radial Basis Function Interpolation , Numerical Recipes: The Art of Scientific Computing (3. vydání), New York: Cambridge University Press, ISBN 978-0-521-88068-8
Sirayanone, S., 1988, Srovnávací studie krigingu, multikvadricko-biharmonických a dalších metod pro řešení problému minerálních zdrojů, Ph.D. Disertační práce, MPEI. Geosciences, Iowa State University, Ames, Iowa.
Sirayanone, S. The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and other Applications // Journal of Applied Sciences and Computations: journal. - 1995. - Sv. 1 . - str. 437-475 .

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG