Relevantní vektorová metoda

Relevance Vector Machine ( RVM ) je technika strojového učení, která využívá Bayesovu inferenci k získání úsporných řešení pro regresi a pravděpodobnostní klasifikaci [1] . RTM má stejnou funkční formu jako podpůrný vektorový stroj , ale poskytuje pravděpodobnostní klasifikaci.

Popis

Metoda je ve skutečnosti ekvivalentní Gaussovu procesnímu modelu s kovarianční funkcí :

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j))}\varphi (\ mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

kde je funkce jádra (obvykle Gaussian), jsou apriorní odchylky vektoru váhy a jsou vstupní vektory trénovací množiny [2] . $\varphi$ ${\displaystyle \alpha _{j))$ $w\sim N(0,\alpha ^{-1}I)$ ${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N))$

Ve srovnání s podpůrnými vektorovými stroji se Bayesovská formulace RTM vyhýbá nutnosti volných parametrů (které obvykle vyžadují post-optimalizaci založenou na křížových validacích). RTM však používá metodu učení podobnou EM algoritmu , a proto existuje riziko, že se dostane do místního minima. To jej odlišuje od standardních algoritmů založených na sekvenční minimální optimalizaci používaných stroji s podporou vektorů a zaručujících nalezení globálního optima (na konvexním problému).

Metoda Relevant Vector Method je patentována v USA společností Microsoft [3] .

Viz také

jaderná metoda
Plattovo škálování : mění SVM na pravděpodobnostní model

Poznámky

↑ Spropitné, 2001 , str. 211-244.
↑ Candela, 2004 .
↑ Michael E. Tipping, "Relevance vector machine", US 6633857

Literatura

Michael E. Spropitné. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research . - 2001. - T. 1 .
Joaquin Quiñonero Candela. Řídké pravděpodobnostní lineární modely a RVM // Učení s nejistotou - Gaussovské procesy a relevance vektorové stroje . - Technická univerzita v Dánsku, 2004. - (Ph.D.).

Software

dlib C++ knihovna
Knihovna jaderných strojů
rvmbinary : Balíček R pro binární klasifikaci
scikit-rvm
fast-scikit-rvm , výukový program metody relevantních vektorů

Odkazy

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG