Regularizace (matematika)

Regularizace ve statistice , strojové učení , teorie inverzních problémů je metoda přidání některých dalších omezení k podmínce, aby se vyřešil špatně položený problém nebo aby se zabránilo nadměrnému vybavení . Tyto informace často přicházejí ve formě penalizace za složitost modelu. Mohou to být například omezení hladkosti výsledné funkce nebo omezení normy vektorového prostoru .

Z Bayesovského hlediska mnoho regularizačních metod odpovídá přidání některých předchozích rozdělení k parametrům modelu.

Některé typy regularizace:

-regularizace ( angl. lasová regrese ) nebo regularizace přes manhattanskou vzdálenost : $L_{1}=\součet _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \součet _{i}{|a_{i}|}$ .
$L_{2}$ - regularizace nebo Tikhonovova regularizace (v anglické literatuře - ridge regression nebo Tikhonov regularization ), pro integrální rovnice, vám umožňuje vyvážit shodu mezi daty a malou normou řešení: $L_{2}=\součet _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \součet _{i}{a_{i}}^{2}$ .

Overfitting se ve většině případů projevuje tím, že výsledné polynomy mají příliš velké koeficienty. V souladu s tím je nutné přidat penalizaci za příliš velké koeficienty k účelové funkci .

Neexistuje řešení pro vícekriteriální optimalizaci nebo optimalizaci, ve které je definičním oborem účelové funkce prostor, na kterém neexistuje lineární řád , nebo je obtížné jej zavést. Téměř vždy existují body v doméně funkce, která je optimalizována a které splňují omezení, ale hodnoty v bodech jsou nesrovnatelné. Chcete-li najít všechny body na Paretově křivce , použijte skalarizaci [1] . V optimalizaci je regularizace obecnou skalarizační technikou pro dvoukriteriální optimalizační problém [2] . Změnou parametru lambda - prvku, který musí být větší než nula v duálním kuželu, podle kterého je definováno pořadí - můžete získat různé body na Paretově křivce .

Poznámky

↑ Boyd a Vandenberghe 2004 , str. 178.
↑ Boyd a Vandenberghe 2004 , str. 306.

Literatura

Boyd S., Vandenberghe L. Konvexní optimalizace . - UK : Cambridge University Press, 2004. - 716 s. - (Berichte über verteilte messysteme). — ISBN 9780521833783 .

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-síť Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG