Graf pravděpodobnosti modelu

Pravděpodobnostní model grafu je pravděpodobnostní model, ve kterém jsou závislosti mezi náhodnými proměnnými reprezentovány jako graf . Vrcholy grafu odpovídají náhodným veličinám a hrany odpovídají přímým pravděpodobnostním vztahům mezi náhodnými veličinami. Grafické modely jsou široce používány v teorii pravděpodobnosti , statistice (zejména Bayesovské statistiky ) a také ve strojovém učení .

Typy grafových modelů

Bayesovská síť

Bayesovská síť je případem orientovaného acyklického grafického modelu grafu , kde orientované hrany kódují pravděpodobnostní závislostní vztahy mezi proměnnými.

Podle Bayesovské sítě se společné rozdělení proměnných zapisuje snadno: pokud události (náhodné proměnné) označíme jako

$X_{1},\ldots ,X_{n}$

pak společné rozdělení splňuje rovnici

$P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]$

kde je množina vertex-předků vertexu . Jinými slovy, společné rozdělení je reprezentováno jako produkt podmíněných atomových rozdělení, které jsou obvykle známé. Jakékoli dva vrcholy, které nejsou spojeny hranou, jsou podmíněně nezávislé , pokud je známa hodnota jejich předků. Obecně platí, že jakékoli dvě sady vrcholů jsou podmíněně nezávislé na základě hodnot třetí sady vrcholů, pokud graf splňuje podmínku d -oddělitelnosti . Místní a globální nezávislost jsou ekvivalentní v Bayesovské síti ${\displaystyle pa_{i))$ $X_{i}$

Důležitým speciálním případem Bayesovské sítě je skrytý Markovův model

Markov náhodná pole

Markova náhodná pole jsou dána neorientovaným grafem. Na rozdíl od bayesovských sítí mohou obsahovat cykly.

Pomocí Markovových náhodných polí je možné pohodlně reprezentovat obrázky pomocí mřížkové struktury, což umožňuje řešit např. problém filtrování šumu v obrázku.

Jiné typy grafových modelů

faktorový graf je neorientovaný bipartitní graf , ve kterém jsou faktory a náhodné veličiny spojeny hranami. Každý faktor představuje rozdělení pravděpodobnosti pro všechny proměnné, které spojuje. Grafy jsou například převedeny do podoby faktorového grafu, aby bylo možné použít algoritmus šíření důvěry .
řetězový graf je graf, který může obsahovat směrované i neorientované hrany, ale bez směrovaných cyklů (tedy pokud se začneme pohybovat v nějakém vrcholu a budeme se po grafu pohybovat pouze po směrovaných hranách, pak už se k tomu nebudeme moci vrátit vrchol, ze kterého jsme vycházeli). Orientované i neorientované grafy jsou speciálním případem řetězových grafů, které mohou sloužit jako zobecnění Bayesovských a Markovových sítí.
podmíněné náhodné pole — diskriminační model definovaný na neorientovaném grafu

Aplikace

Grafové modely se používají při extrakci informací , rozpoznávání řeči , počítačovém vidění , dekódování kódu kontroly parity s nízkou hustotou , objevování genů a diagnostice onemocnění.

Odkazy

Jensen, Finn. Úvod do bayesovských sítí (neopr.) . - Berlin: Springer, 1996. - ISBN 0-387-91502-8 .
Cowell, Robert G.; Dawid, A. Philip; Lauritzen, Steffen L.; Spiegelhalter, David J. Pravděpodobnostní sítě a expertní systémy . - Berlin: Springer, 1999. - ISBN 0-387-98767-3 . Pokročilejší a statisticky zaměřená kniha
Pearl, Judea . Pravděpodobnostní usuzování vinteligentních systémech . — 2. přepracovaná. - San Mateo, CA: Morgan Kaufmann , 1988. - ISBN 1558604790 . Přístup výpočetního uvažování, kde byly formálně zavedeny vztahy mezi grafy a pravděpodobnostmi.
Biskup, Christopher M. Kapitola 8. Grafické modely // Rozpoznávání vzorů a strojové učení (neopr.) . - Springer, 2006. - S. 359-422. — ISBN 0-387-31073-8 .
Stručný úvod do grafických modelů a bayesovských sítí archivován 12. listopadu 2020 na Wayback Machine
Výukový program Heckerman's Bayes Net (nedostupný odkaz)
Edoardo M. Airoldi. Začínáme s pravděpodobnostními grafickými modely // PLoS Computational Biology : časopis . - 2007. - Sv. 3 , ne. 12 . —P.e252 . _ - doi : 10.1371/journal.pcbi.0030252 .

Grafové pravděpodobnostní modely
Bayesovská síť Kauzální Bayesovská síť Markovská síť Skrytý Markovův model

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-síť Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG