Bayesovské statistiky

Bayesovská statistika je teorie v oblasti statistiky založená na Bayesovské interpretaci pravděpodobnosti , kde pravděpodobnost odráží míru spolehlivosti události , která se může změnit, když jsou shromážděny nové informace, na rozdíl od pevné hodnoty založené na frekvenčním přístupu. [1] . Míra důvěry může být založena na apriorních znalostech o události, jako jsou výsledky předchozích experimentů nebo osobní důvěra v událost. To se liší od řady jiných interpretací pravděpodobnosti , jako je frekvenční interpretace, která pohlíží na pravděpodobnost jako na limit relativní četnosti události, ke které dojde po velkém počtu pokusů [2] .

Úvod

Bayesovské statistické metody využívají Bayesův teorém k výpočtu a aktualizaci pravděpodobností při příjmu nových dat. Bayesův teorém popisuje podmíněnou pravděpodobnost události na základě dat a apriorních informací nebo důvěry v událost nebo podmínky spojené s událostí. Například, v Bayesian závěru , Bayesův teorém může být používán odhadnout parametr rozdělení pravděpodobnosti nebo statistický model . Protože Bayesovská statistika považuje pravděpodobnost za míru spolehlivosti, Bayesův teorém může přímo přiřadit rozdělení pravděpodobnosti, které kvantifikuje parametr nebo soubor parametrů [2] .

Bayesovská statistika je pojmenována po Thomasi Bayesovi , který formuloval speciální případ Bayesovy věty ve své práci publikované v roce 1763. V několika pracích publikovaných od konce 17. století do počátku 19. století vyvinul Pierre-Simon Laplace Bayesovský výklad pravděpodobnosti . Laplace použil to, co je nyní považováno za Bayesovské metody, k vyřešení řady statistických problémů. Mnoho Bayesovských metod bylo vyvinuto pozdějšími autory, ale tento termín nebyl použit k popisu takových metod až do 50. let 20. století. Po většinu 20. století byly Bayesovské metody pro většinu statistiků z filozofických a praktických důvodů nežádoucí. Mnoho bayesovských metod je výpočetně náročných a většina metod, které se používají více než století, byla založena na interpretaci frekvence. S nástupem výkonných počítačů a nových algoritmů , jako je například metoda Monte Carlo pro Markovovy řetězce , se však Bayesovské metody začínají používat s rostoucí intenzitou s příchodem 21. století [2] [3] .

Bayesova věta

Bayesova věta je základní věta v Bayesovské statistice, protože ji používají Bayesovské metody k aktualizaci pravděpodobností, což jsou stupně spolehlivosti, když jsou přijata nová data. Jsou-li dány dvě události a , podmíněná pravděpodobnost , za předpokladu, že je pravdivá, je vyjádřena vzorcem [4] : $A$ $B$ $A$ $B$

P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)))

kde . Ačkoli Bayesův teorém je základním výsledkem teorie pravděpodobnosti , má v Bayesovské statistice specifický výklad. Ve výše uvedené rovnici obvykle představuje prohlášení (jako je prohlášení, že mince padne v padesáti procentech případů o hlavu) a představuje zdůvodnění nebo nová data, která je třeba vzít v úvahu (jako je výsledek řady házení mincí). je předchozí pravděpodobnost události , která vyjadřuje důvěru v událost před zohledněním odůvodnění. Předchozí pravděpodobnost může také kvantifikovat znalosti nebo informace o události . je pravděpodobnostní funkce , kterou lze interpretovat jako pravděpodobnost důkazu za předpokladu , že k události došlo . Pravděpodobnost kvantifikuje rozsah, v jakém důkazy podporují tvrzení . je zadní pravděpodobnost , pravděpodobnost tvrzení po zvážení důkazů . Bayesův teorém v podstatě aktualizuje apriorní jistotu po zvážení nových důkazů [2] . $P(B)\neq 0$ $A$ $B$ $P(A)$ $A$ $A$ $A$ $P(B\mid A)$ $B$ $A$ $B$ $A$ $P(A\mid B)$ $A$ $B$ $P(A)$ $B$

Pravděpodobnost důkazu lze vypočítat pomocí vzorce celkové pravděpodobnosti . Jestliže je rozdělení prostoru elementárních událostí , což je množina všech výsledků experimentu, pak [2] [4] $P(B)$ $\{A_{1},A_{2},\dots ,A_{n}}\}$

P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\tečky +P(B \mid A_{n})P(A_{n})=\součet _{i}P(B\mid A_{i})P(A_{i})

Pokud existuje nekonečný počet výsledků, je nutné integrovat přes všechny výsledky a vypočítat pomocí vzorce celkové pravděpodobnosti. Často je obtížné to spočítat, protože je třeba zahrnout sumaci nebo integraci, což je časově náročné, takže se často bere v úvahu pouze součin předchozí a pravděpodobnosti. Zadní pravděpodobnost je úměrná tomuto součinu [2] : $P(B)$ $P(B)$

P(A\mid B)\propto P(B\mid A)P(A)

Maximální zadní odhad , který je módem zadního odhadu a je často počítán v bayesovské statistice pomocí matematických optimalizačních metod , zůstává stejný. Posteriorní pravděpodobnost lze aproximovat i bez přesného výpočtu hodnoty metodami jako Monte Carlo pro Markovovy řetězce nebo variačními bayesovskými metodami [2] . $P(B)$

Bayesovské metody

Obecný soubor statistických technik lze rozdělit do řady větví, z nichž mnohé mají speciální bayesovské verze.

Bayesovský závěr

Bayesovská inference odkazuje na statistickou inferenci , ve které je nejistota v inferenci kvantifikována pomocí pravděpodobnosti. V klasické frekvenční inferenci se předpokládá, že parametry modelu a hypotézy jsou pevné a pravděpodobnosti nejsou přiřazeny parametrům nebo hypotézám ve frekvenční inferenci. Například ve frekvenčním odvozování nedává smysl explicitně uvádět pravděpodobnost události, která se může stát pouze jednou, jako je výsledek dalšího hodu symetrickou mincí. Dalo by však smysl říci, že s rostoucím počtem hodů mincí se podíl hlav přicházejících do hry přibližuje k polovině [5] .

Statistické modely definují sadu statistických předpokladů a procesů, které představují způsob generování vzorových dat. Statistické modely mají sadu parametrů, které lze měnit. Mince může být například reprezentována jako pokusy s Bernoulliho rozdělením , které simuluje dva možné výsledky. Bernoulliho rozdělení má jeden parametr rovný pravděpodobnosti jednoho výsledku, která se ve většině případů rovná pravděpodobnosti získání hlav [6] . Sestavení dobrého modelu pro data je ústředním bodem bayesovské inference. Ve většině případů modely pouze přibližují reálné procesy a nemusí brát v úvahu některé faktory, které ovlivňují data [2] . V Bayesově odvození lze pravděpodobnosti přiřadit parametrům modelu. Parametry mohou být reprezentovány jako náhodné proměnné . Bayesovský závěr používá Bayesovu větu k aktualizaci pravděpodobností po obdržení více dat [2] [7] .

Statistické modelování

Formulace statistického modelování pomocí Bayesovské statistiky má charakteristický rys v tom, že vyžaduje předchozí pravděpodobnosti pro jakékoli neznámé parametry. Kromě toho parametry prioritních pravděpodobností mohou mít samy o sobě předchozí pravděpodobnosti, což vede k bayesovskému hierarchickému modelování [8] , nebo mohou být vzájemně závislé, což vede k bayesovským sítím .

Design experimentů

Bayesovský návrh experimentů zahrnuje koncept nazvaný „vliv předchozí důvěry“. Tento přístup využívá techniky statistické analýzy k začlenění výsledků předchozích experimentů do návrhu dalšího experimentu. Toho je dosaženo aktualizací "důvěry" pomocí dřívějších a pozdějších distribucí . To vám umožňuje využívat zdroje všeho druhu při plánování experimentů. Příkladem je problém mnohorukých banditů .

Statistické grafy

Statistické grafy zahrnují metody pro průzkum dat, validaci adekvátnosti modelu atd. Použití některých moderních počítačových technik pro Bayesovskou inferenci, zejména různých druhů technik Monte Carlo pro Markovovy řetězce , vedlo k potřebě ověřit, často graficky, přiměřenost takových výpočtů, odrážející požadovanou zadní pravděpodobnost.

Poznámky

↑ Co jsou Bayesovské statistiky? . deepai.org . Staženo 11. ledna 2019. Archivováno z originálu 12. února 2019. (neurčitý)
↑ 1 2 3 4 5 6 7 8 9 Gelman, Carlin, Stern a kol., 2013 .
↑ Fienberg, 2006 , str. 1–40.
↑ 1 2 Grinstead, Snell, 2006 .
↑ Wakefield, 2013 .
↑ To se týká strany mince, druhá strana jsou ocasy
↑ Congdon, 2014 .
↑ Hajiramezanali, Dadaneh a kol., 2018 .

Literatura

Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Aki Vehtari, Donald B. Rubin. Bayesovská analýza dat, třetí vydání. - Chapman a Hall/CRC, 2013. - ISBN 978-1-4398-4095-5 .
Stephen E. Fienberg. Kdy se Bayesovská inference stala „bayesovskou“? // Bayesovská analýza. - 2006. - svazek 1 , vydání. 1 .
Charles M. Grinstead, J. Laurie Snell. Úvod do pravděpodobnosti. — 2. — Providence, RI: American Mathematical Society, 2006. — ISBN 978-0-8218-9414-9 .
Peter Congdon. Aplikované bayesovské modelování. — 2. - Wiley, 2014. - ISBN 978-1119951513 .
Hajiramezanali E., Dadaneh SZ, Karbalayghareh A., Zhou Z., Qian X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data // 32nd Conference on Neural Information Processing Systems (NIPS 2018) . — Montreal, Kanada, 2018.
Jon Wakefield. Bayesovské a časté regresní metody . — New York, NY: Springer, 2013. — ISBN 978-1-4419-0924-4 .

Čtení pro další čtení

Think Bayes, Allen B. Downey Archivováno 29. února 2016 na Wayback Machine
Bayesian Statistics: Why and How Archived 10. srpna 2015 na Wayback Machine
Bayesovská statistika // Přírodní metody . - 2015. - Květen ( díl 12 , číslo 5 ). — S. 377–8 . - doi : 10.1038/nmeth.3368 .

Odkazy

Eliezer S. Yudkowsky. Intuitivní vysvětlení Bayesovy věty . Získáno 15. června 2015. Archivováno z originálu 21. června 2015. (neurčitý)
Theo Kypraios. Jemný návod v Bayesovské statistice . Získáno 3. listopadu 2013. Archivováno z originálu 17. května 2018. (neurčitý)
Jordi Valverdu. Bayesové versus frekventanti Filosofická debata o statistickém uvažování . Staženo 11. ledna 2019. Archivováno z originálu 12. ledna 2019. (neurčitý)
Bayesovské statistiky Archivováno 12. ledna 2019 na Wayback Machine David Spiegelhalter, Kenneth Rice Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
Bayesian modeling book Archivováno 19. srpna 2013 na Wayback Machine a příklady dostupné ke stažení.
Rens Van DeSchoot. Jemný úvod do Bayesovské analýzy . Staženo 11. 1. 2019. Archivováno z originálu 14. 7. 2018. (neurčitý)