Bayesova věta

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 6. února 2022; kontroly vyžadují 3 úpravy .

Bayesův teorém (nebo Bayesův vzorec ) je jedním z hlavních teorémů elementární teorie pravděpodobnosti , který umožňuje určit pravděpodobnost události za předpokladu, že nastala jiná událost, která je na ní statisticky závislá . Jinými slovy, podle Bayesova vzorce je možné přesněji přepočítat pravděpodobnost s přihlédnutím k dříve známým informacím i datům z nových pozorování. Bayesův vzorec lze odvodit ze základních axiomů teorie pravděpodobnosti, zejména z podmíněné pravděpodobnosti . Rysem Bayesova teorému je, že jeho praktická aplikace vyžaduje velké množství výpočtů, výpočtů, takže Bayesovské odhady se začaly aktivně používat až po revoluci v počítačových a síťových technologiích.

Když Bayesova věta vznikla, pravděpodobnosti použité ve větě podléhaly řadě pravděpodobnostních interpretací. Jedna z těchto interpretací říkala, že odvození vzorce přímo souvisí s aplikací speciálního přístupu ke statistické analýze. Pokud použijeme Bayesovu interpretaci pravděpodobnosti , pak věta ukazuje, jak se osobní úroveň spolehlivosti může dramaticky změnit v důsledku počtu událostí, které nastaly. Toto je Bayesův závěr, který se stal základem Bayesovské statistiky. Věta se však nepoužívá pouze v Bayesovské analýze, ale aktivně se používá i pro velké množství dalších výpočtů.

Psychologické experimenty [1] ukázaly, že lidé často nesprávně odhadují skutečnou (matematicky správnou) pravděpodobnost události na základě nějaké získané zkušenosti ( a posteriori pravděpodobnost ), protože ignorují samotnou pravděpodobnost předpokladu ( apriorní pravděpodobnost ). Správný výsledek podle Bayesova vzorce se tedy může velmi lišit od intuitivně očekávaného.

Bayesův teorém je pojmenován po svém autorovi Thomasi Bayesovi (1702–1761), anglickém matematikovi a duchovním, který jako první navrhl použití teorému k opravě přesvědčení na základě aktualizovaných dat. Jeho práce „ Esej k řešení problému v doktríně šancí “ byla poprvé publikována v roce 1763 [2] , 2 roky po smrti autora. Než byla Bayesova posmrtná práce přijata a přečtena v Královské společnosti, byla rozsáhle upravena a aktualizována Richardem Pricem . Tyto myšlenky však nebyly zveřejněny, dokud je znovu neobjevil a rozvinul Pierre-Simon Laplace , který poprvé publikoval moderní formulaci teorému ve své knize The Analytic Theory of Probability z roku 1812.

Sir Harold Jeffreys napsal, že Bayesův teorém je „pro teorii pravděpodobnosti tím, čím je Pythagorova věta pro geometrii “ [3] .

Formulace

Bayesova formule :

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))

kde

P(A)

— apriorní pravděpodobnost hypotézy A (význam této terminologie viz níže);

P(A\mid B)

je pravděpodobnost hypotézy A při výskytu události B (a posteriori pravděpodobnost);

P(B\mid A)

je pravděpodobnost výskytu jevu B , pokud je hypotéza A pravdivá ;

P(B)

je celková pravděpodobnost výskytu události B .

Důkaz

Bayesův vzorec vyplývá z definice podmíněné pravděpodobnosti . Pravděpodobnost společné události je vyjádřena dvěma způsoby z hlediska podmíněných pravděpodobností $AB$

P(AB)=P(A\mid B)P(B)=P(B\mid A)P(A)

tudíž $P(A\mid B)={\frac {P(AB)}{P(B)))={\frac {P(B\mid A)\,P(A)}{P(B )}}$

Výpočet P(B)

V problémech a statistických aplikacích se obvykle počítá podle vzorce pro celkovou pravděpodobnost události v závislosti na několika nesourodých hypotézách s celkovou pravděpodobností 1. $P(B)$

P(B)=\sum _{i=1}^{N}P(B\mid A_{i})P(A_{i})

kde pravděpodobnosti pod součtovým znaménkem jsou známé nebo mohou být experimentálně odhadnuty.

V tomto případě je Bayesův vzorec napsán takto:

P(A_{j}\mid B)={\frac {P(B\mid A_{j})P(A_{j})}{\sum _{i=1}^{N}P (B\mid A_{i})P(A_{i})}}

"Fyzický význam" a terminologie

Bayesův vzorec umožňuje „přeskupit příčinu a následek“: na základě známé skutečnosti události vypočítat pravděpodobnost, že byla způsobena danou příčinou. Zároveň je nutné pochopit, že pro aplikaci věty není kauzální vztah mezi a povinný. $A$ $B$

Události odrážející působení „příčin“ se v tomto případě nazývají hypotézy , protože jsou údajnými událostmi, které způsobily dané. Nepodmíněná pravděpodobnost platnosti hypotézy se nazývá a priori (jak pravděpodobně je příčina obecně ) a podmíněná pravděpodobnost, s přihlédnutím ke skutečnosti události, se nazývá a posteriori (jak pravděpodobně se ukázalo, že důvod je , s přihlédnutím k údajům o akci ).

Příklady

Příklad 1

Nechte událost - auto nestartuje a hypotézu - v nádrži není palivo. Je zřejmé, že pravděpodobnost , že auto nenastartuje, pokud v nádrži není palivo, se rovná jedné. V důsledku toho se zadní pravděpodobnost, že v nádrži není palivo, pokud vůz nenastartuje, tedy rovná , tedy poměru předchozí pravděpodobnosti, že v nádrži není žádné palivo, k pravděpodobnosti, že auto nestartuje. Pokud je například předchozí pravděpodobnost, že v nádrži není žádné palivo, 0,01 a pravděpodobnost, že auto nenastartuje, je 0,02 a náhodně vybrané auto nenastartovalo, pak pravděpodobnost, že v nádrži není žádné palivo je 0,5. $B$ $A$ $P(B\mid A)$ $P(A\mid B)$ ${\frac {P(A)}{P(B)))$

Příklad 2

Nechť pravděpodobnost sňatku pro prvního dělníka je , pro druhého dělníka - a pro třetího - . První vyrobil díly, druhý vyrobil díly a třetí vyrobil díly. Předák vezme náhodný díl a ukáže se, že je vadný. Otázkou je, jaká je pravděpodobnost, že tento díl vyrobil třetí dělník? $p_{1}=0{,}9$ $p_{2}=0{,}5$ $p_{3}=0{,}2$ $n_{1}=800$ $n_{2}=600$ $n_{3}=900$

Událost je vadná součást, událost je součást vyrobená pracovníkem . Potom , kde , a . $B$ $A_{i}$ $i$ $P(A_{i})=n_{i}/N$ $N=n_{1}+n_{2}+n_{3}$ $P(B\mid A_{i})=p_{i}$

Podle vzorce celkové pravděpodobnosti

P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i}).

Podle Bayesova vzorce dostaneme:

P(A_{3}\mid B)={\frac {P(B\mid A_{3})P(A_{3})}{P(B)))={\frac {P( B\mid A_{3})P(A_{3})}{P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2 })+P(B\mid A_{3})P(A_{3})}}=

={\frac {p_{3}n_{3}/N}{p_{1}n_{1}/N+p_{2}n_{2}/N+p_{3}n_{3}/N} }={\frac {0{,}2\cdot 900/2300}{0{,}9\cdot 800/2300+0{,}5\cdot 600/2300+0{,}2\cdot 900/2300 }}=0{,}15.

Příklad 3

Entomolog naznačuje, že brouk může být vzácným poddruhem brouka , protože má na těle vzor. U vzácných poddruhů je 98 % brouků vzorovaných, neboli P(vzor | vzácný) = 0,98. Mezi běžnými brouky je pouze 5 % vzorovaných: P(vzor | pravidelný) = 0,05. V celé populaci je pouze 0,1 % vzácných druhů brouků: P(vzácné) = 0,001. Jaká je pravděpodobnost, že vzorovaný brouk je vzácný poddruh, tedy co je P(vzácný | vzor) ?

Z rozšířeného Bayesova teorému dostáváme (jakýkoli brouk může být vzácný nebo běžný): ${\begin{aligned}P({\text{rare}}\mid {\text{pattern))))&={\frac {P({\text{pattern}}\mid {\text{vzácné }})\krát P({\text{vzácné}})}{P({\text{vzor}}\mid {\text{vzácné}})\krát P({\text{vzácné}})\, +\,P({\text{pattern}}\mid {\text{plain)))\krát P({\text{plain)))))\\[8pt]&={\frac {0{, }98\krát 0{,}001}{0{,}98\krát 0{,}001+0{,}05\krát 0{,}999}}\\[8pt]&\přibližně 0{,} 019.\end{aligned}}$

Příklad 4 je paradoxem Bayesovy věty

Nechť existuje onemocnění s frekvencí distribuce mezi populaci 0,001 a diagnostická vyšetřovací metoda, která s pravděpodobností 0,9 identifikuje pacienta, ale zároveň má pravděpodobnost 0,01 falešně pozitivního výsledku - chybného. zjištění onemocnění u zdravého člověka ( více… ). Najděte pravděpodobnost, že je člověk zdravý, pokud byl při vyšetření uznán nemocným.

Událost, u které vyšetření ukázalo, že je člověk nemocný, označme uvozovkami jako „nemocný“, nemocný – případ, že je člověk skutečně nemocný, zdravý – případ, že je skutečně zdravý. Poté se dané podmínky přepíší takto:

${\begin{aligned}P({\text{"sick}}\mid {\text{sick)))&=0{,}9\end{aligned}}$

${\begin{aligned}P({\text{“ill”}}\mid {\text{healthy)))&=0{,}01\end{aligned}}$

${\begin{aligned}P({\text{sick)))&=0{,}001\end{aligned}}$ , zatímco , znamená: ${\begin{aligned}P({\text{zdravý)))&=1-P({\text{sick))))\end{aligned))$

${\begin{aligned}P({\text{healthy)))&=0{,}999\end{aligned))$

Pravděpodobnost, že je člověk zdravý, pokud byl uznán nemocným, se rovná podmíněné pravděpodobnosti:

${\begin{aligned}P({\text{healthy}}\mid {\text{“nemocný”)))\end{aligned}}$

Abychom to našli, nejprve vypočítáme celkovou pravděpodobnost, že budeme rozpoznáni jako pacient:

${\begin{aligned}P({\text{"ill")))&=P({\text{"ill"}}\mid {\text{healthy)))\cdot P({\ text{zdravý)))+P({\text{"nemocný"}}\mid {\text{nemocný)))\cdot P({\text{nemocný)))\\&=0{,}01\ krát 0{,}999+0{,}9\krát 0{,}001=0{,}01089\end{aligned}}$

Pravděpodobnost, že je člověk zdravý, pokud je výsledek „nemocný“:

${\begin{aligned}P({\text{healthy}}\mid {\text{"ill")))&={\frac {P({\text{"ill"}}\mid { \text{zdravý)))\cdot P({\text{zdravý)))}{P({\text{"nemocný")))))\\&={\frac {0{,}01\times 0{,}999}{0{,}01089}}\cca 0{,}917\end{aligned}}$

91,7 % lidí, jejichž vyšetření ukázalo výsledek „nemocní“, jsou tedy ve skutečnosti zdraví lidé. Důvodem je, že podle stavu problému je pravděpodobnost falešně pozitivního výsledku, byť malá, řádově větší než podíl pacientů ve zkoumané skupině osob.

Pokud lze chybné výsledky průzkumu považovat za náhodné, pak druhé vyšetření stejné osoby poskytne nezávislý výsledek od prvního. V tomto případě, aby se snížil podíl falešně pozitivních výsledků, má smysl znovu vyšetřit lidi, kteří dostali výsledek „nemocní“. Pravděpodobnost, že je člověk po opakovaném výsledku „nemocný“ zdravý, lze také vypočítat pomocí Bayesova vzorce:

${\begin{aligned}P{\bigl (}({\text{healthy}}\mid {\text{"ill"}}{\bigr )}\mid {\text{"ill"}} )&={\frac {P({\text{“nemoc”)\mid {\text{zdravý)))\cdot {\bigl (}P({\text{“nemoc”}}\mid {\ text {zdravý)))\cdot P({\text{zdravý))){\bigr )}}{P({\text{"nemocný"}}\mid {\text{zdravý)))\cdot {\ bigl (}P({\text{"nemocný")\mid {\text{zdravý)))\cdot P({\text{zdravý)))){\bigr )}+P({\text{"nemocný »} }\mid {\text{nemocný)))\cdot {\bigl (}P({\text{"nemocný}}\mid {\text{nemocný)))\cdot P({\text{nemocný }}) {\bigr )}}}\\&={\frac {0{,}01\times 0{,}01\times 0{,}999}{0{,}01\times 0{,} 01\times 0{,}999+0{,}9\krát 0{,}9\krát 0{,}001}}\přibližně 0{,}1098\end{zarovnáno}}$

Možnosti interpretace pravděpodobností v Bayesově větě

Matematicky Bayesův teorém ukazuje vztah mezi pravděpodobností události A a pravděpodobností události B, P ( A ) a P ( B ), podmíněnou pravděpodobností výskytu události A s existujícím B a výskytem události B s stávající A, P ( A | B ) a P ( B | A).

V obecné podobě vypadá Bayesův vzorec takto:

${\displaystyle P(A\mid B)={P(B\mid A)\,P(A)}/{P(B)))$

Význam výrazu závisí na tom, jak jsou interpretovány pravděpodobnosti v daném vzorci.

Bayesova interpretace

V Bayesovské interpretaci pravděpodobnost měří úroveň důvěry. Bayesův teorém spojuje důvěryhodnost předpokladu před a po zohlednění zjevných důkazů. Někdo například navrhl, že když se hodí mince, přistane 2krát častěji ocasem nahoru a hlavou dolů. Zpočátku míra důvěry, že k takové události dojde, mince padne přesně takto - 50%. Úroveň spolehlivosti se může zvýšit na 70 %, pokud je předpoklad podpořen důkazy. [ vyčistit ]

Pro předpoklad (hypotézu) A a důkaz B

P(A) - apriorní pravděpodobnost hypotézy A, počáteční úroveň spolehlivosti v předpokladu A;
P(A | B) je zadní pravděpodobnost hypotézy A, když nastane událost B;
poměr P ( B | A ) / P ( B ) ukazuje, jak událost B pomáhá změnit úroveň spolehlivosti předpokladu A.

Interpretace frekvence

Při frekvenční interpretaci Bayesův teorém vypočítává proporce určitých výsledků události. Předpokládejme, že experiment byl spuštěn mnohokrát a v některých případech vedl k výsledkům A a/nebo B. Potom:

P ( A ) - podíl případů, kdy experiment vedl k výsledku A.
P ( B ) - podíl případů, kdy experiment vedl k výsledku B.
P ( B | A ) - podíl případů s výsledkem B mezi případy s výsledkem A.
P ( A | B ) je poměr případů s výsledkem A mezi případy s výsledkem B .

Roli Bayesova teorému lze nejlépe pochopit ze stromových diagramů uvedených vpravo. Diagramy demonstrují různé pořadí distribuce událostí přítomností nebo nepřítomností výsledků A a B. Bayesův teorém funguje jako spojovací článek mezi těmito distribucemi.

Formuláře

Události

Jednoduchý formulář

Pro události A a B , pokud P ( B ) ≠ 0,

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))\cdot

Mnoho doplňků Bayesovy věty uvádí, že jev B je znám, a je třeba pochopit, jak znalosti o jevu B ovlivňují jistotu, že nastane jev A. V tomto případě jmenovatel posledního výrazu - pravděpodobnost výskyt jevu B - je znám; chceme změnit A. Bayesův teorém ukazuje, že zadní pravděpodobnosti jsou úměrné čitateli:

P(A\mid B)\propto P(A)\cdot P(B\mid A)\

(proporcionalita A pro dané B ). Stručně řečeno, posterior je úměrný předchozímu (viz Lee, 2012, kapitola 1).

Pokud se události A 1 , A 2 , ... vzájemně vylučují a jsou vyčerpávající, to znamená, že je možný pouze jeden z jevů, dva jevy nemohou nastat současně, můžeme určit koeficient úměrnosti se zaměřením na skutečnost, že jejich pravděpodobnosti by měly přidat k jednomu. Například pro danou událost A se událost A sama a její opak ¬ A vzájemně vylučují a jsou vyčerpávající. Označením faktoru proporcionality jako C máme:

P(A\mid B)=c\cdot P(A)\cdot P(B\mid A)\

a .

P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A)

Spojením těchto dvou vzorců dostaneme, že:

c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\mid \neg A))).

Rozšířený formulář

Prostor událostí (jako je { A j }) je často definován pomocí P ( A j ) a P ( B | A j ). V tomto případě je užitečné určit P ( B ) použitím vzorce celkové pravděpodobnosti :

P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},

\implies P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\součet \limits _{j}P (B\mid A_{j})\,P(A_{j})}}\cdot

Zejména

P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A )P(\neg A)}}

Spojité náhodné proměnné

Uvažujme prostor elementárních dějů Ω tvořený dvěma veličinami X a Y . V zásadě platí Bayesova věta pro jevy A = { X = x } a B = { Y = y }. Výrazy se však stanou 0 v bodech, kde má proměnná konečnou hustotu pravděpodobnosti . Abychom mohli užitečně nadále používat Bayesovu větu, můžeme ji uvést v podmínkách vhodných hustot (viz Odvození vzorce ).

Jednoduchý formulář

Pokud je X spojité a Y diskrétní, pak

f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y))) .

Je-li X diskrétní a Y spojité,

P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y))) .

Pokud jsou X i Y spojité,

f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y) }}.

Rozšířený formulář

Prostor spojitých událostí je často definován jako čitatel podmínek A. Prostor spojitých událostí je často reprezentován jako čitatel. Do budoucna je užitečné zbavit se jmenovatele pomocí vzorce pro celkovou pravděpodobnost . Pro 'f Y ( y ) se toto stane integrálem:

f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d \xi.

Bayesovo pravidlo

Bayesovo pravidlo je upravená Bayesova věta:

O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)

kde

\Lambda (A_{1}:A_{2}|B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2)))))

Toto se nazývá Bayesovo pravidlo nebo poměr pravděpodobnosti. Rozdíl v pravděpodobnosti výskytu dvou událostí je jednoduše poměr pravděpodobností těchto dvou událostí. Takto,

O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})))

O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)))

Odvození vzorců

Pro události

Bayesův teorém lze odvodit z definice pravděpodobnosti :

P(A\mid B)={\frac {P(A\cap B)}{P(B))),{\text{ if }}P(B)\neq 0,

P(B\mid A)={\frac {P(A\cap B)}{P(A))),{\text{ if }}P(A)\neq 0,

\implies P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A),

\implies P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)))),{\text{ if }}P(B ) \neq 0.

Pro náhodné proměnné

Pro dvě spojité náhodné proměnné X a Y lze Bayesův teorém podobně odvodit z definice podmíněného rozdělení :

f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)))

f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)))

\implies f_{X}(x\mid Y=y)={\frac {f_{Y}(y|X=x)\,f_{X}(x)}{f_{Y}(y )}}.

Viz také

Poznámky

↑ Kahneman, et al, 2005 , pp. 153-160.
↑ Bayes, Thomas a Price, Richard (1763). „Esej o řešení problému v doktríně náhody. Zesnulým Rev. Pan. Bayes, sdělil Mr. Price v dopise Johnu Cantonovi, MA a FRS. Philosophical Transactions of the Royal Society of London 53: 370-418. (nedostupný odkaz) . Získáno 21. dubna 2010. Archivováno z originálu 10. dubna 2011. (neurčitý)
↑ Jeffreys, Harold (1973), Scientific Inference (3. vyd.), Cambridge University Press, s. 31, ISBN 978-0-521-18078-8

Literatura

Gmurman V. E. Teorie pravděpodobnosti a matematická statistika, - M . : Vysokoškolské vzdělání. 2005
Úsudek pod nejistotou: heuristika a předsudky / Daniel Kahneman, et al. — 21. - Cambridge University Press, 2005. - 555 s. - ISBN 978-0-521-28414-1 .
Eliezer Yudkowsky . Vizuální vysvětlení Bayesovy věty

Pro další studium

McGrayne, Sharon Bertsch. Teorie, která nezemře: Jak Bayesovo pravidlo rozluštilo kód Enigmy, dohnalo ruské ponorky a objevilo se triumfální dílo ze dvou století sporů . - Yale University Press , 2011. - ISBN 978-0-300-18822-6 .
Andrew Gelman, John B. Carlin, Hal S. Stern a Donald B. Rubin (2003), Bayesian Data Analysis, Druhé vydání, CRC Press.
Charles M. Grinstead a J. Laurie Snell (1997), "Úvod do pravděpodobnosti (2. vydání)", American Mathematical Society (k dispozici zdarma pdf [1] .
Pierre-Simon Laplace. (1774/1986), "Memoár o pravděpodobnosti příčin událostí", Statistical Science 1 (3): 364-378.
Peter M. Lee (2012), Bayesian Statistics: An Introduction, Wiley.
Rosenthal, Jeffrey S. (2005): "Zasažen bleskem: Podivuhodný svět pravděpodobností." Harper Collings.
Stephen M. Stigler (1986), "Laplace's 1774 Memoir on Inverse Probability", Statistical Science 1(3):359-363.
Kámen, JV (2013). Kapitola 1 knihy Bayes' Rule: A Tutorial Introduction , University of Sheffield, Anglie.

Odkazy

Teorie, která nezemře od Sharon Bertsch McGrayne Recenze knihy New York Times od Johna Allena Paulose, 5. srpna 2011
Weisstein, Eric W. Bayes' Theorem (anglicky) na webových stránkách Wolfram MathWorld .
Bayesův teorém (anglicky) na webu PlanetMath .
Bayesova věta a hloupost předpovědi
Výukový program o pravděpodobnosti a Bayesově teorému navržený pro studenty psychologie na Oxfordské univerzitě
Intuitivní vysvětlení Bayesovy věty od Eliezera S. Yudkowského

Slovníky a encyklopedie	velká čínština Skvělý norský Velký Rus Litevský univerzál Britannica (online)
V bibliografických katalozích	GND : 4144221-0