Mezní pravděpodobnost

Funkce marginální pravděpodobnosti nebo integrovaná pravděpodobnost je pravděpodobnostní funkce , ve které jsou vyloučeny některé proměnné parametry . V souvislosti s Bayesian statistikami , funkce může být volána důkaz nebo důkaz modelu .

Koncept

Je dána množina nezávislých identicky rozdělených datových bodů , kde parametr je podle nějakého rozdělení pravděpodobnosti s parametrem , kde samotný parametr je náhodná veličina daná rozdělením, tedy . Funkce mezní pravděpodobnosti se obecně ptá, jaká je pravděpodobnost události , kde je vyloučena (integrací přes tento parametr): $\mathbb {X} =(x_{1},\ldots ,x_{n}),$ $x_{i}\sim p(x_{i}|\theta )$ $\theta$ $\theta$ $\theta \sim p(\theta |\alpha )$ $p(\mathbb {X} |\alpha )$ $\theta$

p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \název operátora {d} \ !\theta

Výše uvedená definice je formulována v kontextu Bayesovské statistiky . V klasických ( četnost ) statistikách se pojem mezní pravděpodobnosti místo toho objevuje v kontextu společného parametru , kde je skutečný parametr a je parametr obtěžování . Pokud existuje rozdělení pravděpodobnosti pro , je často žádoucí uvažovat pravděpodobnostní funkci pouze z hlediska eliminace : $\theta =(\psi ,\lambda )$ $\psi$ $\lambda$ $\lambda$ $\psi$ $\lambda$

{\mathcal {L}} (\psi ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \název operátora {d} \!\lambda

Mezní pravděpodobnosti je bohužel obecně obtížné vypočítat. Přesná řešení jsou známá pro malou třídu distribucí, zejména když vyloučeným parametrem je konjugovaná předchozí distribuce distribuce dat. V jiných případech je potřeba nějaká metoda numerické integrace , buď obecná integrační metoda, jako je Gaussova metoda nebo metoda Monte Carlo , nebo metoda vyvinutá speciálně pro statistické problémy, jako je Laplaceova aproximace , Gibbs / Metrolisův vzorkování nebo EM algoritmus. .

Je také možné použít výše uvedené konvence na jednu náhodnou proměnnou (datový bod) x spíše než na soubor pozorování. V kontextu Bayesovské teorie je toto ekvivalentní předchozímu předpokládanému rozdělení datového bodu.

Aplikace

Srovnání Bayesovských modelů

Při porovnávání Bayesovských modelů jsou vyloučené proměnné parametry pro určitý typ modelu a zbývající proměnné jsou charakteristikami modelu. V tomto případě je mezní pravděpodobnost pravděpodobnost dat daného typu modelu, aniž by se předpokládaly hodnoty jakýchkoli konkrétních parametrů. Funkce mezní věrohodnosti pro model M je

p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\jméno operátora {d} \!\theta

Právě v této souvislosti se běžně používá termín modelová validita . Tato hodnota je důležitá, protože poměr zadních šancí pro model M 1 a jiný model M 2 zahrnuje poměr funkcí marginální věrohodnosti, tzv. Bayesův koeficient :

{\frac {p(M_{1}|x)}{p(M_{2}|x)))={\frac {p(M_{1})}{p(M_{2}) }}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}

které lze schematicky vyjádřit jako

posterior odds = předchozí kurz × Bayesův koeficient

Viz také

Empirická Bayesova metoda
Soukromá distribuce
Lindleyho paradox

Poznámky

Literatura

Charles S. Bos. Srovnání metod výpočtu marginální věrohodnosti // COMPSTAT 2002: Proceedings in Computational Statistics / W. Härdle, B. Ronz. - 2002. - S. 111-117. (Kniha dostupná jako předtisk online: [1] Archivováno 3. srpna 2020 na Wayback Machine )
David JC MacKay. Informační teorie, vyvozování a algoritmy učení . - Cambridge University Press, 2003. - ISBN 0521642981 .