Konjugujte předchozí distribuci

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 26. června 2016; kontroly vyžadují 2 úpravy .

Konjugovaná předchozí distribuce ( angl. conjugate prior ) a konjugovaná rodina distribucí jsou jedním ze základních pojmů v Bayesovské statistice .

Zvažte problém nalezení rozdělení parametru (považovaného za náhodnou veličinu ) podle dostupného pozorování . Podle Bayesova teorému se zadní rozdělení vypočítá z předchozího rozdělení s hustotou pravděpodobnosti a funkcí pravděpodobnosti pomocí vzorce: $\theta$ $X$ $p(\theta)$ $p(x|\theta)$

\displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int \limits _{{\text{range}}\;\theta }p( x|\theta )\,p(\theta )\,d\theta }}.

Pokud zadní rozdělení patří do stejné rodiny rozdělení pravděpodobnosti jako předchozí rozdělení (to znamená, že má stejnou formu, ale s jinými parametry), pak se tato rodina rozdělení nazývá konjugovaná s rodinou pravděpodobnostních funkcí . V tomto případě se distribuce nazývá konjugovaná předchozí distribuce do rodiny věrohodnostních funkcí . $p(\theta |x)$ $p(\theta)$ $p(x|\theta)$ $p(\theta)$ $p(x|\theta)$

Znalost konjugovaných rodin distribucí značně zjednodušuje výpočet aposteriorních pravděpodobností v Bayesovské statistice , protože umožňuje nahradit výpočet těžkopádných integrálů v Bayesově vzorci jednoduchými algebraickými manipulacemi s parametry distribucí.

Příklad

Pro náhodnou veličinu distribuovanou podle Bernoulliho zákona (hození mincí) s neznámým parametrem (pravděpodobnost úspěchu) je konjugované předchozí rozdělení obvykle beta rozdělení s hustotou pravděpodobnosti: $q\in[0,1]$

p(q=x)={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}

kde a jsou vybrány tak, aby odrážely dostupné apriorní informace nebo přesvědčení o rozdělení parametru q (výběr = 1 a = 1 poskytne rovnoměrné rozdělení), a Β ( , ) je funkce beta , která zde slouží k normalizaci pravděpodobnost. $\alpha$ $\beta$ $\alpha$ $\beta$ $\alpha$ $\beta$

Parametry a se často nazývají hyperparametry (parametry předchozího rozdělení), aby se odlišily od parametrů věrohodnostní funkce (v tomto případě q ). $\alpha$ $\beta$

Pokud vezmeme vzorek n hodnot této náhodné proměnné a mezi nimi je s úspěchů a f selhání, pak bude zadní rozdělení parametru q :

P(s,f|q=x)={s+f \vyberte s}x^{s}(1-x)^{f},

p(q=x|s,f)={{{s+f \vyberte s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} ( \alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \vyberte s}y^{s+\alpha -1}(1-y)^{f+\ beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},

Tato pozdější distribuce se také ukazuje být distribuována podle beta distribuce .

Tabulka konjugovaných rodin distribucí

Níže uvedené tabulky ukazují, jak se mění parametry zadní distribuce po vzorku n nezávislých, rovnoměrně rozložených pozorování . Druhý sloupec je parametr pravděpodobnostní funkce, vzhledem k němuž je konstruována rodina konjugovaných distribucí. $x_{1},x_{2},\ldots ,x_{n}$

Diskrétně distribuované pravděpodobnostní funkce

pravděpodobnostní funkce	Parametr	Konjugovaná rodina distribucí	Hyperparametry předchozí distribuce	Hyperparametry zadní distribuce
Bernoulli	p	Beta	$\alpha ,\,\beta$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i))$
Binomický	p	Beta	$\alpha ,\,\beta$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\součet _{i =1}^{n}x_{i}$
Negativní binom	p	Beta	$\alpha ,\,\beta$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i))$
jed	λ	Gamma	$k,\,\theta$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1))$
jed	λ	Gamma	$\alpha ,\,\beta$ [jeden]	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n$
Multinomický	p (pravděpodobnostní vektor)	Dirichlet	$\vec{\alpha}$	${\displaystyle {\vec {\alpha }}+\sum _{i=1}^{n}{\vec {x}}^{\,(i)))$
Geometrický	p 0 (pravděpodobnost)	Beta	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$

Spojitě distribuované pravděpodobnostní funkce

pravděpodobnostní funkce	Parametr	Konjugovaná rodina distribucí	Hyperparametry předchozí distribuce	Hyperparametry zadní distribuce
Jednotný	$U(0,\theta )$	Pareto	$x_{m},\,k$	$\max\{\,x_{(n)},x_{m}\},\,k+n$
Exponenciální	λ	Gamma	$\alpha ,\,\beta$ [2]	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$
Normální se známým rozptylem σ 2	μ	Normální	${\displaystyle \mu _{0},\,\sigma _{0}^{2))$	$\left.\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i }}{\sigma ^{2}}}\right)\right/\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^ {2}}}\right),\,\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\ správně)^{-1}$
Normální se známým τ = 1/ σ 2	μ	Normální	${\displaystyle \mu _{0},\,\tau _{0))$	$\left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}\right)\right/(\tau _{0} +n\tau ),\,\tau _{0}+n\tau$
Normální se známým průměrem μ	σ2 _	Škálovaná inverzní chí-kvadrát	${\displaystyle \nu ,\,\sigma _{0}^{2))$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{ 2}}{\nu +n}}$
Normální se známým průměrem μ	τ (= 1/σ 2 )	Gamma	$\alpha ,\,\beta$ [2]	$\alpha +{\frac {n}{2)),\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2 }}{2}}$
Normální se známým průměrem μ	σ2 _	Inverzní gama rozdělení	$\mathbf {\alpha ,\,\beta }$	$\mathbf {\alpha } +{\frac {n}{2)),\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}- \mu )^{2}}}{2}}$
Pareto	k	Gamma	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}$
Pareto	x m	Pareto	${\displaystyle x_{0},\,k_{0))$	$x_{0},\,k_{0}-kn$ za předpokladu . $k_{0}>kn$
Gama se známým α [1]	β (inverzní měřítko)	Gamma	${\displaystyle \alpha _{0},\,\beta _{0))$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i))$