F-divergence

f- divergence ( f- discrepancy ) je třída funkcionálů, které obecně definují asymetrickou míru divergence mezi dvěma rozděleními pravděpodobnosti a. Běžně aplikovaný v teorii informace a teorii pravděpodobnosti . Funkcionál je jednoznačně určen (generován) funkcí, která splňuje určité podmínky. $D_{f}(P\paralelní Q)$ $P$ $Q$ $f(t)$

Tuto třídu divergenci zavedli a nezávisle studovali Csiszár (1963 ), Morimoto (1963 ) a Ali & Silvey (1966 ). Proto se někdy můžete setkat s názvy f -Chisara divergence , Chisara-Morimoto divergence nebo Ali-Silvi distance.

Definice

Dovolit a být rozdělení pravděpodobnosti dané na množině takové, že je absolutně spojité s ohledem na . Nechť je funkce konvexní pro a . Potom funkce definuje f -divergenci s ohledem na následující způsob: $P$ $Q$ $\Omega$ $P$ $Q$ $f(t)$ $t\geq 0$ $f(1)=0$ $F$ $P$ $Q$

D_{f}(P\paralelní Q)=\int _{\Omega }f\left({\frac {dP}{dQ))\right)dQ=\název operátora {E} _{Q}f \left({\frac {dP}{dQ}}\right).

Jestliže je nějaká míra na , a obě distribuce a jsou spojité vzhledem k , tj. existují funkce a , pak lze f- divergenci zapsat jako $\mu$ $\Omega$ $P$ $Q$ $\mu$ $p={\frac {dP}{d\mu }}$ $q={\frac {dQ}{d\mu }}$

D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p}{q))\right)q\,d\mu .

V případě Lebesgueovy míry mají rozdělení hustoty a , pak má f- divergence tvar $\mu=x$ $p(x)$ $q(x)$

D_{f}(P\paralelní Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)))\right)q(x)\, dx.

Pro diskrétní distribuce a , kde , $P=\{p_{i}\}$ $Q=\{q_{i}\}$ $i=1,...,N$

D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_ {i}.

Je třeba poznamenat, že funkce je definována až do členu , kde je libovolná konstanta. Forma f- divergence skutečně nezávisí na volbě , protože člen funkce má nulový příspěvek k hodnotě integrálu. Kromě toho může funkce obsahovat kladnou multiplikativní konstantu , která specifikuje měrnou jednotku pro divergenci. V tomto ohledu někteří autoři (například Basseville (2010 )) uvádějí další omezení funkce : $f(t)$ $c(t-1)$ $C$ $C$ $c(t-1)$ $f(t)$ $f(t)$ $k$ $f(t)$

f'(1)=0,

f''(1)=1.

První z těchto omezení fixuje konstantu , druhé fixuje konstantu . Podmínka může být užitečná v tom, že v tomto případě s minimem v bodě (viz Liese & Vajda (2006 )) je výraz pro f -divergenci intuitivně srozumitelnější. Tento způsob konkretizace funkce však není vždy vhodný: například existence spojité verze f- entropie spojené s danou f- divergencí může vyžadovat jinou hodnotu konstanty . $C$ $k$ $f'(1)=0$ $f(t)\geq 0$ $t = 1$ $f(t)$ $C$

f -divergenci lze rozšířit v Taylorově řadě a zapsat jako vážený součet vzdáleností typu χ (viz Nielsen & Nock (2013 )).

Speciální případy f -divergence

Mnohé známé divergence, jako Kullback-Leiblerova divergence , Hellingerova vzdálenost na druhou , chí-kvadrát vzdálenost a řada dalších, jsou speciální případy f- divergence, které odpovídají určité volbě funkce . Následující tabulka uvádí některé běžné typy divergencí mezi rozděleními pravděpodobnosti a jejich odpovídající funkcí (viz Liese & Vajda (2006 )). $f(t)$ $f(t)$

Divergence	Generativní funkce $f(t)$
Kullback-Leibler divergence	$t\ln t$
Reverzní Kullback-Leibler Divergence	$-\ln t$
Hellingerova vzdálenost na druhou	${\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t } }}$
Plná variační vzdálenost	${\frac {1}{2}}\|t-1\|\,$
Pearsonova vzdálenost $\chi ^{2}$	$(t-1)^{2},\,t^{2}-1,\,t^{2}-t$
Neumannova vzdálenost $\chi ^{2}$	${\frac {1}{t}}-1,\,{\frac {1}{t}}-t$
Alfa divergence	${\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}tt^{(1+\alpha )/2}{\big )},& {\text{if}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if }}\ \alpha =-1\end{cases}}$
Alfa divergence (jiné zápisy)	${\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1))),&{\text{if))\ \alpha \neq 0,\ ,\alpha \neq 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =0\end {případy}}$

Vlastnosti

Nezápornost : Divergence ƒ je vždy nezáporná a je nulová pouze tehdy, jsou-li rozdělení a stejná. To vyplývá přímo z Jensenovy nerovnosti : $P$ $Q$ $D_{f}(P\!\parallel \!Q)=\int _{\Omega }\!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\ geq f{\bigg (}\int _{\Omega }{\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.$
Monotonie : if je libovolná pravděpodobnost přechodu, která přijímá opatření a respektive do a , pak $\kappa$ $P$ $Q$ ${\displaystyle P_{\kappa ))$ ${\displaystyle Q_{\kappa ))$ $D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).$ K rovnosti zde dochází tehdy a pouze tehdy, když je přechod generován dostatečnou statistikou s ohledem na . ${\displaystyle \{P,Q\))$
Konvexnost kloubu : pro všechny $0\leq \lambda \leq 1$ $D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\paralelní \lambda Q_{1}+(1-\lambda )Q_{2}{\ Velký )}\leq \lambda D_{f}(P_{1}\!\paralelní \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\paralelní \!Q_ {2}).$ Vyplývá to z konvexnosti mapování na . $(p,q)\mapsto qf(p/q)$ ${\displaystyle \mathbb {R} _{+}^{2))$
Self- dualita : jestliže je f- divergence, pak je to také f- divergence, tzn. třída f -divergencí obsahuje přímé i reverzní (duální) divergence. Opravdu, $D(P\paralelní Q)$ $D(Q\paralelní P)$ ${D^{*}}_{f}(P\paralelní Q){\stackrel {\mathrm {df} }{\;=\;}}D_{f}(Q\paralelní P)=\ int _{\Omega }f\left({\frac {dQ}{dP}}\right)dP=\int _{\Omega }f^{*}\left({\frac {dP}{dQ}} \right)dQ=D_{f^{*}}(P\paralelní Q),$ kde je funkce duálního generování. Je snadné vidět, že , je spojité (snad kromě bodu ) a téměř všude na díky konvexitě , tj. funkce splňuje podmínky generující funkce f -divergence. $f^{*}(t)=tf(1/t)$ $f^{*}(1)=f(1)=0$ $f^{*}(t)$ $t = 0$ ${f^{*}}''(t)={\frac {1}{t^{3}}}f''(1/t)\geq 0$ $t\geq 0$ $F$ $f^{*}(t)$

Vezmeme-li v úvahu poslední vlastnost, třídu f- divergencí lze ekvivalentně definovat jako . Podobnou definici nalezneme například v Zhang (2004 ). Interpretace rozdělení jako pravdivá, která vyplývá z definice f -divergence, tedy není její zásadní vlastností, ale je pouze důsledkem shody o pořadí argumentů v definici. Jinými slovy, argumenty a jsou si koncepčně rovny. ${D^{*}}_{f}(P\paralelní Q)=\jméno operátora {E} _{P}f\left({\frac {dQ}{dP}}\right)$ $Q$ $P$ $Q$

Za zmínku také stojí, že f- divergence je bezrozměrná veličina , bez ohledu na rozměr množiny . $\Omega$

Související pojmy

Kromě f -divergence definoval I. Chisar související pojem f -entropie ( Csiszár (1972 )).

Odkazy

Csiszár, I. Eine informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von Markoffschen Ketten (německy) // Magyar. Tud. Akad. Rohož. Kutato Int. Kozl: obchod. - 1963. - Bd. 8 . - S. 85-108 .
Morimoto, T. Markov procesy a H-teorém // J. Phys . soc. Jpn. : deník. - 1963. - Sv. 18 , č. 3 . - str. 328-331 . - doi : 10.1143/JPSJ.18.328 . - .
Ali, S.M.; Silvey, SD Obecná třída koeficientů divergence jedné distribuce od druhé // Journal of the Royal Statistical Society, Series B : deník. - 1966. - Sv. 28 , č. 1 . - S. 131-142 . — .
Lži, F.; Vajda, I. O divergenci a informacích ve statistice a teorii informace (anglicky) // IEEE Transactions on Information Theory : deník. - 2006. - Sv. 52 , č. 10 . - S. 4394-4412 . - doi : 10.1109/TIT.2006.881731 .
Nielsen, F.; Nock, R. Na kvadrátu chi a vzdálenostech chi vyšších řádů pro aproximaci f-divergencí // IEEE Signal Processing Letters : journal. - 2013. - Sv. 21 . - str. 10-13 . - doi : 10.1109/LSP.2013.2288355 . — . - arXiv : 1309.3029 .
Basseville, M. Divergenční opatření pro statistické zpracování dat (anglicky) // Publikace Internes de l'IRISA: journal. - 2010. - Sv. 11 . - str. 1-23 .
Zhang, J. Divergenční funkce, dualita a konvexní analýza // Neural Computation. - 2004. - Sv. 16 . - S. 159-195 .
Csiszár, I. Třída měr informativnosti pozorovacích kanálů (anglicky) // Periodica Math. Hungar: deník. - 1972. - Sv. 2 . - S. 191-213 .