Křížová entropie

V teorii informace zkřížená entropie mezi dvěma rozděleními pravděpodobnosti změří průměrný počet bitů požadovaných k identifikaci události ze souboru možností, pokud je použité schéma kódování založeno na daném rozdělení pravděpodobnosti namísto „pravdivého“ rozdělení . $q$ $p$

Křížová entropie pro dvě distribuce a ve stejném pravděpodobnostním prostoru je definována takto: $p$ $q$

\mathrm {H} (p,q){\stackrel {\mathrm {df} }{\;=\;))\mathrm {E} _{p}[-\log q]=\mathrm { H} (p)+D_{\mathrm {KL} }(p\|q)

kde je entropie a je vzdálenost Kullback-Leibler od do (také známá jako relativní entropie ). $H(p)$ $p$ $D_{\mathrm {KL} }(p||q)$ $p$ $q$

Pro diskrétní a to znamená $p$ $q$

\mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x).

Situace pro kontinuální distribuci je podobná:

\mathrm {H} (p,q)=-\int \limits _{X}p(x)\,\log q(x)\,dx.

Je třeba vzít v úvahu, že i přes formální analogii funkcionálů pro spojité a diskrétní případy mají různé vlastnosti a různé významy. Spojitý případ má stejná specifika jako pojem diferenciální entropie .

Pozn .: Zápis se někdy používá jak pro křížovou entropii, tak pro společnou entropii a . $\mathrm {H} (p,q)$ $p$ $q$

Minimalizace křížové entropie

Minimalizace křížové entropie se často používá při optimalizaci a pro odhadování pravděpodobností vzácných událostí.

Viz také

Informační entropie