Množství informací

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 8. října 2016; kontroly vyžadují 3 úpravy .

Množství informace v teorii informace je množství informace v jednom náhodném objektu relativně k jinému.

Dovolit a být náhodné proměnné definované na odpovídající soubory a . Pak je množství informace relativní k rozdílu mezi apriorními a aposteriorními entropiemi: $X$ $y$ $X$ $Y$ $X$ $y$

I(x,y)=H(x)-H(x|y)

,

kde

H(x)=-\součet _{x\in X}p(x)\log _{2}p(x)

H(x|y)=-\součet _{y\in Y}p(y)\součet _{x\in X}p(x|y)\log _{2}p(x|y )

- podmíněná entropie, v teorii přenosu informace charakterizuje šum v kanálu.

Vlastnosti entropie

Entropie má následující vlastnosti:

0\leqslant H(x)\leqslant \ln(m)

,

kde je počet prvků v množině . $m$ $X$

$H(x)=0$ , je-li jeden z prvků množiny realizován s pravděpodobností 1, respektive zbytek 0, vzhledem k tomu, že a . $1\ln 1=0$ $0\ln 0=0$

Maximální hodnoty entropie je dosaženo, když všechny , tzn. všechny výsledky jsou stejně pravděpodobné. $H(x)=\ln(m)$ $p(x)=1/m$

Podmíněná entropie má následující vlastnosti:

0\leqslant H(x|y)\leqslant H(x)

,

V tomto případě , pokud je mapování jednohodnotové, tzn. . $H(x|y)=0$ $Y$ $X$ $\forall y\exists x\colon p(x|y)=1$

Maximální hodnoty podmíněné entropie je dosaženo, když a jsou nezávislé náhodné proměnné. $H(x|y)=H(x)$ $X$ $y$

Vlastnosti množství informací

Pokud jde o množství informací, vlastnosti jsou pravdivé:

I(x,y)=I(y,x),

jako důsledek Bayesovy věty .

I(x,y)\geqslant 0,

I(x,y)=0,

jestliže a jsou nezávislé náhodné proměnné.

X

y

I(x,x)=H(x).

Poslední vlastnost ukazuje, že množství informace se rovná informační entropii , pokud je složka ztráty informace (šum) nulová.

Literatura

Yaglom A.M. , Yaglom I.M. Pravděpodobnost a informace. - M. , 1973.