Diferenciální entropie

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 27. října 2016; kontroly vyžadují 70 úprav .

Diferenciální entropie je funkcionál definovaný na množině absolutně spojitých rozdělení pravděpodobnosti , formální obdoba Shannonova konceptu informační entropie pro případ spojité náhodné veličiny . V teorii informace funkcionál heuristicky zavedl K. Shannon [1] , ale není autorem termínu „diferenciální entropie“. Samotný termín zavedl A. N. Kolmogorov spolu s I. M. Gelfandem a A. M. Yaglomem a zdůrazňuje, že tento pojem má jiný význam než entropiediskrétní distribuce. Získali také rigorózní odvození diferenciální entropie jako prvního členu asymptotického rozvoje entropie , ve kterém se projevuje závislost na rozdělení náhodné veličiny [2] [3] [4] . Pro spojitou náhodnou veličinu distribuovanou na ( ) je diferenciální entropie definována jako $\xi$ ${\displaystyle X\subseteq R^{n))$ $n<\infty$

H(\xi )=-\int _{X}{f\left(x\right)\log f\left(x\right)\,}dx

kde je hustota distribuce náhodné veličiny (nebo signálu ze spojitého zdroje jako náhodné veličiny). Volba základu logaritmu v tomto vzorci (musí být větší než 1) určuje měrnou jednotku pro odpovídající množství informace. Takže v teorii informace se často používá binární logaritmus , který odpovídá jednotce množství informace bit a funkcionál je interpretován jako průměrná informace spojitého zdroje. V matematické statistice se v definici diferenciální entropie z důvodů pohodlí obvykle používá přirozený logaritmus (odpovídající jednotka nat ), funkcionál je interpretován jako míra nejistoty spojitého rozdělení. $f\left(x\right)$

Diferenciální entropie je neinvariantní vzhledem k transformacím souřadnic náhodné veličiny a nemá nezávislý význam (má neinterpretovatelnou číselnou hodnotu). Navíc, pokud má náhodná veličina dimenzi, pak bude funkcionál diferenciální entropie z hlediska dimenze nesprávný, protože rozměrová veličina se objeví pod znaménkem logaritmu. Rozdíl mezi diferenciálními entropiemi dvou náhodných veličin distribuovaných na stejné množině je však správný, navíc bezrozměrná veličina a shoduje se s rozdílem jejich entropií. Protože entropie libovolné spojité náhodné veličiny je nekonečná, je při zohlednění rozdílu entropií nutné odhalit nejistotu pomocí asymptotického rozvoje [3] [4] [5] .

Schopnost vyjádřit diferenciální entropii v bitech (nebo jiných jednotkách) je tedy spíše libovolná: situace je zde podobná jako u měření teploty ve stupních Celsia , které, i když se shodují co do velikosti s kelviny , nejsou absolutní teplotní stupnicí , ale mají nějaký posun vzhledem k ní (podle Z tohoto důvodu může být diferenciální entropie, stejně jako teplota na Celsiově stupnici , záporná). Rozdíl je v tom, že v případě diferenciální entropie je tento posun nekonečný vzhledem k absolutní škále definované hodnotami entropie . Tito. nelze zvolit absolutní měřítko pro entropii spojitých rozdělení, ale pro porovnání entropií různých rozdělení lze použít diferenciální entropii.

V některých zdrojích [5] je diferenciální entropie distribuce interpretována jako její entropie vzhledem k entropii rovnoměrného rozdělení na intervalu jednotkové délky, protože toto rozdělení má nulovou diferenciální entropii. Je třeba poznamenat, že tento přístup není zcela správný, protože entropie ve spojitém případě závisí na tom, jak diskretizační krok směřuje k nule, když je interval rozdělen. Pouze v případě, že je uvažován stejný interval, lze předpokládat, že při výpočtu entropie je použita stejná diskretizace pro každé z rozdělení, pak se rozdíl entropie blíží ke konečné hranici. V obecném případě (pro libovolnou diskretizaci) nesměřuje rozdíl mezi entropiemi spojitých náhodných veličin k žádné hranici.

Podmíněná diferenciální entropie

Podmíněná diferenciální entropie pro množství v daném množství je dána následujícím vzorcem: $X$ $Y$

H\left({X|Y=y}\right)=-\int \limits _{-\infty }^{+\infty }{f_{X|Y}\left(x\right)\ log f_{X|Y}\left(x\right)\,dx}

Nepodmíněné a podmíněné diferenciální entropie mohou být buď kladné nebo záporné a mohou se také rovnat nekonečnu . Tato okolnost také naznačuje, že diferenciální entropie (podmíněná a nepodmíněná) má trochu jiný význam než entropie , která je vždy nezáporná.

Pro diferenciální entropii platí rovnosti, podobně jako u entropie diskrétního zdroje :

H\left( X \right) \ge H\left( {X|Y} \right)

(pro nezávislé zdroje - rovnost)

H\left( {X,Y} \vpravo) = H\vlevo( X \vpravo) + H\vlevo ( {Y|X} \vpravo) = H\vlevo( Y \vpravo) + H\vlevo ( {X |Y}\vpravo)

Příklady

V níže uvedených příkladech používá definice diferenciální entropie přirozený logaritmus, rozptyl distribuce. $\sigma ^{2}$

Lze ukázat, že diferenciální entropie rozdělení s omezeným rozptylem je maximální v případě Gaussova rozdělení pravděpodobnosti a je rovna

H={\frac {1}{2}}\ln \left({2\pi \sigma ^{2}e}\right)

Mezi rozděleními danými na omezeném intervalu je dosaženo maxima diferenciální entropie pro rovnoměrné rozdělení a rovná se

H=\ln \left({2{\sqrt {3}}\sigma }\right)

Pro distribuci Laplace

H=\ln \left({{\sqrt {2}}\sigma e}\right)

Příklady s konkrétními měrnými jednotkami

Vezměme si kousky pro definitivnost . Takže základ logaritmu je 2.

Pro rovnoměrnou distribuci od do : $0$ $jeden$

f(x)=1

H(f)=-\int _{0}^{1}dx1\log _{2}1=0\;{\rm {bit))

Pro rovnoměrnou distribuci od do : $0$ $2$

f(x)={\frac {1}{2))

H(f)=-\int _{0}^{2}dx{\frac {1}{2}}\log _{2}{\frac {1}{2}}=1\; {\rm {bit}}

Pro rovnoměrnou distribuci od do : $0$ $čtyři$

f(x)={\frac {1}{4))

H(f)=-\int _{0}^{4}dx{\frac {1}{4}}\log _{2}{\frac {1}{4}}=2\; {\rm {bit}}

Poznámky

↑ Shannon, 1963 , str. 296-300.
↑ Gelfand, 1958 , str. 300-320.
↑ 1 2 Kolmogorov, 1987 , s. 39-41.
↑ 1 2 Glushkov, 1974 , str. 583-585.
↑ 1 2 Tarasenko, 1963 , s. 74-77.

Literatura

Werner M. 8.1 Diferenciální entropie // Základy kódování = Information und Codierung / transl. D.K. Zigangirova . - CJSC "RIC" Technosphere "", 2004. - S. 109-114. — (Svět programování). - 3000 výtisků. — ISBN 5-94836-019-9 .
Kolmogorov A. N. Teorie informace a teorie algoritmů. - M. : Nauka, 1987. - 304 s.
Tarasenko F. P. Úvod do kurzu teorie informace. - Tomsk: Nakladatelství Tomské univerzity, 1963. - 240 s.
Shannon K. Pracuje na teorii informace a kybernetice. - M . : Nakladatelství zahraniční literatury, 1963. - 830 s.
Gel'fand I. M., Kolmogorov A. N., Yaglom A. M. Množství informace a entropie pro spojitá rozdělení. V knize: Tr. III All-Union Mathematical Congress, svazek 3. - M. : AN SSSR, 1958.
Glushkov V.M., Amosov N.M., Artemenko I.A. Encyklopedie kybernetiky. Svazek 2. - Kyjev, 1974.

Odkazy

Entropie spojité náhodné veličiny a její vlastnosti