Tsallis entropie

Ve statistické termodynamice je Tsallisova entropie zobecněním standardní Boltzmann-Gibbsovy entropie navržené Constantinem Tsallisem [1] v roce 1988 pro případ neextenzivních (neaditivních) systémů. Jeho hypotéza je založena na předpokladu, že silná interakce v termodynamicky anomálním systému vede k novým stupňům volnosti, ke zcela jiné statistické fyzice jiného než Boltzmannova typu.

Definice a pozadí

Dovolit být rozdělení pravděpodobnosti a být jakékoli opatření , pro které existuje absolutně spojitý s ohledem na funkci . Potom je Tsallisova entropie definována jako $P$ $\mu$ $X$ $\mu$ $p={\frac {dP}{d\mu }}$

S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).

Zejména pro diskrétní systém v jednom z dostupných stavů s rozdělením pravděpodobnosti , $N$ ${\displaystyle P=\{p_{i}\,|\,i=1,2,...,N\))$

S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)

V případě Lebesgueova opatření , tzn. kdy je spojitá distribuce s hustotou danou na množině , $\mu=x$ $P$ $p(x)$ $X$

S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)

V těchto vzorcích je to nějaká kladná konstanta, která určuje jednotku entropie a ve fyzikálních vzorcích slouží ke spojení dimenzí, jako je například Boltzmannova konstanta . Z hlediska problému optimalizace entropie je tato konstanta nevýznamná, proto se pro jednoduchost často předpokládá, že . $k$ $k=1$

Parametrem je bezrozměrná hodnota ( ), která charakterizuje stupeň nerozsáhlosti (neaditivity) uvažovaného systému. V limitě v , Tsallisova entropie konverguje k Boltzmann-Gibbsově entropii . V , Tsallisova entropie je konkávní funkcionál rozdělení pravděpodobnosti a stejně jako běžná entropie dosahuje svého maxima při rovnoměrném rozdělení . Pro je funkcionál konvexní a dosahuje minima v případě rovnoměrného rozložení. Proto, abychom hledali rovnovážný stav izolovaného systému v , musí být Tsallisova entropie maximalizována a pro , musí být minimalizována [2] . Hodnota parametru je degenerovaný případ Tsallisovy entropie, kdy nezávisí na , ale závisí pouze na , tzn. na velikosti systému (od v diskrétním případě). $q$ $q\in R$ $q\do 1$ $q>0$ $q<0$ $q>0$ $q<0$ $q=0$ $P$ $\mu (X)$ $N$

Ve spojitém případě je někdy požadováno, aby podpora náhodné veličiny byla bezrozměrná [3] . Tím je zajištěna správnost funkcionálu entropie z hlediska rozměru. $X$

Historicky první výraz pro Tsallisovu entropii (přesněji pro její speciální případ na ) získali J. Havrda a F. Charvát [4] v roce 1967. Přitom u Tsallisovy entropie je speciální případ f - entropie [5] (pro f -entropie je hodnota opačná než Tsallisova entropie). $k={q-1 \over 1-2^{1-q))$ $q>0$ $q<0$

Některé poměry

Tsallisovu entropii lze získat ze standardního vzorce pro Boltzmann-Gibbsovu entropii nahrazením funkce v něm použité funkcí $\ln x$

{\displaystyle \ln _{q}x={x^{q-1}-1 \over q-1))

— tzv. q - deformovaný logaritmus nebo jednoduše q - logaritmus (v limitě při shodě s logaritmem) [6] . K. Tsallis použil [7] mírně odlišný vzorec pro q -logaritmus, který je zredukován na zde uvedený nahrazením parametru . $q\do 1$ $q$ $2-q$

Jiný způsob [7] , jak získat Tsallisovu entropii, je založen na vztahu, který platí pro Boltzmannovu-Gibbsovu entropii :

{\displaystyle S(P)=-k\lim _{t\rightarrow 1}{\frac {d}{dt))\sum _{i=1}^{N}p_{i}^{t))

Je snadné vidět, že pokud nahradíme obyčejnou derivaci v tomto výrazu q - derivací (také známou jako Jacksonova derivace), dostaneme Tsallisovu entropii:

S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt))\right)_{q}\sum _{i= 1}^{N}p_{i}^{t}

Podobně pro spojitý případ:

S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt))\right)_{q}\int \limits _{ X}^{}{p^{t}(x)}dx

Nerozsáhlost (neaditivnost)

Nechť existují dva nezávislé systémy a , tzn. systémy takové, že v diskrétním případě je společná pravděpodobnost výskytu libovolných dvou stavů a v těchto systémech rovna součinu odpovídajících pravděpodobností: $A$ $B$ $v A$ $b\in B$

\operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)

a spojitě je hustota společného rozdělení pravděpodobnosti rovna součinu odpovídajících hustot:

p_{AB}(x,y)=p_{A}(x)p_{B}(y)

kde , jsou rozsahy hodnot náhodné proměnné v systémech , resp. $x\in X$ $y\v Y$ $A$ $B$

Na rozdíl od Boltzmann-Gibbsovy entropie a Rényiho entropie nemá Tsallisova entropie obecně aditivitu a pro množinu systémů platí [7]

S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)

Protože podmínkou aditivity pro entropii je

S(AB)=S(A)+S(B)

odchylka parametru od charakterizuje neobšírnost (neaditivitu) systému. Entropie Tsallis je rozsáhlá pouze pro . $q$ $jeden$ $q=1$

Divergence Tsallis

Spolu s Tsallisovou entropií se také uvažuje o rodině asymetrických Tsallisových mír divergence (divergence) mezi rozděleními pravděpodobnosti se společnou podporou. Pro dvě diskrétní rozdělení s pravděpodobnostmi a , , je Tsallisova divergence definována jako [8] $A=\{a_{i}\}$ $B=\{b_{i}\}$ $i=1,2,...,N$

D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{ 1-q}-1\vpravo)

Ve spojitém případě, pokud jsou rozdělení a dána hustotami a , v tomto pořadí, kde , $A$ $B$ $sekera)$ $b(x)$ $x\in X$

D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q }(x)}dx-1\right)

Na rozdíl od Tsallisovy entropie je Tsallisova divergence definována jako . Nevýznamná kladná konstanta v těchto vzorcích, stejně jako pro entropii, nastavuje jednotku měření divergence a je často vynechána (předpokládá se, že je rovna ). Tsallisova divergence je speciálním případem α-divergence [9] (až do nevýznamné konstanty) a stejně jako α-divergence je konvexní v obou argumentech pro všechny . Tsallisova divergence je také speciálním případem f- divergence . $q>0$ $k$ $jeden$ $q>0$

Tsallisovu divergenci lze získat z Kullback-Leiblerova divergenčního vzorce nahrazením q -deformovaného logaritmu definovaného výše namísto funkce . V limitě v , Tsallisova divergence konverguje ke Kullback-Leiblerově divergenci . $\ln x$ $q\do 1$

Vztah mezi Rényi a Tsallis formalismy

Rényiho entropie a Tsallisova entropie jsou ekvivalentní [8] [10] až do monotónní transformace nezávislé na rozložení stavů systému. Totéž platí pro odpovídající odchylky. Uvažujme například Rényiho entropii pro systém s diskrétní sadou stavů : $P$ $\{p_{i}|i=1,2,...,N\}$

{\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i} ^{q}

, .

q\geq 0

Renyiho divergence pro diskrétní rozdělení s pravděpodobnostmi a , : $A=\{a_{i}\}$ $B=\{b_{i}\}$ $i=1,2,...,N$

{\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{ i}^{q}b_{i}^{1-q}

, .

q>0

V těchto vzorcích má kladná konstanta stejný význam jako v Zallisově formalismu. ${\widetilde {k))$ $k$

Je snadné to vidět

S_{q}(P)=T_{2-q}({\widetilde {S))_{q}(P))

D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))

kde je funkce

{\displaystyle T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k)))-1 \over q-1))

je definován na celé reálné ose a plynule narůstá (jak předpokládáme ). Výše uvedené vztahy platí i ve spojitém případě. $X$ $q=1$ $T_{q}(x)={k \over {\widetilde {k))}x$

Navzdory přítomnosti tohoto spojení je třeba mít na paměti, že funkcionály ve formalismech Rényi a Tsallis mají různé vlastnosti:

Tsallisova entropie není, obecně řečeno, aditivní, zatímco Rényiho entropie je aditivní pro všechny ; $q>0$
entropie a divergence Tsallis jsou konkávní nebo konvexní (kromě ), zatímco entropie a divergence Renyi, obecně řečeno, nemají žádnou vlastnost [11] . $q=0$

Poznámky

↑ Tsallis, C. Možné zobecnění Boltzmann-Gibbsovy statistiky // Journal of Statistical Physics : deník. - 1988. - Sv. 52 . - str. 479-487 . - doi : 10.1007/BF01016429 . - .
↑ Zaripov R. G. Nová opatření a metody v teorii informace . - Kazaň: Kazaňské nakladatelství. Stát tech. un-ta, 2005. - 364 s.
↑ Plastino A., Plastino AR Tsallisova entropie a Jaynesova informační teorie Formalismus // Brazilský žurnál fyziky. - 1999. - T. 29 . - S. 1-35 .
↑ Havrda, J.; Charvat, F. Metoda kvantifikace klasifikačních procesů. Koncept strukturální α-entropie (anglicky) // Kybernetika : journal. - 1967. - Sv. 3 , ne. 1 . - str. 30-35 .
↑ Csiszár I. Třída míry informativnosti pozorovacích kanálů. // Periodika Math. hungar. - 1972. - T. 2 . - S. 191-213 .
↑ Oikonomou T., Bagci GB Poznámka k definici deformovaných exponenciálních a logaritmických funkcí // Journal of Mathematical Physics. - 2009. - T. 50 , no. 10 . - S. 1-9 .
↑ 1 2 3 Tsallis C. Nerozsáhlé experimentální statistiky: Teoretické a výpočetní důkazy a souvislosti // Brazilian Journal of Physics. - 1999. - T. 29 , no. 1 . - S. 53 .
↑ 1 2 Nielsen F., Nock R. On Renyi a Tsallis entropie a divergence pro exponenciální rodiny // arXiv:1105.3259. - 2011. - S. 1-7 .
↑ Waters A. Divergence alfa // STAT 631 / ELEC 633: Grafické modely. - Rice University, 2008. - S. 1-4 .
↑ Sonnino G., Steinbrecher G. Sonnino A. Rényiho entropie distribuce Lévy // Physics AUC. - 2013. - T. 23 . - S. 10-17 .
↑ Xu D., Erdogmuns D. Renyiho entropie, divergence a jejich neparametrický odhad // JC Principe, Information Theoretic Learning: Renyi's Entropy and Kernel Perspectives. - Springer Science + Business Media, LLC, 2010. - S. 47-102 .