Entropie

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 25. srpna 2022; ověření vyžaduje 41 úprav .

Entropie (z jiného řeckého ἐν „in“ + τροπή „zvrat; transformace“) je termín široce používaný v přírodních a exaktních vědách (poprvé zaveden v rámci termodynamiky jako funkce stavu termodynamického systému ), označující míru nevratného rozptylu energie nebo zbytečnosti energie (protože ne všechnu energii systému lze využít k nějaké užitečné práci ). Pro pojem entropie v této části používají fyzici název termodynamická entropie ; termodynamická entropie se obvykle používá k popisu rovnovážných (vratných) procesů .

Ve statistické fyzice , entropie charakterizuje pravděpodobnost realizace nějakého makroskopického stavu . Kromě fyziky je termín široce používán v matematice: teorii informace a matematické statistice . V těchto oblastech poznání se entropie určuje statisticky a nazývá se statistická nebo informační entropie. Tato definice entropie je také známá jako Shannonova entropie (v matematice) a Boltzmann-Gibbsova entropie (ve fyzice).

Přestože jsou pojmy termodynamická a informační entropie zavedeny v rámci různých formalismů, mají společný fyzikální význam - logaritmus počtu dostupných mikrostavů systému . Vztah mezi těmito koncepty byl poprvé založen Ludwigem Boltzmannem . V nerovnovážných (nevratných) procesech slouží entropie také jako míra blízkosti stavu systému k rovnováze : čím větší je entropie, tím blíže je systém k rovnováze (ve stavu termodynamické rovnováhy je entropie systém je maximální).

Opakem entropie se nazývá negentropie nebo vzácněji extropie .

Použití v různých oborech

Termodynamická entropie je termodynamická funkce, která charakterizuje míru nevratné disipace energie v ní.
Ve statistické fyzice charakterizuje pravděpodobnost realizace nějakého makroskopického stavu systému.
V matematické statistice míra nejistoty rozdělení pravděpodobnosti .
Informační entropie - v teorii informace míra nejistoty zdroje zpráv, určená pravděpodobnostmi výskytu určitých postav při jejich přenosu.
Entropie dynamického systému je mírou náhodnosti v chování trajektorií systému v teorii dynamických systémů.
Diferenciální entropie je formálním zobecněním pojmu entropie pro spojitá rozdělení.
Odrazová entropie je část informace o diskrétním systému, která se nereprodukuje, když se systém odráží v celku jeho částí.
Entropie v teorii řízení je mírou nejistoty stavu nebo chování systému za daných podmínek.

V termodynamice

Pojem entropie poprvé představil Clausius v termodynamice v roce 1865 , aby definoval míru nevratného rozptylu energie , míru odchylky skutečného procesu od ideálního. Je definována jako součet redukovaných tepl, je stavovou funkcí a zůstává konstantní v uzavřených vratných procesech , zatímco v nevratných uzavřených procesech je jeho změna vždy pozitivní. V otevřeném systému může dojít k poklesu entropie uvažovaného systému v důsledku odebírání energie např. ve formě záření, zatímco celková entropie prostředí roste [1] .

Matematicky je entropie definována jako funkce stavu systému, definovaného až do libovolné konstanty. Rozdíl entropií ve dvou rovnovážných stavech 1 a 2 se podle definice rovná redukovanému množství tepla ( ), které musí být systému hlášeno, aby bylo převedeno ze stavu 1 do stavu 2 po jakékoli kvazistatické dráze . [2] : $\delta Q/T$

\Delta S_{1\to 2}=S_{2}-S_{1}=\int \limits _{1\to 2}{\frac {\delta Q}{T))

(jeden)

Protože je entropie definována až do libovolné aditivní konstanty, můžeme podmíněně vzít stav 1 jako počáteční a dát . Pak $S_{1}=0$

S=\int {\frac {\delta Q}{T))

(2)

Zde je integrál považován za libovolný kvazistatický proces . Funkční diferenciál má tvar $S$

dS={\frac {\delta Q}{T))

(3)

Entropie vytváří spojení mezi makro- a mikrostavy. Zvláštnost této charakteristiky spočívá v tom, že je to jediná funkce ve fyzice, která ukazuje směr procesů. Protože entropie je stavová funkce, nezávisí na tom, jak se provádí přechod z jednoho stavu systému do druhého, ale je určena pouze počátečním a konečným stavem systému.

Fyzikální význam entropie

Entropie jako fyzikální veličina se vyznačuje svou abstraktností, fyzikální význam entropie nevyplývá přímo z jejího matematického vyjádření a není přístupný prostému intuitivnímu vnímání.

Z fyzikálního hlediska entropie charakterizuje míru nevratnosti, neideálnosti reálného termodynamického procesu. Je to míra disipace (disipace) energie a také míra hodnocení energie z hlediska její vhodnosti (resp. účinnosti) využití pro přeměnu tepla na práci. [3] Poslední dvě tvrzení neplatí pro neobvyklé systémy se zápornou absolutní teplotou, ve kterých se teplo může samovolně zcela přeměnit na práci.

V teorii informace

Pro entropii (častěji v matematice) existuje také název Shannonova informace nebo množství informací podle Shannona [4] .

Entropii lze interpretovat jako míru nejistoty (poruchy) nebo složitosti nějakého systému, například jakékoli zkušenosti (testu), která může mít různé výsledky, a tedy i množství informací [5] [6] . Jiným výkladem entropie je tedy informační kapacita systému. S tímto výkladem souvisí i skutečnost, že tvůrce konceptu entropie v teorii informace ( Claude Shannon ) chtěl tuto veličinu nejprve nazvat informací .

Pojem informační entropie se používá jak v teorii informace a matematické statistice , tak ve statistické fyzice ( Gibbsova entropie a její zjednodušená verze - Boltzmannova entropie ) [7] [8] . Matematický význam informační entropie je logaritmus počtu dostupných stavů systému (základ logaritmu může být různý, ale větší než 1, určuje jednotku entropie) [9] . Taková funkce počtu stavů poskytuje aditivní vlastnost entropie pro nezávislé systémy. Navíc, pokud se stavy liší ve stupni přístupnosti (tedy nejsou stejně pravděpodobné), je třeba chápat počet stavů systému jako jejich efektivní počet, který se určuje následovně.

Nechť jsou stavy systému stejně pravděpodobné a mají pravděpodobnost , pak počet stavů a . V případě různých pravděpodobností stavu zvažte váženou průměrnou hodnotu $p$ $N=1/p$ $\log N=\log(1/p)$ $p_{i}$

\log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i}),

kde je efektivní počet stavů. Z této interpretace přímo vyplývá výraz pro Shannonovu informační entropii : ${\overline {N))$

H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}.

Podobná interpretace platí také pro Renyiho entropii , což je jedno ze zobecnění konceptu informační entropie , ale v tomto případě je efektivní počet stavů systému definován jinak. Rényiho entropie odpovídá efektivnímu počtu stavů definovaných [10] jako vážený mocninný průměr s parametrem . $q\leq 1$ ${\displaystyle 1/p_{i))$

Je třeba poznamenat, že výklad Shannonova vzorce na základě váženého průměru není jeho opodstatněním. Přesné odvození tohoto vzorce lze získat z kombinatorických úvah pomocí Stirlingova asymptotického vzorce a spočívá ve skutečnosti, že kombinatorické rozdělení (to znamená počet způsobů, jakými může být realizováno) po logaritmu a normalizaci v limitě se shoduje s výrazem pro entropii ve tvaru, který navrhl Shannon [11] [12] .

V biologii

Entropie, obvykle představená jako „míra neuspořádanosti nebo neurčitosti systému“, se často používá při úvahách o směru evolučních procesů. Z tohoto pohledu je biosféra superkomplexní samoorganizující se struktura, „živící se“ neomezenou entropií slunečního záření [13] [14] . Bakteriorhodopsin plní stejnou funkci jako chlorofyl (tunelový efekt) – zajišťuje přeměnu elektromagnetického záření na energii chemických vazeb. Pokud mluvíme o řádu, pak uspořádání uspořádání prvků fotosyntetického elektronového transportního řetězce zajišťuje fotosyntetická membrána (strukturní jednotka chloroplastů ), která určuje řízený přenos elektronů a protonů, vytváří a udržuje rozdíl v elektrochemické potenciály iontů, oddělující oxidované a redukované produkty a zabraňující jejich rekombinaci [15 ] .

Předpokládá se, že složitost organizace ovlivňuje udržitelnost různými způsoby v živé a neživé přírodě [16] [17] . V neživé přírodě vede nárůst složitosti ke snížení stability živé hmoty. Naproti tomu v živé přírodě jsou komplexní (sociální) organizace stabilnější (z hlediska schopnosti přežít) než stabilita každého prvku zvlášť. Například počet organismů sestávajících z malého počtu buněk (například komárů) je mnohem větší než počet organismů sestávajících z velkého počtu buněk (například sloni). To však nevypovídá nic o stabilitě související s elementární složkou. Pokud by si cytolog chtěl udělat statistiku a náhodně sesbíral sbírku buněk, našel by v ní nejvíce buněk patřících savcům. To naznačuje, že s komplikací živých organismů se výrazně zvyšuje stabilita jejich elementárních složek (buněk) [18] .

Analogicky se Shannonovou definicí entropie můžeme jako míru organizace uvažovat o kvantitě

$G=-\sum _{i=1}^{N+1}p_{i}\log p_{i},$

kde je poměr počtu odkazů dostupných na prvek v daném okamžiku k počtu všech možných odkazů tohoto prvku. Zde, stejně jako v případě stanovení entropie informačního zdroje, je podmínka pravdivá, nicméně podmínka , která je splněna pro případ stanovení entropie, zde již nenastává a je nahrazena nerovností Pro prvek , který nemá spojení s žádným jiným prvkem, Naopak, když je prvek spojen se všemi ostatními prvky, a $p_{{i}}$ $n_{i},$ $i$ $N$ $0\leq p_{i}\leq 1,$ $\sum _{i}p_{i}=1,$ $0\leq \sum _{i}p_{i}\leq (N+1).$ $já,$ $p_{i}=0.$ $i$ $N$ $p_{i}=1$ $\log p_{i}=0.$

Výraz pro míru relativní organizace je napsán takto:

$G=-\sum _{i=1}^{N+1}{\frac {n_{i}}{N}}\log {\frac {n_{i}}{N}}=- {\frac {1}{N}}\sum _{i=1}^{N+1}(n_{i}\log n_{i}+n_{i}\log {\frac {1}{N }})=-{\frac {1}{N}}\log {\frac {1}{N}}\sum _{i=1}^{N+1}n_{i}-{\frac { 1}{N}}\součet _{i=1}^{N+1}n_{i}\log n_{i}.$

Maximální organizace se nalézá vyrovnáním přes všechny nuly, výsledkem je systém rovnic: $G$ $p_{{i}}$ $N+1$

${\frac {dG}{\partial p_{j}}}=-{\frac {d}{\partial p_{j}}}\sum _{i=1}^{N+1}p_ {i}\log p_{i}=0\quad \quad (j={\overline {1,(N+1)))).$

Pro kteroukoli z těchto rovnic

${\frac {dG}{\částečné p_{j}}}=-{\frac {d}{\částečné p_{j}}}(p_{j}\log p_{j})-{\ frac {d}{\částečné p_{j}}}\součet _{i\neq j}p_{i}\log p_{i}=-\log e-\log p_{j}-0=0,\ quad \quad \log p_{j}=-\log e=\log {\frac {1}{e}}.$

Aby bylo dosaženo maximální organizace, měl by být poměr připojení roven (kde je Eulerovo číslo ), $p_{i}={\frac {1}{e))$ $E$ $G_{\mathrm {max} }=(N+1){\frac {1}{e}}\log e.$

Tato nestochastická interpretace organizace má také tu výhodu, že umožňuje vyvodit řadu zajímavých závěrů. Aby se ve stupni spojení zohlednila přítomnost spojení mezi dvěma prvky prostřednictvím mezilehlých prvků, bude nutné použít nikoli počet spojení vhodných pro prvek , ale počet, který je určen z výrazu $já,$

$n_{i}=\sum _{j\neq i}m_{i,j},$

kde je stupeň příbuznosti (síla spojení) mezi prvky a V tomto případě to bude ve vzorci představovat relativní celkovou pevnost spojení (místo počtu spojení, jak tomu bylo dříve) pro prvek [19 ] $m_{i,j}=m_{j,i}$ $i$ $j.$ $p_{{i}}$ $i.$

Axiomatická definice entropie

Výraz pro informační entropii lze odvodit na základě nějakého systému axiomů . Jedním z přístupů je následující systém axiomů, známý jako Khinchinův systém axiomů : [20] .

1 . Nechť je nějaký systém v každém z dostupných stavů s pravděpodobností , kde . Entropie je funkcí pouze pravděpodobností : .

N

p_{i}

i=1,...,N

H

P=(p_{1},...,p_{N})

H=H(P)

2 . Pro libovolný systém , , kde je systém s rovnoměrným rozdělením pravděpodobnosti: .

P

H(P)\leq H(P_{unif})

P_{unif}

p_{1}=p_{2}=...=p_{N}=1/N

3 . Pokud do systému přidáme stav , pak se entropie systému nezmění.

p_{N+1}=0

4 . Entropie množiny dvou systémů a má tvar , kde je podmíněná entropie zprůměrována přes soubor .

P

Q

H(PQ)=H(P)+H(Q/P)

H(Q/P)

P

Q

Tato sada axiomů jednoznačně vede ke vzorci pro Shannonovu entropii.

Někteří autoři [21] upozorňují na nepřirozenost posledního Khinchinova axiomu. Požadavek aditivity entropie pro nezávislé systémy je skutečně jednodušší a zjevnější. Poslední axiom tedy může být nahrazen následující podmínkou.

4' . Entropie celku dvou nezávislých systémů a má tvar .

P

Q

H(PQ)=H(P)+H(Q)

Ukazuje se, že systém axiomů s bodem 4' vede nejen k Shannonově entropii, ale také k Rényiho entropii .

f -entropie

Kromě Rényiho entropie jsou známy i další zobecnění standardní Shannonovy entropie, např. třída f -entropií navržená [22] I. Chisarem v roce 1972. V roce 1971 také S. Arimoto navrhl [23] tzv. koncept f -entropie, který definuje jinou třídu funkcionálů . Dále je zvažován koncept I. Chisara . Pojem f -entropie souvisí [24] s pojmem f -divergence . Prvky těchto tříd tvoří párovou korespondenci a každý takový pár funkcionálů je určen nějakou konvexní funkcí v , splňující podmínku . $f(t)$ $t\geq 0$ $f(1)=0$

Pro danou funkci je f -entropie diskrétního rozdělení definována jako $f(t)$ ${\displaystyle P=\{p_{i}\,|\,i=1,...,N\))$

H_{f}(P)=-\sum _{i=1}^{N}f\left(p_{i}\right).

Nejznámější speciální případy f -entropie jsou:

Shannonova entropie pro ; $f(t)=t\ln t$
Tsallisova entropie pro , , ; $f(t)={t^{q}-t \over q-1}$ $q>0$ $q\neq 1$
alfa entropie pro , , . ${\displaystyle f(t)={t^{\alpha }-t \over \alpha (\alpha -1)))$ $\alpha \neq 1$ $\alpha \neq 0$

Shannonova entropie je jedinou aditivní entropií ve třídě f -entropie .

Pojem f -entropie je obecně definován následovně. Dovolit být rozdělení pravděpodobnosti a být jakékoli opatření , pro které existuje absolutně spojitý s ohledem na funkci . Pak $P$ $\mu$ $\Omega$ $\mu$ $p={\frac {dP}{d\mu }}$

H_{f}(P)=-\int _{\Omega }f(p)\,\částečné \mu .

Spojité verze f -entropií však nemusí dávat smysl kvůli divergenci integrálu.

f -entropie je konkávní funkcionál rozdělení pravděpodobnosti.

Je vidět, že funkci lze specifikovat až do členu , kde je libovolná konstanta. Bez ohledu na volbu generuje funkce jedinou f - divergenční funkcionál . A f -entropický funkcionál se ukáže být definován až do libovolné aditivní konstanty, tzn. Volbou konstanty můžete nastavit referenční bod entropie. V tomto případě vyvstává následující nuance (charakterističtější pro spojitou verzi f - entropie ): in přestává být náhodné. Zejména v diskrétní verzi entropie musí být konstanta fixována na . Proto pro f -entropii, aby se nesnížila obecnost definice, lze výslovně specifikovat aditivní konstantu. Pokud je například Lebesgueova míra na , pak je hustota rozdělení pravděpodobnosti a $f(t)$ $c(t-1)$ $C$ $C$ $f(t)$ $C$ $\mu (\Omega )=\infty$ $C$ $C$ $C$ $N=\infty$ $\mu$ $\Omega$ $p(x)$

H_{f}(P)=-\int _{\Omega }f(p(x))\,dx+c,

kde je libovolná konstanta. $C$

Funkci lze také specifikovat až do libovolného kladného faktoru, jehož volba je ekvivalentní volbě měrné jednotky příslušné f -entropie nebo f -divergence . $f(t)$

Porovnáním výrazů pro f -entropii a f -divergenci v obecném tvaru můžeme napsat následující vztah, který je spojuje [25] :

H(P)=-D(P\paralelní Q_{0})+c,

kde je rovnoměrné rozložení . Pokud předpokládáme , že deriváty rozdělení s ohledem na míru jsou argumenty entropie a divergence , máme formální zápis $Q_0$ $\Omega$ $\mu$

H(p)=-D(p\paralelní 1)+c.

Toto spojení je zásadní a hraje důležitou roli nejen ve třídách f - entropie a f - divergence . Tento vztah tedy platí pro Rényiho entropii a divergenci a zejména pro Shannonovu entropii a Kullback-Leiblerovu divergenci . To je způsobeno tím, že podle obecně přijímané axiomatiky dosahuje entropie svého maxima na rovnoměrném rozdělení pravděpodobnosti.

Viz také

Poznámky

↑ Zubarev D. N., Morozov V. G. Disipace energie // Fyzikální encyklopedie : [v 5 svazcích] / Ch. vyd. A. M. Prochorov . - M .: Sovětská encyklopedie (sv. 1-2); Velká ruská encyklopedie (sv. 3-5), 1988-1999. — ISBN 5-85270-034-7 .
↑ Sivukhin D.V. Obecný kurz fyziky. - M. , 1979. - T. II. Termodynamika a molekulární fyzika. - S. 127.
↑ Shambadal P. Vývoj a aplikace entropie, 1967 , str. 61-64.
↑ Tsypkin Ya. Z., 1995 , s. 77.
↑ Zubarev D. N., Morozov V. G. Entropie // Fyzická encyklopedie : [v 5 svazcích] / Ch. vyd. A. M. Prochorov . - M .: Sovětská encyklopedie (sv. 1-2); Velká ruská encyklopedie (sv. 3-5), 1988-1999. — ISBN 5-85270-034-7 .
↑ Entropie // Velká sovětská encyklopedie : [ve 30 svazcích] / kap. vyd. A. M. Prochorov . - 3. vyd. - M .: Sovětská encyklopedie, 1969-1978.
↑ http://emf.pskgu.ru/ebooks/astros/0401_O.pdf
↑ http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf
↑ Wentzel E. S., 1969 , s. 468-475.
↑ Zaripov R. G., 2005 , s. 13-22, 108-125.
↑ Janes E. T. O zdůvodnění metod maximální entropie // TIER. - 1982. - T. 70 , čís. 9 . - S. 33-51 .
↑ Kolmogorov, 1987 , s. 29-39.
↑ Rapaport A. - Matematické aspekty abstraktní analýzy systémů // Studie z obecné teorie systémů. M.: Pokrok. 1969. S. 83-105.
↑ N. N. Brushlinskaya, Faktorová invariance rovnic chemické kinetiky podél jednorozměrné množiny v prostoru parametrů, Uspekhi Mat. Nauk, 1975, svazek 30, číslo 6(186), 161–162.
↑ Kadoshnikov S.I. - Fotoelektrické a spektrální vlastnosti umělých chlorofyl-lipidových membrán.
↑ Uskov A.A., Kruglov V.V. - Stabilita velkých systémů.
↑ George J. Klir - Architektura řešení systémových problémů.
↑ G. Foerster - Biologická logika // "Problémy bioniky: Biologické prototypy a syntetické systémy", ed. "Mir", M., 1965.
↑ R. Boyell - Paměť se sémantickými vazbami // "Problémy bioniky: Biologické prototypy a syntetické systémy", ed. "Mir", M., 1965.
↑ Khinchin A. Ya Koncept entropie v teorii pravděpodobnosti // Uspekhi matematicheskikh nauk. - 1953. - T. 8 , čís. 3(55) . - S. 3-20 .
↑ Plastino A., Plastino AR Tsallisova entropie a Jaynesova informační teorie Formalismus // Brazilský žurnál fyziky. - 1999. - T. 29 , no. 1 . - S. 53 .
↑ Csiszár I. Třída míry informativnosti pozorovacích kanálů. // Periodika Math. hungar. - 1972. - T. 2 . — S. 191–213 .
↑ Arimoto S. Informačně-teoretické úvahy o problémech odhadu // Informace a řízení. - 1971. - T. 19 , no. 3 . — S. 181–194 .
↑ Csiszár I. Axiomatická charakteristika informačních měr. // entropie. - 2008. - Vydání. 10 . - S. 261-273 .
↑ Cichocki A., Amari S.-I. Rodiny alfa-beta- a gama divergence: Flexibilní a robustní míry podobností. // entropie. - 2010. - T. 12 , no. 6 . - S. 1532-1568 .

Literatura

Ph.D. Demenok S. L. Prostě entropie . — Cyklus publikací „Fraktály a chaos“. - Petrohrad: "STRATA", 2019.
Shambadal P. Vývoj a aplikace konceptu entropie. — M .: Nauka, 1967. — 280 s.
Martin N., Anglie J. Matematická teorie entropie. — M .: Mir, 1988. — 350 s.
Khinchin A. Ya. Koncept entropie v teorii pravděpodobnosti // Uspekhi matematicheskikh nauk. - 1953. - T. 8 , čís. 3(55) . - S. 3-20 .
Glensdorf P., Prigogine I. Termodynamická teorie struktury, stability a fluktuací. - M. , 1973.
Prigogine I. , Stengers I. Rozkaz z chaosu. Nový dialog mezi člověkem a přírodou. - M. , 1986.
Brulluen L. Věda a teorie informace. - M. , 1960.
Viner N. Kybernetika a společnost. - M. , 1958.
Wiener N. Kybernetika aneb Řízení a komunikace u zvířat a strojů. - M. , 1968.
De Groot S. , Mazur P. Nerovnovážná termodynamika. - M. , 1964.
Sommerfeld A. Termodynamika a statistická fyzika. - M. , 1955.
Petrušenko L. A. Samopohyb hmoty ve světle kybernetiky. - M. , 1974.
Ashby W. R. Úvod do kybernetiky. - M. , 1965.
Yaglom A.M. , Yaglom I.M. Pravděpodobnost a informace. - M. , 1973.
Volkenshtein M. V. Entropie a informace. - M .: Nauka, 1986. - 192 s.
Wentzel E. S. Teorie pravděpodobnosti. - M. : Nauka, 1969. - 576 s.
Zaripov R. G. Nová opatření a metody v teorii informace. - Kazaň: Kazaňské nakladatelství. Stát tech. un-ta, 2005. - 364 s.
Tsypkin Ya. Z. Informační teorie identifikace. - M .: Věda. Fizmatlit, 1995. - 336 s.
Kolmogorov A. N. Teorie informace a teorie algoritmů. - M. : Nauka, 1987. - 304 s.

Odkazy

Fraktály a chaos

Termodynamické potenciály
Vnitřní energie Entalpie Helmholtzova volná energie Gibbsova energie Velký termodynamický potenciál
Portál "Fyzika"