Teorie informace

Teorie informace  je odvětvím aplikované matematiky , radiotechniky ( teorie zpracování signálů ) a informatiky , které se týká měření množství informace , jejích vlastností a stanovení omezujících vztahů pro systémy přenosu dat. Jako každá matematická teorie, teorie operuje s matematickými modely , a ne se skutečnými fyzickými objekty (zdroje a komunikační kanály ). Využívá především matematický aparát teorie pravděpodobnosti a matematické statistiky .

Hlavními odvětvími teorie informace jsou zdrojové kódování ( kompresivní kódování ) a kanálové kódování ( korekce šumu ). Teorie informace úzce souvisí s informační entropií , komunikačními systémy, kryptografií a dalšími souvisejícími disciplínami.

Obor je průsečíkem matematiky , statistiky , informatiky , fyziky , neurovědy , informačního inženýrství a elektrotechniky . Tato teorie našla uplatnění také v jiných oblastech, včetně statistického vyvozování , zpracování přirozeného jazyka , kryptografie , neurovědy [1] , lidského vidění [2] , evoluce [3] a funkce [4] molekulárních kódů ( bioinformatika ), statistického modelu výběr [5] , termální fyzika [6] , kvantové výpočty , lingvistika , detekce plagiátů [7] , rozpoznávání vzorů a detekce anomálií [8] . Důležitá podpole teorie informace zahrnují kompresi dat , kódování kanálů , teorii algoritmické složitosti , teorii algoritmické informace , informačně-teoretickou bezpečnost, Grayovu relační analýzu a měření informací.

Úvod

Vznik teorie informace je spojen s publikací Clauda Shannona práce " Mathematical Theory of Communication " v roce 1948 . Z pohledu Shannona je teorie informace odvětvím matematické teorie komunikace. Teorie informace nastavuje hlavní hranice možností systémů přenosu informací, stanovuje výchozí principy pro jejich vývoj a praktickou realizaci. Rozsah problémů teorie informace je prezentován pomocí blokového diagramu, typického systému pro přenos nebo ukládání informací.

Ve schématu je zdrojem jakýkoli objekt ve vesmíru , který generuje zprávy, které se musí pohybovat v prostoru a čase . Bez ohledu na původní fyzikální povahu jsou všechny přenášené zprávy obvykle převedeny do formy elektrických signálů , takové signály jsou považovány za výstup zdroje. Zdrojový kodér představuje informace v nejkompaktnější podobě. Kanálový kodér zpracovává informace, aby chránil zprávy před rušením během přenosu komunikačním kanálem nebo před možným zkreslením během ukládání informací. Modulátor převádí zprávy generované kanálovým kodérem na signály konzistentní s fyzickou povahou komunikačního kanálu nebo média pro ukládání informací. Médium pro šíření informací ( komunikační kanál ) vnáší do procesu přenosu informace náhodný šum, který zprávu zkresluje a tím ztěžuje její čtení. Bloky umístěné na přijímací straně provádějí opačné operace a poskytují příjemci informace ve snadno srozumitelné formě .

Historie

Zrod teorie informace je často spojován s umístěním práce Clauda Shannona v žurnálu americké telefonní společnosti Bell System v červenci až říjnu 1948 pod názvem „Mathematical Theory of Communication“. Ale stojí za zmínku, že k formulaci a konstrukci teorie informace přispělo i mnoho dalších významných vědců. Sám Shannon na začátku svého článku napsal: „Některá z hlavních ustanovení této teorie se nacházejí v důležitých dílech Nyquista a Hartleyho . V současnosti byla teorie rozšířena o řadu nových faktorů, zejména vliv šumu v kanálu.

Shannon v podstatě rozvinul směr Hartleyho práce pomocí pojmu „informace“, ale tento termín sám o sobě nevysvětluje, pouze stanoví, že zprávy mohou mít nějaký „význam“, tedy odkazovat na systém, který má svůj vlastní fyzickou nebo spekulativní podstatu ( kybernetický systém) . Shannonova teorie byla zpočátku považována za přesně formulovaný matematický problém a umožňovala určit propustnost hlučného komunikačního kanálu.

Kódování dat

Kódování je proces přechodu zprávy na vstupu komunikačního kanálu na kód zprávy na výstupu, přičemž informační hodnota zprávy musí zůstat nezměněna. V teorii informace lze rozlišit následující sekce:

1. Kódování diskrétních zdrojů (bezztrátový model kódování dat).

2. Kódování dat zajišťující jejich bezchybný přenos přes zašuměný kanál.

Kód je jednoznačně dekódovatelný, pokud je jakákoli sekvence znaků z abecedy kódu (a většinou 0 a 1) rozdělena do samostatných slov. Pokud ani jedno kódové slovo není začátkem jiného, ​​kód se nazývá prefixový kód a je jednoznačně dekódovatelný. Být s prefixem je tedy postačující, ale ne nezbytnou podmínkou pro jedinečnou dekódovatelnost. Požadavek na předponu omezuje množinu délek kódových slov a neumožňuje volit příliš krátká kódová slova. Nezbytnou a postačující podmínkou pro existenci prefixového svazkového kódu s délkami kódových slov je splnění Kraftovy nerovnosti:

Je také nutné vzít v úvahu Shannon-Fano kód  - algoritmus pro prefixové nejednotné kódování. Tato metoda kódování využívá redundanci zprávy, která spočívá v nestejnoměrném frekvenčním rozložení znaků její abecedy, to znamená, že nahrazuje kódy častějších znaků krátkými binárními sekvencemi a kódy vzácnějších znaků delšími. binární posloupnosti. Zvažte zdroj, který vybírá písmena ze sady s pravděpodobnostmi . Předpokládáme, že písmena jsou uspořádána v sestupném pořadí pravděpodobností ( ). Kódové slovo Shannonova kódu pro zprávu s číslem je binární posloupnost, což jsou první číslice za desetinnou čárkou v binárním zápisu čísla :

3. Kódování dat pro systémy s mnoha uživateli popisuje optimální interakci účastníků pomocí společného zdroje, například komunikačního kanálu.

Viz také

• Teorie kódování
• Filosofie informace
• Informační entropie
• Komprese dat
• Algoritmická informační teorie

Poznámky

1. ↑ F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek. Spikes: Zkoumání neurálního kódu  (neurčité) . - The MIT Press, 1997. - ISBN 978-0262681087 .
2. ↑ Delgado-Bonal, Alfonso; Martin-Torres, Javier. Lidský zrak je určen na základě teorie informace  // Vědecké  zprávy. - 2016. - 3. listopadu ( roč. 6 , č. 1 ). — ISSN 2045-2322 . - doi : 10.1038/srep36038 . - . Archivováno z originálu 24. února 2021.
3. ↑ cf; Huelsenbeck, JP; Ronquist, F.; Nielsen, R.; Bollback, JP Bayesovský závěr fylogeneze a její dopad na evoluční biologii  (anglicky)  // Science : journal. - 2001. - Sv. 294 , č.p. 5550 . - S. 2310-2314 . - doi : 10.1126/science.1065889 . - .
4. ↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Philip; Nathans, Jeremy; Rogan, Peter K. Thomas D. Schneider , Michael Dean (1998) Organizace genu ABCR: analýza promotorových a sestřihových sekvencí  ]  // Gen : deník. - Elsevier , 1998. - Sv. 215 , č.p. 1 . - str. 111-122 . - doi : 10.1016/s0378-1119(98)00269-8 . Archivováno z originálu 21. srpna 2008.
5. ↑ Burnham, KP a Anderson DR (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, druhé vydání (Springer Science, New York) ISBN 978-0-387-95364-9 .
6. ↑ Jaynes, ET Teorie informací a statistická mechanika   // Fyzika . Rev.  : deník. - 1957. - Sv. 106 , č. 4 . — S. 620 . - doi : 10.1103/physrev.106.620 . - . Archivováno z originálu 30. srpna 2011.
7. ↑ Bennett, Charles H.; Li, Ming; Mami, Bin. Řetězové dopisy a evoluční historie  (anglicky)  // Scientific American . - Springer Nature , 2003. - Sv. 288 , č.p. 6 . - str. 76-81 . - doi : 10.1038/scientificamerican0603-76 . — . — PMID 12764940 . Archivováno z originálu 7. října 2007.
8. ↑ David R. Anderson. Nějaké pozadí toho, proč lidé v empirických vědách mohou chtít lépe porozumět informačně-teoretickým metodám (pdf) (1. listopadu 2003). Získáno 23. června 2010. Archivováno z originálu 23. července 2011. (neurčitý)

Literatura

• Kudryashov B. D.  Information Theory, St. Petersburg State University NRU ITMO
• Leontiev VK , Gordeev EN Kombinatorické aspekty teorie informace . M.: MIPT , 2019.
• Fursov V. A. Přednášky o teorii informace ISBN 5-7883-0458-X
• Claude E. Shannon , Warren Weaver. Matematická teorie komunikace. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
• Thomas M. Cover , Joy A. Thomas. Prvky teorie informace New York: Wiley, 1991.ISBN 0-471-06259-6
• R. Landauer , Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 ( IEEE Comp. Sci.Press, Los Alamitos, 1993) str. 1-4.
• Maxwell's Demon: Entropy, Information, Computing, H.S. Leff a A.F. Rex, editoři, Princeton University Press , Princeton, NJ (1990). ISBN 0-691-08727-X
• Shannon K. Pracuje na teorii informace a kybernetice. — M.: Ed. zahraniční, cizí lit., 1963. - 830 s.
• Kolmogorov AN Tři přístupy k definici pojmu "množství informací", Probl. peredachi inform., 1 :1 (1965), 3-11
• Mackay, Davide. Informační teorie, vyvozování a algoritmy učení . - Cambridge University Press, 2003. - ISBN 9780521642989 .

Odkazy

• Teorie informace  // Encyklopedie " Krugosvet ".
• Norbert Wiener . „Kybernetika aneb řízení a komunikace u zvířat a strojů“
• K. Shannon . "Rozjetý vůz"
• Důležité publikace v teorii informace   (eng.)
• Tradiční přístupy ke kvantifikaci informací
• Synergická informační teorie
• Holevo A. S. Úvod do kvantové teorie informace
• Holevo A. S. Kvantové systémy, kanály, informace (c2) M.: MTsNMO , 2014, 327 s. (Na portálu vydavatele, pdf, 2M)
• komprese.ru
• Elektronická učebnice teorie informace
• Elektronická učebnice teorie informace

Slovníky a encyklopedie	Velká dánština Velká Katalánština Velký Rus okolo světa Britannica (online) Universalis
V bibliografických katalozích BNE : XX527336 BNF : 119321069 GND : 4026927-9 J9U : 987007550715205171 LCCN : sh85066289 LNB : 000053186 NDL : 00575012 NKC : ph126560