Časová osa vývoje teorie informace

Časová osa událostí souvisejících s teorií informace , kompresí dat , kódy pro opravu chyb a souvisejícími disciplínami:

• 1872  – Ludwig Boltzmann předkládá svůj H-teorém a s ním i vzorec Σ p i log p i pro entropii jedné částice plynu.

• 1878  – Josiah Willard Gibbs definuje Gibbsovu entropii : pravděpodobnosti ve vzorci entropie jsou nyní brány jako pravděpodobnosti stavu celého systému.

• 1924  – Harry Nyquist hovoří o kvantifikaci „Inteligence“ a rychlosti, s jakou může být přenášena komunikačním systémem.

• 1927  – John von Neumann definoval von Neumannovu entropii a rozšířil Gibbsovu entropii v kvantové mechanice.

• 1928  – Ralph Hartley zavádí Hartleyho vzorec jako logaritmus počtu možných zpráv s informacemi přenášenými, když příjemce (přijímač, přijímač) dokáže rozlišit jednu sekvenci znaků od kterékoli jiné (bez ohledu na jakoukoli přidruženou hodnotu).

• 1929  – Leo Szilard analyzuje Maxwellova démona a ukazuje, jak Szilardův motor někdy dokáže převést informace na extrahování užitečné práce.

• 1940  – Alan Turing zavádí deciban jako jednotku informací v německém stroji Enigma s nastavením zašifrovaným procesem Banburismus .

• 1944 –  Informační teorie Clauda Shannona je z velké části kompletní.

• 1947  – Richard Hamming vynalezl Hammingův kód pro detekci chyb a jejich opravu, ale publikoval je až v roce 1950.

• 1948  – Claude Shannon publikuje The Mathematical Theory of Communication

• 1949  – Claude Shannon publikuje Communication of Information as Noise , která popisuje teorém vzorkování a teorém Shannon-Hartley .

• 1949 - Teorie komunikace Clauda Shannona v tajných systémech  je odtajněna .

• 1949  – Robert Fano publikoval zprávu, ve které je nezávisle na Claude Shannonovi popsán Shannon-Fanoův algoritmus .

• 1949 -  Byla zveřejněna Kraft-McMillanova nerovnost .

• 1949  – Marcel Golay zavádí Golayovy kódy pro opravu chyb pomocí preemptivní metody .

• 1950  – Richard Hamming publikuje Hammingovy kódy pro preventivní opravu chyb .

• 1951  – Solomon Kullback a Richard Leibler představili koncept vzdálenosti Kullback-Leibler .

• 1951  – David Huffman vynalezl Huffmanovo kódování , metodu pro nalezení optimálních prefixových kódů pro bezztrátovou kompresi dat.

• 1953  – Sardinas-Pattersonův algoritmus publikován .

• 1954  – Irving S. Reed a David E. Muller zavádějí Reed-Mullerovy kódy .

• 1955  – Peter Elias zavádí konvoluční kódy .

• 1957  – Eugene Prange poprvé diskutuje o cyklickém redundantním kódu .

• 1959  – Alexis Hockwingham a nezávisle následující rok Raj Chandra Bose a Dwijendra Kamar Ray-Chowdhury prezentují kódy Bowes-Chowdhury-Hokvingham (kódy BCH) .

• 1960  – Irving Reed a Gustav Solomon představili Reed-Solomonovy kódy .

• 1962  – Robert Gallagher navrhuje kód s nízkou hustotou paritních kontrol ; nebyly kvůli technickým omezením používány 30 let.

• 1966  – Byl publikován článek Davida Fornaye Concatenated error correction code .

• 1967  – Andrew Viterbi objevil Viterbiho algoritmus , který umožňuje dekódovat konvoluční kódy.

• 1968  – Alvin Berlekamp vynalezl Berlekamp-Massey algoritmus ; jeho aplikace na dekódování BCH kódů a Reed-Solomonův kód, na který upozornil James Massey následující rok.

• 1968  – Chris Wallis David M. Bouton publikují první z mnoha článků o minimální délce zprávy (MLM)  – jejich statistické a induktivní derivaci.

• 1972  – Vyšel článek o Justesenově kódu .

• 1973  – David Slepian a Jack Wolf objevili a dokázali Slepian-Wolfův kód kódující limity distribuovaného zdroje kódování .

• 1976  – Gottfried Ungerboek publikuje první článek o modulaci Trellis .

• 1976  – Jorma Rissanen vyvíjí a později patentuje aritmetické kódování pro IBM .

• 1977  – Abraham Lempel a Yaakov Ziv vyvinuli kompresní algoritmus Lempel-Ziv (LZ77)

• 1982  – Gottfried Ungerboek publikuje podrobnější popis modulace Trellis , která vede ke zvýšení rychlosti analogového modemu staré konvenční telefonní služby z 9,6 kbps na 36 kbps.

• 1989  – Phil Katz vytvořil formát .zip, včetně kompresního formátu DEFLATE ( LZ77 + kódování Huffman ); to se později stane nejrozšířenějším bezeztrátovým kompresním algoritmem.

• 1993  – Claude Burrow , Alain Glaviux a Punya Thitimajshima představili koncept Turbo kódů .

• 1994  – Michael Burrows a David Wheeler publikují teorii Burrows-Wheelerovy transformace , která později najde uplatnění v bzip2 .

• 1995  - Benjamin Schumacher vytvořil termín Qubit .

• 1998  navržen kód fontány .

• 2001 –  je popsán statistický algoritmus Lempel–Ziv .

• 2008  – Erdal Arıkan navrhl polární kódy .

Příspěvek domácích vědců k teorii informace

• Pojem Markovův řetězec patří ruskému matematikovi A. A. Markovovi , jehož první články o této problematice při řešení lingvistických problémů vyšly v letech 1906 - 1908

• 1933  - Akademik V. A. Kotelnikov dokázal slavný vzorkovací teorém .

• 1947  – V. A. Kotelnikov vytvořil teorii potenciální šumové imunity. Teorie potenciální šumové imunity umožnila syntetizovat optimální zařízení pro zpracování jakýchkoli signálů v přítomnosti šumu. Měla dvě části - teorii příjmu diskrétních a analogových signálů.

• 1948 - 1949  - Základy teorie informace položil americký vědec Claude Shannon . Do jeho teoretických částí přispěli sovětští vědci A. N. Kolmogorov a A. Ya .

• 1950  - Při porovnávání konkrétních kódů s optimálními jsou široce používány výsledky R. R. Varshamova . Zajímavé nové hranice pro možnosti opravy chyb stanovili V. I. Levenshtein a V. M. Sidelnikov.

• 1956  – Bylo zapotřebí matematické práce, která položila matematický základ teorie informace. Problém vyřešila známá zpráva A. N. Kolmogorova na zasedání Akademie věd SSSR věnované automatizaci výroby. První průkopnické práce A. Ya Khinchina byly věnovány dokazování základních teorémů teorie informace pro diskrétní případ.

• 1957  - když A. N. Kolmogorov studoval slavný Hilbertův problém o superpozicích, ukázal nejen možnost reprezentovat libovolnou spojitou funkci jako superpozici spojitých funkcí tří proměnných, ale také vytvořil metodu, která umožnila jeho studentovi V. I. Arnoldovi snížit počet proměnné na dvě a tím vyřešit zmíněný problém.

• 1958  - A. N. Kolmogorov . Nový metrický invariant tranzitivních dynamických systémů a automorfismů Lebesgueových prostorů DAN SSSR. Velmi důležité a plodné možnosti aplikace konceptu entropie na problém izomorfismu dynamických systémů.

• 1958  – Zpráva I. M. Gelfanda , A. N. Kolmogorova , A. M. Yagloma „Množství informace a entropie pro spojitá rozdělení.“ – V knize: Tr. III All-Union Math. kongres. M.: Nakladatelství Akademie věd SSSR.

Zaznamenáváme také práci čínského vědce Hu Guo Dinga , který byl v té době ve zkušební době na Moskevské univerzitě.

• 1961  - Hu Guo Ding . Tři inverzní věty k Shannonově větě v teorii informace.

• 1962  - Hu Guo Ding . O informační stabilitě posloupnosti kanálů. Teorie pravděpodobnosti a její aplikace.

• 1965  - vyšlo první číslo časopisu "Problémy přenosu informací", vytvořeného z iniciativy A. A. Charkeviche .

• 1966  - Stratonovich R. L. , Grishanin B. A. "Hodnota informace, když není možné přímo pozorovat odhadovanou náhodnou veličinu."

• 1968  - Stratonovich R. L., Grishanin B. A. "Herní problémy s omezeními typu informací."

• Na konci 60. let byla vyvinuta Vapnik-Chervonenkisova teorie , statistická teorie obnovy závislosti, kterou vyvinuli V. N. Vapnik a A. Ya. Chervonenkis.

• 1970  – Goppa V.D. navrhl Goppa Codes .

• 1972  — Solev V. N. V průměru za jednotku času množství informací obsažených v jednom Gaussově stacionárním procesu ve vztahu k druhému.