Jazyková entropie

Entropie jazyka je statistická funkce textu v určitém jazyce nebo jazyka samotného, která určuje množství informací na jednotku textu.

Z matematického hlediska je entropie jazyka definována jako

r = H \left( M \right) / N

kde je zpráva, je její entropie , je délka zprávy. $M$ $H \doleva( M \vpravo)$ $N$

Podle Claude Shannona a Thomase Covera ( angl. Thomas Cover ) je pro angličtinu tato hodnota mezi 1,3 a 2,3 bity na písmeno.

Literatura

Schneier B. Kapitola 11. Matematické základy. Entropie jazyka. // Aplikovaná kryptografie. Protokoly, algoritmy, zdrojový kód v jazyce C = Aplikovaná kryptografie. Protokoly, algoritmy a zdrojový kód v C. - M. : Triumf, 2002. - S. 269. - 816 s. - 3000 výtisků. - ISBN 5-89392-055-4 .
CE Shannon . Predikce a entropie tištěné angličtiny (angličtina) // Bell Systems Technical Journal. - 1951. - Sv. 30 . - str. 50-64 . Archivováno z originálu 5. února 2007.
Cover, T. , King, R. Konvergentní hazardní odhad entropie angličtiny // Information Theory, IEEE Transactions on. - 1978. - T. 24 , no. 4 . - S. 413 - 421 . — ISSN 0018-9448 .