Nyelvi entrópia

A nyelv entrópiája egy bizonyos nyelvű szövegnek vagy magának a nyelvnek a statisztikai függvénye , amely meghatározza a szövegegységre jutó információ mennyiségét.

Matematikai szempontból egy nyelv entrópiáját a következőképpen határozzuk meg

r = H \bal (M \jobb) / N

hol van az üzenet, mi az entrópiája , az üzenet hossza. $M$ $H \bal (M \jobb)$ $N$

Claude Shannon és Thomas Cover ( engl. Thomas Cover ) szerint az angol esetében ez az érték 1,3 és 2,3 bit /betű között van.

Irodalom

Schneier B. 11. fejezet: Matematikai alapok. A nyelv entrópiája. // Alkalmazott kriptográfia. Protokollok, algoritmusok, forráskód C nyelven = Applied Cryptography. Protokollok, algoritmusok és forráskód: C. - M .: Triumf, 2002. - P. 269. - 816 p. - 3000 példányban. - ISBN 5-89392-055-4 .
CE Shannon . A nyomtatott angol (angol) előrejelzése és entrópiája // Bell Systems Technical Journal. - 1951. - 1. évf. 30 . - P. 50-64 . Archiválva az eredetiből 2007. február 5-én.
Cover, T. , King, R. Az angol entrópiájának konvergens szerencsejáték-becslése // Information Theory, IEEE Transactions on. - 1978. - T. 24 , sz. 4 . - S. 413 - 421 . — ISSN 0018-9448 .