Az információelmélet fejlődésének idővonala

Az információelmélethez , az adattömörítéshez , a hibajavító kódokhoz és a kapcsolódó szakterületekhez kapcsolódó események idővonala :

• 1872  - Ludwig Boltzmann bemutatja H-tételét , és vele együtt a Σ p i log p i képletet egyetlen gázrészecske entrópiájára.

• 1878  – Josiah Willard Gibbs definiálja a Gibbs-entrópiát : az entrópiaképletben szereplő valószínűségeket most az egész rendszer állapotának valószínűségeinek tekintjük.

• 1924  – Harry Nyquist beszél az "intelligencia" számszerűsítéséről és arról, hogy milyen sebességgel tudja azt egy kommunikációs rendszerrel továbbítani.

• 1927  – John von Neumann meghatározza a von Neumann entrópiát , kiterjesztve a Gibbs-entrópiát a kvantummechanikában.

• 1928  – Ralph Hartley bevezeti a Hartley- képletet a lehetséges üzenetek számának logaritmusaként, azzal az információval, amelyet akkor továbbítanak, amikor a fogadó (vevő, vevő) meg tudja különböztetni az egyik karaktersorozatot a többitől (függetlenül a kapcsolódó értéktől).

• 1929  – Leo Szilard elemzi Maxwell démonát , megmutatja, hogyan képes a Szilard motor néha az információkat hasznos munkává alakítani.

• 1940  – Alan Turing bevezeti a decibánt mint információegységet a német Enigma gépezetben , a beállításokat a Banburismus folyamat titkosítja .

• 1944 – Claude Shannon  információelmélete nagyrészt elkészül.

• 1947  – Richard Hamming feltalálja a Hamming-kódot a hibák észlelésére és kijavítására, de csak 1950-ben teszi közzé.

• 1948  – Claude Shannon kiadja A kommunikáció matematikai elméletét

• 1949  – Claude Shannon kiadja a Communication of Information as Noise című művét , amely leírja a mintavételi tételt és a Shannon-Hartley tételt .

• 1949 – Claude Shannon kommunikációelmélete titkos rendszerekben  feloldásra kerül .

• 1949  – Robert Fano közzétett egy jelentést, amelyben Claude Shannontól függetlenül leírják a Shannon-Fano algoritmust .

• 1949 –  Megjelent a Kraft-McMillan egyenlőtlenség .

• 1949  – Marcel Golay bevezeti a Golay kódokat a hibajavításhoz a megelőző módszerrel .

• 1950  – Richard Hamming Hamming kódokat ad ki a megelőző hibajavításhoz .

• 1951  – Solomon Kullback és Richard Leibler bevezeti a Kullback-Leibler távolság fogalmát .

• 1951  – David Huffman feltalálja a Huffman- kódolást , egy módszert az optimális előtagkódok megtalálására a veszteségmentes adattömörítéshez.

• 1953  – Sardinas-Patterson algoritmus közzététele .

• 1954  – Irving S. Reed és David E. Muller bevezeti a Reed-Muller kódokat .

• 1955  – Peter Elias bevezeti a konvolúciós kódokat .

• 1957  – Eugene Prange először tárgyalja a ciklikus redundancia kódját .

• 1959  - Alexis Hockwingham , majd egymástól függetlenül a következő évben Raj Chandra Bose és Dwijendra Kamar Ray-Chowdhury bemutatja a Bowes-Chowdhury-Hokvingham kódokat (BCH kódok) .

• 1960  – Irving Reed és Gustav Solomon bevezeti a Reed-Solomon kódokat .

• 1962  – Robert Gallagher egy alacsony sűrűségű paritásellenőrzési kódot javasol ; műszaki korlátok miatt 30 évig nem használták őket.

• 1966  – Megjelent David Fornay összefűzött hibajavító kódja .

• 1967  – Andrew Viterbi felfedezi a Viterbi algoritmust , amely lehetővé teszi a konvolúciós kódok dekódolását.

• 1968  – Alvin Berlekamp feltalálja a Berlekamp-Massey algoritmust ; alkalmazását a BCH kódok dekódolására és a Reed-Solomon kódra mutatta rá James Massey a következő évben.

• 1968  – Chris Wallis David M. Bouton kiadja az elsőt a sok közül a minimális üzenethosszról (MLM)  – statisztikai és induktív levezetésükről.

• 1972  – Megjelent egy cikk a Justesen kódról .

• 1973  - David Slepian és Jack Wolf felfedezik és bebizonyítják a Slepian-Wolf Code kódolását, amely egy elosztott kódforrás korlátait kódolja .

• 1976  – Gottfried Ungerboek közzéteszi az első tanulmányt a Trellis modulációról .

• 1976  – Jorma Rissanen kifejleszti és később szabadalmaztatja az IBM számára aritmetikai kódolást .

• 1977  – Abraham Lempel és Yaakov Ziv kifejlesztik a Lempel-Ziv tömörítési algoritmust (LZ77)

• 1982  - Gottfried Ungerboek közzéteszi a Trellis moduláció részletesebb leírását , ami a régi hagyományos telefonszolgáltatás analóg modemének sebességének 9,6 kbps-ról 36 kbps-ra történő növekedését eredményezi.

• 1989  – Phil Katz létrehozza a .zip formátumot, beleértve a DEFLATE tömörítési formátumot ( LZ77 + Huffman kódolás); ez lesz később a legszélesebb körben használt veszteségmentes tömörítési algoritmus.

• 1993  – Claude Burrow , Alain Glaviux és Punya Thitimajshima bevezeti a Turbo kódok fogalmát .

• 1994  – Michael Burrows és David Wheelera Burrows-Wheeler transzformáció elméletét , amely később a bzip2 -ben is alkalmazható lesz .

• 1995  – Benjamin Schumacher megalkotta a Qubit kifejezést .

• 1998 Fountain Code  javasolt .

• 2001 - a Statistical Lempel–Ziv  algoritmus leírása .

• 2008  – Erdal Arıkan sarki kódokat javasolt .

A hazai tudósok hozzájárulása az információelmélethez

• A Markov-lánc fogalma A. A. Markov orosz matematikushoz tartozik , akinek 1906-1908 - ban jelentek meg első írásai a nyelvi problémák megoldása során.

• 1933  - V. A. Kotelnyikov akadémikus bebizonyította a híres mintavételi tételt .

• 1947  - V. A. Kotelnikov megalkotta a lehetséges zajtűrés elméletét. A potenciális zajtűrés elmélete lehetővé tette az optimális eszközök szintetizálását bármilyen jel feldolgozására zaj jelenlétében. Két részből állt - a diszkrét és analóg jelek vételének elmélete.

• 1948-1949 - Az információelmélet  alapjait Claude Shannon amerikai tudós fektette le . Elméleti szakaszaihoz A. N. Kolmogorov és A. Ya szovjet tudósok járultak hozzá .

• 1950  - A konkrét kódok és az optimális kódok összehasonlításakor R. R. Varshamov eredményeit széles körben használják . A hibajavítás lehetőségeinek érdekes új határait V. I. Levenshtein és V. M. Szidelnyikov szabta meg.

• 1956  – Matematikai munkára volt szükség, amely lefektette az információelmélet matematikai alapjait. A problémát A. N. Kolmogorov jól ismert jelentése a Szovjetunió Tudományos Akadémiájának a termelés automatizálásának szentelt ülésén oldotta meg. A. Ya. Khinchin első úttörő munkái az információelmélet alapvető tételeinek bizonyítására irányultak a diszkrét esetre.

• 1957  - amikor A. N. Kolmogorov a szuperpozíciókra vonatkozó híres Hilbert-problémát tanulmányozta , nemcsak megmutatta annak lehetőségét, hogy bármilyen folytonos függvényt három változó folytonos függvényeinek szuperpozíciójaként ábrázoljon, hanem olyan módszert is megalkotott, amely lehetővé tette tanítványa, V. I. Arnold számára, hogy csökkentse a szuperpozíciók számát. változókat kettőre, és ezzel megoldja az említett problémát.

• 1958  - A. N. Kolmogorov . A tranzitív dinamikai rendszerek és a Lebesgue -terek automorfizmusainak új metrikus invariánsa DAN SSSR. Nagyon fontos és gyümölcsöző lehetőségek az entrópia fogalmának alkalmazásában a dinamikus rendszerek izomorfizmusának problémájában.

• 1958  - I. M. Gelfand , A. N. Kolmogorov , A. M. Yaglom jelentése "Az információ mennyisége és az entrópia folyamatos eloszlások esetén." - A könyvben: Tr. III Szövetségi matematika. Kongresszus. M.: A Szovjetunió Tudományos Akadémia Kiadója.

Megjegyezzük Hu Guo Ding kínai tudós munkáját is , aki akkoriban próbaidőn volt a Moszkvai Egyetemen.

• 1961  – Hu Guo Ding . Három inverz tétel Shannon információelméletbeli tételéhez.

• 1962  – Hu Guo Ding . A csatornasorozat információs stabilitásáról. Valószínűségszámítás és alkalmazásai.

• 1965 - Megjelent az A. A. Kharkevich  kezdeményezésére létrehozott "Problémák az információtovábbítás" című folyóirat első száma .

• 1966  - Stratonovich R. L. , Grishanin B. A. "Az információ értéke, amikor lehetetlen közvetlenül megfigyelni a becsült valószínűségi változót."

• 1968  - Stratonovich R. L., Grishanin B. A. "Játékproblémák az információtípus megszorításaival."

• Az 1960 -as évek végén kidolgozták a Vapnik-Chervonenkis elméletet , a függőség helyreállításának statisztikai elméletét, amelyet V. N. Vapnik és A. Ya. Chervonenkis dolgozott ki.

• 1970  – Goppa V.D. javasolta a Goppa-kódexeket .

• 1972  – Solev V. N. Az egyik Gauss-féle stacionárius folyamatban egy másikhoz viszonyított átlagos információmennyiség egységnyi idő alatt.