Shannon, Claude

Claude Elwood Shannon ( angolul  Claude Elwood Shannon ; 1916. április 30. , Petoskey , Michigan , USA  - 2001. február 24. , Medford , Massachusetts , USA ) amerikai mérnök , kriptoanalitikus és matematikus . "Az információs korszak atyja " [9] .

Ő az információelmélet megalapítója , amely a modern high-tech kommunikációs rendszerekben is alkalmazásra talált. Olyan alapfogalmakat, ötleteket és azok matematikai megfogalmazását nyújtotta, amelyek jelenleg a modern kommunikációs technológiák alapját képezik. 1948-ban javasolta a " bit " szó használatát az információ legkisebb egységére (a " Kommunikáció matematikai elmélete " című cikkben ). Ezenkívül Shannon elméletének fontos jellemzője volt az entrópia fogalma. Bebizonyította, hogy az általa bevezetett entrópia egyenértékű a továbbított üzenetben lévő információ bizonytalanságának mértékével. Shannon " Mathematical Theory of Communication " és " Theory of Communication in Secret Systems " című tanulmányait az információelmélet és a kriptográfia alapvető elemeinek tekintik [10] . Claude Shannon volt az elsők között, aki tudományos oldalról közelítette meg a kriptográfiát, ő volt az első, aki megfogalmazta annak elméleti alapjait és számos alapfogalmat figyelembe vett. Shannon kulcsfontosságú hozzájárulást tett a valószínűségi sémák elméletéhez, a játékelmélethez , az automataelmélethez és a vezérlőrendszer-elmélethez – a „ kibernetika ”  fogalmába tartozó tudományterületekhez .

Életrajz

Gyermekkor és ifjúság

Claude Shannon 1916. április 30-án született Petoskeyban, Michigan államban , az Egyesült Államokban . Apja, Claude Sr. (1862–1934) önálló üzletember, ügyvéd, egy ideig bíró volt. Shannon édesanyja, Mabel Wolfe Shannon (1890–1945) idegen nyelvek tanára volt, majd a Gaylord High School igazgatója lett. Shannon apjának matematikai beállítottsága volt. A tudomány szeretetét nagyapja oltotta Shannonba. Shannon nagyapja feltaláló és farmer volt. Feltalálta a mosógépet más hasznos mezőgazdasági berendezésekkel együtt [11] . Thomas Edison a Shannonok távoli rokona volt [12] [13] .

Claude élete első tizenhat évét a michigani Gaylordban töltötte, ahol 1932-ben végzett a Gaylord Comprehensive High School-ban. Fiatalkorában a Western Union futárjaként dolgozott . A fiatal Claude szeretett mechanikus és automata berendezéseket tervezni. Repülőgép-modelleket és rádióáramköröket gyűjtött, rádióvezérlésű csónakot és távírórendszert hozott létre egy barátja és a saját háza között. Időnként a helyi áruház rádióállomásait kellett javítania [10] .

Shannon saját szavai szerint apolitikus ember és ateista [14] volt .

Egyetemi évek

1932-ben Shannon beiratkozott a Michigani Egyetemre , ahol az egyik tanfolyamon megismerkedett George Boole munkásságával . 1936-ban Claude a Michigani Egyetemen végzett , és két szakon (matematika és elektrotechnika) szerzett bachelor fokozatot, és a Massachusetts Institute of Technology -n (MIT) kapott állást, ahol kutatási asszisztensként dolgozott. Operátorként működött egy mechanikus számítástechnikai eszközön, egy analóg számítógépen , amelyet „differenciálanalizátornak” neveznek, és amelyet témavezetője, Vanivar Bush fejlesztett ki . A differenciálelemző összetett, rendkívül speciális áramkörének tanulmányozása során Shannon látta, hogy Boole koncepciói jól használhatók. Miután 1937 nyarán a Bell Telephone Laboratories -nál dolgozott , akkori diplomamunkája alapján dolgozatot írt "A relé és kapcsolóáramkörök szimbolikus elemzése" címmel. Megjegyzendő, hogy Frank Lauren Hitchcock irányította a diplomamunkát, hasznos tanácsokat és kritikákat adott. Maga a cikk 1938-ban jelent meg az American Institute of Electrical Engineers (AIEE) [15] [16] kiadványában . Ebben a munkában Shannon megmutatta, hogy a kapcsolóáramkörök használhatók az elektromechanikus relé áramkörök helyettesítésére, amelyeket aztán a telefonhívások irányítására használnak . Ezután kibővítette ezt a fogalmat, bemutatva, hogy ezek az áramkörök meg tudják oldani az összes olyan problémát, amelyet a Boole-algebra meg tud oldani . Az utolsó fejezetben több áramkör üresjáratát is bemutatja, például egy 4 bites összeadót [16] . Ezért a cikkért Shannont 1940-ben Alfred Nobel-díjjal tüntette ki az American Institute of Electrical Engineers. A digitális áramkörök tervezésének alapját az a bevált képesség, hogy bármilyen logikai számítást elvégezzenek elektromos áramkörökben. A digitális áramkörök pedig, mint ismeretes, a modern számítástechnika alapját képezik, így munkájának eredményei a 20. század legfontosabb tudományos eredményei közé tartoznak. Howard Gardner , a Harvard Egyetem munkatársa Shannon munkásságát "vitathatatlanul az évszázad legfontosabb és egyben leghíresebb mestermunkájaként" említette.

Bush tanácsára Shannon úgy döntött, hogy matematikából doktorál az MIT -n . Busht kinevezték a washingtoni Carnegie Intézet elnökévé, és felkérte Shannont, hogy vegyen részt a genetikai munkában, amelyet Barbara Burks vezetett . Bush szerint a genetika lehetett Shannon erőfeszítéseinek tárgya. Maga Shannon, miután egy nyarat a massachusettsi Woods Hole-ban töltött, érdeklődni kezdett a Mendel-féle öröklődési törvények matematikai alapjainak megtalálása iránt . Shannon doktori disszertációja "The Algebra of Theoretical Genetics" címmel 1940 tavaszán készült el [17] . Ez a mű azonban csak 1993-ban látott napvilágot, amikor megjelent a Shannon's Collected Papers-ban. Kutatása egyébként nagyon fontos lehetett volna, de ezeknek az eredményeknek a többsége tőle függetlenül született. Shannon matematikából PhD fokozatot és villamosmérnöki mesterképzést folytat. Ezt követően nem tért vissza a biológia kutatásához [18] .

Shannont a matematika információs rendszerekben, például kommunikációs rendszerekben való alkalmazása is érdekelte. A Bell Labs -ban eltöltött újabb nyarat követően 1940-ben Shannon egy tanévre tudományos asszisztens lett a Princetonban , New Jersey államban , az Institute for Advanced Study -ban [18] . Ott dolgozott a híres matematikus , Hermann Weyl irányítása alatt , és lehetősége volt megvitatni gondolatait befolyásos tudósokkal és matematikusokkal, köztük Neumann Jánossal . Véletlen találkozása volt Albert Einsteinnel és Kurt Gödellel is . Shannon szabadon dolgozott különféle tudományágakban, és ez a képessége hozzájárulhatott matematikai információelméletének további fejlődéséhez [19] .

Háborús

1941 tavaszán visszatért a Bell Labshoz , az Egyesült Államok Nemzeti Védelmi Kutatóbizottságának (NDRC) D-2-vel (Control Systems Section) kötött szerződése keretében , ahol 1956-ig dolgozott. Az Egyesült Államok második világháborúba való belépésével T. Fry vezette a légvédelmi tűzvezető rendszerek programjának kidolgozását. Shannon csatlakozott Fry csoportjához, és olyan eszközökön dolgozott, amelyek az ellenséges repülőgépeket észlelik, és légvédelmi berendezéseket céloznak rájuk, emellett titkosítási rendszereket is kifejlesztett, beleértve a kormányzati kommunikációt is, amely biztosította Churchill és Roosevelt tárgyalásait az óceánon túl. Ahogy Shannon maga mondta, a kriptográfia területén végzett munka késztette arra, hogy információelméletet alkosson.

Szintén a Bell Labsnál Shannon a kapcsolóáramkörök kutatása közben felfedez egy új módszert az áramkörök szervezésére, amely csökkenti az összetett logikai funkciók megvalósításához szükséges reléérintkezők számát. Kiadott egy tanulmányt "Bipoláris kapcsolóáramkörök szervezése" címmel. 1940 végén Shannon megkapta a Nemzeti Kutatási Díjat.

Shannon nevéhez fűződik a jel irányított grafikonok feltalálása 1942-ben. Az amplifikáció határképletét egy analóg számítógép funkcionális működésének vizsgálatában vezette le [20] .

1943 elején Shannon kapcsolatba került a vezető brit matematikussal, Alan Turinggal . Turing Washingtonba érkezett, hogy megossza az Egyesült Államok Kriptanalitikai Szolgálatával a Bletchley Park-i Kormányzati Kommunikációs Központban akkor használt módszereket az Atlanti - óceán északi részén található Kriegsmarine tengeralattjárókon használt titkosítás feltörésére [21] . A beszédtitkosítás iránt is érdeklődött, és ennek érdekében egy kis időt szentelt a " Bell Labs "-nak. Shannon és Turing teázni találkozott [21] . Turing megmutatta Shannonnak azt a dokumentumot, amelyet ma „ Turing univerzális gépként ” [22] neveznek . Ez lenyűgözte Shannont, mivel Turing számos ötlete kiegészítette az övét.

1945-ben, amikor a háború a végéhez közeledett, az Egyesült Államok Nemzeti Védelmi Kutatóbizottsága a végleges lezárás előtti utolsó lépésként kiadta a technikai jelentések összefoglalóját. Ez egy speciális esszét tartalmazott "Adatátlagolás és előrejelzés tűzvédelmi rendszerekre" címmel, Shannon, Ralph Beebe Blackman és Hendrik Bode társszerzőjével , amely hivatalosan a tűzvédelmi rendszerek adatátlagolási problémájára utal, analógiával. a kommunikációs rendszerek interferenciájától való elválasztási probléma jele. Más szóval, modellezték ezt a problémát az adat- és jelfeldolgozás szempontjából, és ezzel bevezették az információs korszakot [23] .

A háború végén titkos memorandumot készített a Bell Labs számára "A kriptográfia matematikai elmélete" címmel, 1945 szeptemberében. Ezt a tanulmányt feloldották, és 1949-ben " Kommunikációs elmélet titkos rendszerekben " címen tették közzé a Bell System Technical Journal-ban. Nem túlzás azt állítani, hogy ez a cikk megjelenésével a kriptográfia művészetből a teljes értékű tudományba való átmenetét jelentette [18] . Shannon bebizonyította, hogy az egyszeri betétes kriptorendszerek kriptográfiailag feltörhetetlenek. Azt is bebizonyította, hogy minden kriptográfiailag feltörhetetlen rendszernek lényegében ugyanazokkal a jellemzőkkel kell rendelkeznie, mint az egyszeri betétnek: a kulcsot véletlenszerűen kell kiválasztani, akkorának kell lennie, mint a nyílt szöveg, és soha nem szabad újra felhasználni sem egészben, sem részben. természetesen titokban tartott [24] . A kommunikációelmélet és a kriptográfia egyszerre fejlődött ki, és "olyan közel voltak egymáshoz, hogy lehetetlen volt szétválasztani őket" [25] . Shannon bejelentette azon szándékát, hogy "ezeket az eredményeket kidolgozza... egy hamarosan megjelenő kommunikációs memorandumban" [26] .

A háború utáni időszak

1948-ban a megígért memorandum "A kommunikáció matematikai elmélete" címmel jelent meg két részben, júliusban és októberben a Bell System Technical Journal-ban. Ez a munka a továbbított információ kódolásának problémájával foglalkozik. Ebben az alapvető munkában Shannon a Norbert Wiener által kifejlesztett valószínűségszámítási eszközöket használta , amelyek akkoriban még gyerekcipőben jártak a kommunikációelméletben való alkalmazásukat illetően. Shannon bevezette az információs entrópia fontos definícióját is, mint az üzenetekben lévő információ bizonytalanságának mértékét. Ez a cikk lényegében egy olyan tudomány kezdetét jelentette, mint az információelmélet [18] [27] .

1948 után Shannon sok jelentős információelméleti kutatást végzett.

Shannon játékelméletet is tanult. Igyekezett mindenféle gépet létrehozni, amelyeknek mindig a legtöbb nyerő stratégiát kellett követniük. Például Shannon a sakkprogramok felépítésének elveinek kidolgozásával foglalkozott (jóval azelőtt, hogy az ilyen programokat a különböző országok szakemberei gyakorlatilag elkezdték volna megvalósítani) [28] . Az 1940-es évek végén és az 1950-es évek elején két stratégiát javasolt egy adott pozícióban a legjobb lépés megtalálására. Az egyik a lehetséges lépések teljes számbavételét határozta meg a lehetőségek elágazó fájának felépítésével, a második pedig a sakktudás felhasználásával a kilátástalan lehetőségek elvágására [27] .

Claude Shannon játékelméleti érdeklődésének másik alkalmazási területe a rulett volt . Ed Thorppal , az MIT professzorával együtt 1961-ben Shannon egy doboz cigaretta méretű analóg számítástechnikai eszközt hozott létre, amelyet négy gombbal vezéreltek a rulettkerék sebességére vonatkozó információk bevitelére, ami segített a játékosnak a „helyesen” elhelyezni tét. Ed Thorpe szerint ezt az eszközt 1961-ben tesztelték egy Las Vegas-i kaszinóban, ami 44%-os nyereséget eredményezett (miközben egy ilyen eszköz létezését 1966-ig titokban tartották a szerzők). Ennek az eszköznek néhány részletét (de semmiképpen sem az összeset) a Review of the Statistical Institute, 1969, vol. 37:3 [27] .

Ugyanebben az 1950-es években Shannon megalkotott egy gépet, amely „olvas a gondolatokban”, amikor „érmét” játszik: az ember „sas”-ra vagy „farkokra” tippelt, a gép pedig 1/2-nél nagyobb valószínűséggel tippelt, mert az ember nem kerülheti el minták, amelyeket a gép használhat [29] .

1950 és 1956 között Shannon játékelmélettel foglalkozott, beleértve a logikai gépek megalkotását is, így folytatta Neumann és Turing törekvéseit . 1952-ben Shannon kifejlesztett egy betanítható mechanikus egeret, amely kiutat tudott találni egy labirintusból [30] . Megvalósította az "Ultimate Machine" tréfagépet is, amelynek másik neve "Useless Machine". Ennek a gépnek az az ötlete, hogy amikor a kapcsolót „Be” állásba kapcsoljuk, megjelenik egy „ujj”, amely visszaállítja ezt a kapcsolót az eredeti „Ki” állásba [31] . Ezenkívül épített egy eszközt, amely képes megoldani a Rubik-kockát [12] .

Shannont tekintik az információ veszteségmentes tömörítésének és kibontásának ötletének alapítójának is. Olyan elméleteket dolgozott ki, amelyek lehetővé teszik a címzett üzeneteinek minden felesleges redundanciájának eltávolítását. Sőt, ha zajos csatornán keresztül küldik őket, akkor mindenféle információ visszaadható az üzenethez, amely csak az üzenet továbbításában lévő hibák keresésére irányul.

Shannon 1956-ban elhagyja a Bell Labst , de továbbra is konzultál velük. Érdekelt az információelmélet alkalmazása a játékelméletben és a pénzügyi matematikában. 1978-ig az MIT -nél is dolgozott. Shannon tanoncok iskoláját hagyta hátra. Az MIT-n volt egy információelméleti csoport, amelyet Shannon felügyelt. A diákok bálványnak tekintették. Shannon azonban nem tartott egyetemi előadásokat, hanem gyakran tartott szemináriumokat, amelyeken szintén nem szeretett önmagában tanult standard dolgokat elmondani. Azonban improvizált rajtuk, és minden alkalommal kapott valami újat vagy régi problémákat más, új oldalról [18] . Shannon egyébként ugyanebből az okból nem szeretett tudományos cikkeket írni, de megértette, hogy erre a tudomány fejlődése érdekében szükség van [18] .

Az 1960-as évek végén – 1970-es években gyümölcsözően foglalkozott a pénzügyi matematikával [18] . Először is tanulmányozta a nyugdíjakkal és más alapokkal kapcsolatos publikált adatokat, és végül megépített egy elektromos áramkört, amely „pénzáramlást” mutatott az Egyesült Államokban. De különösen a befektetési portfólió kiválasztásának elmélete érdekelte . Ebben a tudományágban Shannon John Kellyvel együtt próbálta megoldani az eszközallokáció problémáját , melynek lényege: "Hogyan lehet a legjobban diverzifikálni egy befektetési portfóliót különböző befektetési lehetőségekkel."

Miután 1978-ban visszavonult, Shannon sok időt szentelt régi szenvedélyének, a zsonglőrködésnek. Több zsonglőrgépet épített, sőt általános elméletet is alkotott a zsonglőrködésről (még az 1940-es években egykerekűvel közlekedett a Bell Labs folyosóin zsonglőrködés közben ) [27] . Például 1983-ban Shannon tervezett egy zsonglőrgépet, amely szó szerint ócskavas anyagokból készült, és úgy volt felöltözve, mint Fields William . A gép három fémgolyóval volt képes zsonglőrködni [18] .

1985-ben Claude Shannon és felesége, Betty részt vesz a Nemzetközi Információelméleti Szimpóziumon Brightonban. Shannon hosszú ideig nem vett részt nemzetközi konferenciákon, és először nem is ismerték fel. A banketten Claude Shannon rövid beszédet mondott, három labdával zsonglőrködött, majd száz és száz autogramot adott a jelenléte által meghökkent tudósoknak és mérnököknek, akik a leghosszabb sorban álltak, és remegő érzéseket éltek át a nagy tudós iránt. Az egyik résztvevő ekkor azt mondta: "Olyan volt, mintha Sir Isaac Newton megjelent volna egy fizikai konferencián" [32] .

1993-ban kiadta a Collected Papers-t, amelyben 127, 1938 és 1982 között írt cikket gyűjt össze [13] .

Élet utolsó évei

Shannonban Alzheimer-kór alakult ki, és élete utolsó néhány évét egy massachusettsi idősek otthonában töltötte. Az egész család gondoskodott róla [33] . Claude Shannon 2001. február 24-én hunyt el. Felesége, Mary Elizabeth Moore Shannon nekrológjában kijelentette, hogy ha nem lenne szükséges az Alzheimer-kór kezelési módjait kutatni, "kínos lenne" mindezek miatt [34] .

Személyes élet

1949. március 27-én Shannon feleségül vette Mary Elizabeth Moore Shannont . Akkor ismerte meg, amikor a Bell Labs elemzőjeként dolgozott . Marynek és Claude-nak három gyermeke született: Robert James, Andrew Moore és Marguerite Katherine.

Cikk "Kommunikációs elmélet titkos rendszerekben"

Shannon " Titkos rendszerekben a kommunikáció elmélete " című munkája (1945), amelyet feloldottak és csak 1949-ben publikáltak, a kódolás (titkosítás) és az információtovábbítás elméletével kapcsolatos kiterjedt kutatások kezdeteként szolgált. Claude Shannon volt az, aki először kezdett tudományos megközelítéssel tanulmányozni a kriptográfiát. Ez a cikk a kommunikációs rendszereket matematikai szempontból írja le, és óriási sikert aratott a kriptográfia terén [10] .

Szintén a cikkben Shannon meghatározta a kriptográfia elméletének alapfogalmait, amelyek nélkül a kriptográfia már elképzelhetetlen. Shannon fontos érdeme az abszolút kriptorezisztens rendszerek tanulmányozása és létezésük bizonyítása, valamint a kriptorezisztens rejtjelek megléte és az ehhez szükséges feltételek [18] . Shannon az erős rejtjelekkel szemben támasztott alapvető követelményeket is megfogalmazta. Bemutatta a szóródás és keverés már ismert fogalmait, valamint a kriptográfiailag erős, egyszerű műveleteken alapuló titkosítási rendszerek létrehozásának módszereit.

"A kommunikáció matematikai elmélete" cikk

A " Mathematical Theory of Communication " című cikk 1948-ban jelent meg, és Claude Shannont világhírűvé tette. Ebben Shannon felvázolta elképzeléseit, amelyek később az információfeldolgozás, -továbbítás és -tárolás modern elméleteinek és technikáinak alapjává váltak. A cikk megírása előtt Shannon megismerkedett Hartley és Nyquist munkásságával [18] . A cikkben Shannon általánosította elképzeléseiket, bemutatta a továbbított üzenetekben foglalt információ fogalmát. Hartley és Nyquist a logaritmikus függvény használatát javasolták a továbbított üzenet információinak mértékeként .

Shannon a kommunikációs rendszereket a következőképpen osztotta több részre :

1. Az információforrás
2. Adó
3. Csatorna
4. Vevő
5. Rendeltetési hely

Shannon három kategóriába sorolta a kommunikációs rendszereket: diszkrét, folytonos és vegyes, azzal érvelve, hogy a diszkrét eset a másik kettő alapja, de több alkalmazhatósága [37] .

Shannon volt az első, aki a továbbított üzeneteket és a kommunikációs csatornák zaját statisztikai szempontból vette figyelembe, mind a véges, mind a folyamatos üzenethalmazokat figyelembe véve. Shannon az üzenetek forrását az összes lehetséges üzenet halmazának, a csatornát pedig az összes lehetséges zaj halmazának kezdte tekinteni [18] .

Shannon bevezette az információs entrópia fogalmát , hasonlóan a termodinamikából származó entrópiához , amely az információ bizonytalanságának mértéke. Shannon egy kicsit a kapott információ mennyiségeként (vagy csökkentett entrópiájaként) is meghatározta, amikor egy olyan kérdésre választ találtak, amelyben csak két lehetséges válasz lehetséges (például „igen” vagy „nem”), mindkettő azonos valószínűséggel ( ha nem, akkor a kapott információ száma egy bitnél kisebb lesz) [18] .

Dolgozatának első tétele a következőképpen írja le a zajos csatornán keresztüli kommunikációt [37] :

Legyen az üzenetforrás entrópiája (bit per szimbólum) és  - csatorna sávszélessége (bit per másodperc). Ekkor lehetséges az információ kódolása oly módon, hogy az átlagos átviteli sebesség egy adott csatornán másodpercenként szimbólummal egyenlő legyen, ahol  tetszőlegesen kicsi érték. Ezenkívül az átlagos adatátviteli sebesség nem lehet nagyobb, mint

Ennek a tételnek az a fő gondolata, hogy az átvihető információ mennyisége a forrásüzenetek entrópiájától vagy más szóval a véletlenszerűségétől függ. Ezért az üzenetforrás statisztikai jellemzői alapján lehetséges az információ kódolása úgy, hogy elérje a csatorna által elérhető maximális sebességet, azaz a kívánt csatornakapacitást. Ez forradalmi kijelentés volt, mivel a mérnökök korábban úgy gondolták, hogy az eredeti jel maximális információja, amely a médián keresztül továbbítható, olyan tényezőktől függ, mint például a frekvencia, de nem a jel tulajdonságaitól [37] .

Shannon második tétele a kommunikációt zajos csatornában írja le. Shannon kijelenti [37] :

Legyen az üzenetforrás entrópiája egy másodpercig, és  - csatornakapacitás. Ha , akkor lehetséges az információ olyan kódolása, amelyben a forrásadatok tetszőlegesen kis számú hibával kerülnek továbbításra a csatornán. Ha , akkor lehetséges a kódolás, amelyben a kapott információ többértelműsége kisebb lesz, mint , ahol  tetszőlegesen kis érték. Ezenkívül nincsenek olyan kódolási módszerek, amelyek kevesebb kétértelműséget adnának, mint .

Shannon gondolata az, hogy bármennyire is „zajos” a csatorna, továbbra is létezik egy kódolási módszer, amely lehetővé teszi az információk pontos továbbítását a csatornán keresztül (miközben ). Ez az ötlet pedig forradalmi, hiszen azelőtt az emberek azt hitték, hogy a csatornában van valamilyen küszöb a zajértéknek, és lehetetlenné válik a kívánt információ továbbítása [37] .

Levezetett egy képletet az üzenetforrás információátviteli sebességére és a csatorna sávszélességére , az egyes sebességek dimenziója bit per másodperc . Az előző tételből következően a következő állítás igaz:

Legyen  az üzenetforrás információátviteli sebessége, és  legyen a csatorna kapacitása. Ekkor , és hogy lehetséges az információ olyan kódolása, amelyben a hibás bitek száma egységnyi idő alatt kisebb lesz, mint bármely előre kiválasztott pozitív állandó . Bizonyítása magában foglalja a forrásüzenetek lehetséges bitfolyamokba történő kódolását, és megmutatta, hogy egy ebből a halmazból véletlenszerűen kiválasztott kódolás nagy valószínűséggel rendelkezik a fent jelzett kívánt tulajdonsággal [18].

.

Más szóval: minden zajos csatornát maximális információátviteli sebesség jellemez, ez a határ Shannon nevéhez fűződik. Ezt a határt meghaladó sebességgel történő információtovábbításkor elkerülhetetlen adattorzulások lépnek fel, de ez a határérték alulról is megközelíthető a szükséges pontossággal, tetszőlegesen kicsi az információátviteli hiba valószínűsége egy zajos csatornában.

A cikk megjelenése óta a tudósok olyan kódolásokat próbálnak találni, amelyek ugyanúgy működnek, mint Shannon véletlenszerű kódolása [18] . Természetesen jelenleg vannak olyan kódolások, amelyek a Shannon-határhoz közeli átviteli sebességet biztosítanak.

A Shannon által kidolgozott információelmélet segített megoldani az üzenetek továbbításával kapcsolatos főbb problémákat, nevezetesen: a továbbított üzenetek redundanciájának kiküszöbölését, az üzenetek kódolását és továbbítását zajos kommunikációs csatornákon. A továbbítandó üzenet redundancia problémájának megoldása lehetővé teszi a kommunikációs csatorna leghatékonyabb felhasználását. Például a televíziós műsorszórási rendszerekben manapság elterjedt, modern redundanciacsökkentési technikák akár hat digitális televíziós műsor továbbítását teszik lehetővé a hagyományos analóg televíziós jel által elfoglalt frekvenciasávban [38] .

A kommunikációs csatornákon zajos üzenet átvitelének problémája a hasznos jel teljesítményének és az interferenciajel teljesítményének adott arányában a vételi ponton lehetővé teszi az üzenetek továbbítását a kommunikációs csatornán tetszőlegesen kicsi. a hibás átvitel valószínűsége. Ez az arány határozza meg a csatorna sávszélességét is. Ezt az interferenciaálló kódok használata biztosítja, miközben az üzenetátvitel sebessége egy adott csatornán kisebb legyen, mint annak kapacitása [38] .

Shannon munkáiban bizonyította a feltárt problémák megoldásának alapvető lehetőségét, ez igazi szenzáció volt tudományos körökben az 1940-es évek végén. Ez a munka, valamint azok a munkák, amelyekben a lehetséges zajtűrő képességet tanulmányozták, hatalmas számú tanulmányt eredményeztek, amelyek a mai napig folytatódnak több mint fél évszázada. A Szovjetunió és az USA tudósai (USSR - Pinsker , Khinchin , Dobrusin , Kolmogorov ; USA - Gallagher , Wolfowitz , Feinstein ) szigorúan értelmezték a Shannon által bemutatott elméletet [38] .

A mai napig minden digitális kommunikációs rendszert a Shannon által kidolgozott információátvitel alapelvei és törvényei alapján terveztek. Az információelmélet szerint az üzenetből először eltávolítják a redundanciát, majd zajálló kódok segítségével kódolják az információt, és csak ezután jut el az üzenet a csatornán keresztül a fogyasztóhoz. Az információelméletnek köszönhetően jelentősen csökkent a televíziós, hang- és faxüzenetek redundanciája [38] .

Nagy mennyiségű kutatást szenteltek zajálló kódok létrehozásának és az üzenetek dekódolásának egyszerű módszereinek. Az elmúlt ötven évben végzett kutatások képezték az alapját a hibajavító kódolási és információforrás-kódolási módszerek modern digitális rendszerekben történő alkalmazásáról szóló ITU -ajánlásnak [38] .

Shannon tételei

Az információelméletben a hagyomány szerint az olyan állításokat, mint „ bármilyen kódra érvényes egy bizonyos tulajdonság”, inverz tételeknek, az olyan állításokat pedig, mint „ Van egy kód adott tulajdonsággal”, direkt tételeknek [39] .

• Shannon direkt és inverz tételei egy általános forráshoz  – a forrás entrópiája és az üzenetek átlagos hossza közötti kapcsolatról.
• Shannon direkt és inverz tételei egy memória nélküli forrásra  a forrás entrópia és az elérhető tömörítési arány közötti kapcsolatról szólnak veszteséges kódolás és az azt követő kétértelmű dekódolás segítségével.
• Shannon direkt és inverz tételei zajos csatornára  a csatornakapacitás és egy olyan kód létezéséről szólnak, amely nullára hajló hibával (a blokkhossz növekedésével) átvitelre használható.
• A Nyquist-Shannon-tétel (az orosz irodalomban - a Kotelnyikov -tétel ) egy jel egyedi visszaállításáról szól a diszkrét mintákból.
• Shannon titkosítási forrástétele (vagy csendes titkosítási tétel) korlátot szab a maximális adattömörítésnek és számértéket a Shannon-entrópiához.
• A Shannon-Hartley tétel , amely lehetővé teszi a csatorna kapacitásának meghatározását, ami az adatátviteli sebesség elméleti felső korlátját jelenti.

Díjak és kitüntető címek

Memória

• 18838 Shannon aszteroida
• Doodle logó a Google keresőjében a születés 100. évfordulója tiszteletére [40]
• Shannon-díj , és maga Shannon volt az első nyertese [41]
• A Bell System felbomlása után a Bell Labs azon részét, amely az AT&T Corporationnél maradt, a Shannon Labs nevet kapta tiszteletére.
• Jelenleg hat Shannon-szobor áll [42] . Ezeket a szobrokat Evgeny Doub készítette, és egyenként helyezkednek el:

1. a Michigani Egyetemen
2. a Massachusetts Institute of Technology Informatikai Rendszerek és Döntéshozatal Laboratóriumában
3. Gaylordban, Michigan államban
4. a Kaliforniai Egyetemen, San Diego-ban
5. a Bell Labs -ban
6. az AT&T Shannon Labsnál .

Reléáramkör elmélet

Victor Sestakov , a Moszkvai Állami Egyetem munkatársa 1935-ben, Shannon előtt fogalmazta meg a relé áramkörök elméletét a Boole-algebrán. Sestakov műveinek megjelenése azonban 1941-ben történt, vagyis később, mint Shannon téziseinek megjelenése (1938) [43] [44] .

Idézetek Shannonról

Shannon összehasonlítása Einsteinnel nagyon gagyi lenne. Einstein közreműködése megfélemlítő. Azonban nem a relativizmus, hanem az információ korát éljük. Shannon rányomta bélyegét minden digitális eszközre, amelyet használunk, minden monitoron, amit megnézünk, és a digitális kommunikáció minden eszközén. Azon emberek közé tartozik, akik annyira megváltoztatják a világot, hogy a változások után a régi világot mindenki elfelejti [45] .

Furcsa lenne Einsteinhez hasonlítani. Einstein nagyra nő, és jogosan. De nem a relativitás korát éljük, hanem az információ korát. Shannon ujjlenyomata ott van minden elektronikus eszközünkön, minden számítógép képernyőjén, amelyre nézünk, és a digitális kommunikáció minden eszközén. Ő egyike azoknak az embereknek, akik annyira átalakítják a világot, hogy az átalakulás után a régi világ feledésbe merült.

James Gleick, The New Yorker

Claude Shannon inkább mérnök volt, mint matematikus, és sok munkájának inkább fizikai, mint matematikai alapja volt. A Szovjetunióban Shannon műveit a kibernetika részei közé sorolták, amelyet akkoriban "az obskurantisták áltudományának" tekintettek. Már a fordítások kiadása is jelentős erőfeszítést igényelt. A nagy matematikus , A. N. Kolmogorov azonban elragadtatta Shannon műveit, és 1954-ben informális szemináriumot szervezett Shannon gondolatairól [18] . Shannon műveinek orosz fordításának előszavában A. N. Kolmogorov ezt írta [27] :

Shannon munkájának jelentőségét a tiszta matematika szempontjából nem értékelték azonnal kellőképpen. Emlékszem, még az amszterdami Matematikusok Nemzetközi Kongresszusán (1954) is amerikai kollégáim, a valószínűségszámítással foglalkozó szakemberek kissé eltúlzottnak tartották Shannon munkássága iránti érdeklődésemet, hiszen az inkább technika, mint matematika. Az ilyen véleményeket ma már aligha kell cáfolni. Igaz, néhány nehéz esetben Shannon az elképzeléseinek szigorú matematikai "alátámasztását" hagyta utódaira. A matematikai intuíciója azonban elképesztően pontos...Andrej Nyikolajevics Kolmogorov

Bibliográfia

• Shannon CE Relé és kapcsolóáramkörök  szimbolikus elemzése . – 1938.
• Shannon CE Egy algebra az elméleti genetikához  . – 1940.
• Shannon CE A titkossági rendszerek kommunikációelmélete  //  Bell System Technical Journal. – 1949.
• Shannon CE A kommunikáció matematikai elmélete  // Bell System Technical Journal. - 1948. - T. 27 . - S. 379-423, 623-656 .
• Shannon CE Kommunikáció zaj jelenlétében  // Proc. Rádiómérnöki Intézet. — Jan. 1949. - V. 37 , 1. sz . - S. 10-21 . Archiválva az eredetiből 2010. február 8-án.
• Shannon K. Információelmélettel és kibernetikával foglalkozik. - M . : Külföldi Irodalmi Kiadó , 1963. - 830 p.

Lásd még

• Shannon-Fano algoritmus
• Whittaker-Shannon interpolációs képlet
• Shannon szám
• Shannon bővítés
• Sávszélesség
• Shannon-díj
• Információs entrópia
• Információelmélet
• Shannon Switching Game

Jegyzetek

1. ↑ 1 2 3 MacTutor Matematikatörténeti archívum
2. ↑ i. e. 12 _ Shannon // KNAW Korábbi tagok 
3. ↑ 1 2 Claude Elwood Shannon // Brockhaus Encyclopedia  (német) / Hrsg.: Bibliographisches Institut & FA Brockhaus , Wissen Media Verlag
4. ↑ 1 2 Az MIT professzora, Claude Shannon meghal; a digitális kommunikáció alapítója - MIT , 2001.
5. ↑ Angol Wikipédia közösség Wikipédia  (angol) - 2001.
6. ↑ 1 2 3 Nevek adatbázisa  (angolul) - 2002.
7. ↑ 1 2 https://books.google.cat/books?id=r3GYDwAAQBAJ&pg=PA38 – 38. o.
8. ↑ MacTutor Matematikatörténeti archívum
9. ↑ James I., James I. Claude Elwood Shannon 1916. április 30. – 2001. február 24.  // Biogr . Mem. Fellows R. Soc. / J. T. Stuart - The Royal Society , 2009. - Vol. 55, Iss. 0. - P. 257-265. — ISSN 0080-4606 ; 1748-8494 - doi:10.1098/RSBM.2009.0015
10. ↑ 1 2 3 Gallager R. G. Claude E. Shannon: Retrospective on His Life, Work, and Impact  // IEEE Trans . inf. Elmélet / F. Kschischang - IEEE , 2001. - 20. évf. 47, Iss. 7. - P. 2681-2695. — ISSN 0018-9448 ; 1557-9654 - doi:10,1109/18,959253
11. ↑ Claude Shannon . nyu.edu . Letöltve: 2014. szeptember 10. Az eredetiből archiválva : 2020. április 8. (határozatlan)
12. ↑ 1 2 Az MIT professzora, Claude Shannon meghal; a digitális kommunikáció megalapítója volt . MIT híriroda, Cambridge, Massachusetts. Letöltve: 2001. február 27. Az eredetiből archiválva : 2004. szeptember 27.. (határozatlan)
13. ↑ 1 2 Shannon CE Collected Papers / Szerkesztette: NJA Sloane és Aaron D. Wyner. - IEEE sajtó, 1993. - 923 p. — ISBN 0-7803-0434-9 .
14. ↑ "...Shannon ateistaként jellemezte magát, és külsőleg apolitikus volt..."
    Poundstone W. Fortune's Formula  (angolul) : The Untold Story of the Scientific Betting System - Macmillan Publishers , 2010. - 18. o. - ISBN 978 -0- 374-70708-8
15. ↑ Shannon C. A relé- és kapcsolóáramkörök szimbolikus elemzése  // Transactions of the American Institute of Electrical Engineers - IEEE , 1938. - Vol. 57, Iss. 12. - P. 713-723. — ISSN 0096-3860 ; 2330-9431 - doi:10.1109/T-AIEE.1938.5057767
16. ↑ 1 2 Claude Shannon, "A Symbolic Analysis of Relay and Switching Circuits", archiválva 2016. október 1-én, a Wayback Machine publikálatlan MS Thesis-ben, Massachusetts Institute of Technology, 1937. augusztus 10.
17. ↑ CE Shannon, "An algebra for theoretical genetics", (Ph.D. értekezés, Massachusetts Institute of Technology, 1940), MIT-THESES//1940-3 [https://web.archive.org/web/20090108224441/ http://hdl.handle.net/1721.1/11174 Archiválva : 2009. január 8., a Wayback Machine Online text at MIT] - Életrajzot tartalmaz a pp. 64-65.
18. ↑ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Golomb S. W. , Berlekamp E. R. , Cover T. M. , Gallager R. G. , Massey J. , Viterbi A. Claude Elwood Shannon  / 20116 . Math. szoc. / F. Morgan - AMS , 2002. - Vol. 49, Iss. 1. - P. 8-16. — ISSN 0002-9920 ; 1088-9477
19. ↑ Erico Marui Guizzo, " Az alapvető üzenet: Claude Shannon és az információelmélet készítése archiválva 2016. december 1-én a Wayback Machine -nél " (MS Thesis, Massachusetts Institute of Technology, Bölcsészettudományi Tanszék, Írás- és humanisztikus tanulmányok program, 2003 ), tizennégy.
20. ↑ Okrent, Howard; McNamee, Lawrence P. 3. 3 Flowgraph Theory // NASAP-70 Felhasználói és programozói kézikönyv  (neopr.) . - Los Angeles, Kalifornia: Műszaki és Alkalmazott Tudományok Iskola, Kaliforniai Egyetem, Los Angeles, 1970. - P. 3-9.
21. ↑ 1 2 Hodges A. Alan Turing: The Enigma  (angolul) - London : Vintage Books , 1992. - P. 243–252. — 586 p. — ISBN 978-0-09-911641-7
22. ↑ Turing A. On Computable Numbers, with an Appliance to the Entscheidungsproblem  // Proceedings of the London Mathematical Society - London Mathematical Society , 1937. - Vol. s2-42, Iss. 1. - P. 230-265. — ISSN 0024-6115 ; 1460-244X - doi:10.1112/PLMS/S2-42.1.230
23. ↑ Mindell D. A. Between Human and Machine  (angolul) : Feedback, Control, and Computing Before Cybernetics - Baltimore : JHU Press , 2002. - P. 319-320. — 439 p. - ( Johns Hopkins technológiatörténeti tanulmányok ) - ISBN 978-0-8018-6895-5 - ISSN 2470-2773
24. ↑ Shannon C. , cég A. T. a. T. Titoktartási rendszerek kommunikációelmélete  (angol) // Bell Syst. Tech. J. - Short Hills, NJ stb .: 1949. - 1. évf. 28, Iss. 4. - P. 656-715. — ISSN 0005-8580 ; 2376-7154 - doi:10.1002/J.1538-7305.1949.TB00928.X
25. ↑ Kahn D. The Codebreakers  (angolul) : The Story of Secret Writing - Macmillan , 1967. - 744. o. - 1164 p. — ISBN 978-0-684-83130-5
26. ↑ idézi: Erico Marui Guizzo, "Az alapvető üzenet: Claude Shannon és az információelmélet készítése", kiadatlan MS-tézis, Massachusetts Institute of Technology, 2003, 21. o. Archiválva : 2008. május 28., a Wayback Machine -nél
27. ↑ 1 2 3 4 5 V.I. Korona. Claude Shannon emlékére  // Információs folyamatok: folyóirat. - 2001. - T. 1 , 1. sz . - S. 99-10 . (Orosz)
28. ↑ Hamid Reza Ekbia (2008), Mesterséges álmok: a nem-biológiai intelligencia keresése , Cambridge University Press, p. 46, ISBN 978-0-521-87867-8 
29. ↑ Szergej Gray. Claude Elwood Shannon  // Számítógépes hírek: újság. - 1998. - 21. sz .
30. ↑ A Bell Labs továbbfejleszti az intelligens hálózatokat (a hivatkozás nem érhető el) . Letöltve: 2019. július 3. Az eredetiből archiválva : 2012. július 22. (határozatlan) 
31. ↑ Pesta, Abigail . Valami hasznosat keresel az időddel? Ne próbáld ki ezt  (2013. március 12.), 1. o. Letöltve: 2013. március 14..
32. ↑ Személyes tiszteletadás Claude Shannon előtt Archiválva : 2016. március 13. a Wayback Machine -ben, Boston College - Boston College, 'Juggle' magazin, 2001. május/június
33. ↑ Claude Shannon - számítástechnika elmélet . (határozatlan)
34. ↑ A Bell Labs digitális guruja 84 évesen meghalt – Úttörő tudós vezette a csúcstechnológiai forradalmat ( The Star-Ledger , Kevin Coughlin gyászjelentése, 2001. február 27.)
35. ↑ Shannon, Claude Elwood (1916-2001) - Eric Weisstein World of Scientific Biography című könyvéből . Hozzáférés dátuma: 2016. október 31. Az eredetiből archiválva : 2016. február 21. (határozatlan)
36. ↑ 1 2 3 4 5 Eugene Chiu, Jocelyn Lin, Brok Mcferron, Noshirwan Petigara, Satwiksai Seshasa. Claude Shannon matematikai elmélete  //  6.933J / STS.420J The Structure of Engineering Revolutions. – 2001.
37. ↑ 1 2 3 4 5 M.A. Byhovszkij. Az információs korszak úttörői. A kommunikációelmélet fejlődéstörténete. 4. szám - Öko-trendek, 2006. - ("A távközlés és rádiótechnika története").
38. ↑ Gabidulin E. M. , Pilipchuk N. I. Előadások az információelméletről - MIPT , 2007. - 214 p. — ISBN 978-5-7417-0197-3
39. ↑ 100 éve Claude Shannon születése . Az eredetiből archiválva : 2016. április 30. Letöltve: 2016. május 1.
40. ↑ Alexander Holevo, az RCC kutatója rangos nemzetközi kitüntetést kapott - a Shannon-díjat (hozzáférhetetlen link) . Orosz Kvantum Központ (2015. június 21.). Letöltve: 2015. június 22. Az eredetiből archiválva : 2015. június 23. (határozatlan) 
41. ↑ Claude Shannon szoborszentelések . Letöltve: 2016. október 31. Az eredetiből archiválva : 2010. július 31. (határozatlan)
42. ↑ Bazhanov V. A. , Volgin L. I. V. I. Sestakov és K. Shannon: egy csodálatos ötlet sorsa // Tudományos és Műszaki Kaleidoszkóp - 2002. - 2. köt. 2. - S. 43-48.
43. ↑ B. V. Birjukov, I. S. Verstin, V. I. Levin. Viktor Ivanovics Sesztakov, a reléérintkezős áramkörök logikai elméletének megalkotója élete és tudományos útja. - RFBR, projektszám: 05-06-80382. - S. 20-22 .
44. ↑ Sionhan Roberts. Claude Shannon, az információs kor atyja, 1100100 éves lett  (angolul)  : The New Yorker magazin . - 2016. - április 30.

Linkek

• Számítógépes történelem az arcokban: Claude Elwood Shannon
• A fotók archiválva 2007. február 26-án a Wayback Machine -nél
• Bibliográfia  (angol)
• Claude Shannon Archiválva : 2018. január 6. a Wayback Machine -nél
• Valósághacker volt" Archiválva : 2019. január 7. a Wayback Machine -nél . Életrajz és tevékenység, tudományos összefüggések

Tematikus oldalak	Google ösztöndíjas Matematikai genealógia Scopus zbMATH Nyitva Össz-orosz matematikai portál Archívum a matematika történetéhez MacTutor
Szótárak és enciklopédiák	Nagy dán Nagy katalán nagy kínai Nagy norvég Nagy orosz horvát Britannica (online) Brockhaus Figyelemre méltó névadatbázis Universalis
Genealógia és nekropolisz	Keress egy sírt Keress egy sírt WikiTree
Bibliográfiai katalógusokban BIBSYS: 90156152 BNC : a11778830 BNE : XX1035107 BNF : 123963452 CiNii : DA01117965 CONOR : 106266467 GND : 119110792 ISNI : 0000 0001 1442 6158 J9U : 987007298568205171 LCCN : n92078142 LNB : 000110768 NDL : 00456225 NKC : xx0005672 NLA : 35492578 NLG : 275852 NLP : A26988689 NSK : 000105294 NTA : 068627858 NUKAT : n96638600 SUDOC : 079695612 VIAF : 41924253 WorldCat VIAF : 41924253