Kölcsönös tájékoztatás

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2016. október 20-án áttekintett verziótól ; az ellenőrzések 5 szerkesztést igényelnek .

A kölcsönös információ két valószínűségi változó statisztikai függvénye, amely leírja az egyik valószínűségi változóban található információ mennyiségét a másikhoz képest.

A kölcsönös információt két valószínűségi változó entrópiája és feltételes entrópiája határozza meg, mint

{\megjelenítési mód I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)}

Mutual Information Properties

A kölcsönös információ a valószínűségi változók szimmetrikus függvénye:

I(X;Y)=I(Y;X)

A kölcsönös információ nem negatív, és nem haladja meg az argumentumok információs entrópiáját :

0\leq I(X;Y)\leq \min[H(X),H(Y)]

Különösen a független valószínűségi változók esetében a kölcsönös információ nulla:

I(X;Y)=H(X)-H(X\mid Y)=H(X)-H(X)=0

Abban az esetben, ha az egyik valószínűségi változó (például ) egy másik valószínűségi változó ( ) determinisztikus függvénye, a kölcsönös információ megegyezik az entrópiával: $x$ $Y$

I(X;Y)=H(X)-H(X\mid Y)=H(X)-0=H(X)

Feltételes és relatív kölcsönös információ

A feltételes kölcsönös információ három valószínűségi változó statisztikai függvénye, amely leírja az egyik valószínűségi változóban található információ mennyiségét a másikhoz képest, tekintettel a harmadik valószínűségi változó értékére:

I(X;Y\mid Z=z)=H(X\mid Z=z)-H(X\mid Y,Z=z)

A relatív kölcsönös információ három valószínűségi változó statisztikai függvénye, amely leírja az egyik valószínűségi változóban található információ mennyiségét a másikhoz képest, feltéve, hogy a harmadik valószínűségi változó megadva van:

I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=H(X\mid Z)+H(Y\mid Z)-H(X) ,Y\mid Z)

Tulajdonságok

Szimmetrikus függvények:

I(X;Y\mid Z)=I(Y;X\mid Z)

I(X;Y\mid Z=z)=I(Y;X\mid Z=z)

Kielégíti az egyenlőtlenségeket:

0\leq I(X;Y\mid Z)\leq \min[H(X\mid Z),H(Y\mid Z)]

0\leq I(X;Y\mid Z=z)\leq \min[H(X\mid Z=z),H(Y\mid Z=z)]

Három valószínűségi változó kölcsönös információja

Három valószínűségi változó kölcsönös információját is meghatározzuk :

I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)

Három valószínűségi változó kölcsönös információja negatív lehet. Tekintsünk egy egyenletes eloszlást a bitek hármasain , hogy . Határozzuk meg a valószínűségi változókat bitek értékeként , ill. Akkor $(x,y,z)$ $x\oplus y\oplus z=0$ $X,Y,Z$ $x,y,z$

I(X;Y)=H(X)-H(X\mid Y)=1-1=0,

de ugyanakkor

I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=1+0=1,

és ezért . $I(X;Y;Z)=-1$

Irodalom

Gabidulin E. M. , Pilipchuk N. I. Előadások az információelméletről - Moszkvai Fizikai és Technológiai Intézet , 2007. - 214 p. — ISBN 978-5-7417-0197-3
Verescsagin N.K., Shchepin E.V. Információ, kódolás és előrejelzés. - M. : FMOP, MTsNMO, 2012. - 238 p.

Tömörítési módszerek

Elmélet

Információ	Saját Kölcsönös Entrópia Feltételes entrópia Bonyolultság Redundancia
Egységek	Bit Nat Rágcsál Hartley Hartley képlet

Veszteségmentes

Entrópia tömörítés	Aszimmetrikus számrendszerek Huffman algoritmus Adaptív Huffman algoritmus Shannon-Fano algoritmus Shannon algoritmusa Aritmetikai kódolás ( intervallum ) Golomb kódok Delta Univerzális kód Elias fibonacci
Szótári módszerek	RLE Kienged LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT LZ4 Brotli zstandard )
Egyéb	RLE CTW BWT MTF PPM DMC

Hang

Elmélet	Konvolúció PCM Aliasing Mintavétel Kotelnyikov tétele
Mód	LPC LAR LSP WLPC CELP ACELP Törvény μ-törvény ADPCM MDCT Fourier transzformáció Pszichoakusztikus modell
Egyéb	Audio kompresszor Beszédtömörítés Sáv kódolás

Képek

Feltételek	színtér Pixel Telítettségi részmintavétel Tömörítési műtermékek
Mód	RLE DPCM fraktál hullámocska EZW SPIHT LP PrEP PCL
Egyéb	Bitráta Szabványos tesztkép PSNR Kvantálás

Videó

Feltételek	Videó jellemzői Keret Keret típusok Videó minőség
Mód	Mozgáskompenzáció PrEP Kvantálás hullámocska
Egyéb	Videokodek Sebesség-torzítás elmélet CBR ABR VBR