Az információ mennyisége

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt hozzászólók, és jelentősen eltérhet a 2016. október 8-án felülvizsgált verziótól ; az ellenőrzések 3 szerkesztést igényelnek .

Az információmennyiség az információelméletben az egyik véletlenszerű objektumban lévő információ mennyisége a másikhoz viszonyítva.

Legyen és a megfelelő halmazokon definiált valószínűségi változók és . Ekkor az információ mennyisége az a priori és a posteriori entrópiák közötti különbséghez viszonyítva : $x$ $y$ $x$ $Y$ $x$ $y$

{\megjelenítési stílus I(x,y)=H(x)-H(x|y)}

ahol

H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)

az entrópia , és

H(x|y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log _{2}p(x|y) )

- feltételes entrópia, az információátvitel elméletében a csatornában lévő zajt jellemzi.

Entropy Properties

Az entrópia a következő tulajdonságokkal rendelkezik:

0\leqslant H(x)\leqslant \ln(m)

ahol a halmaz elemeinek száma . $m$ $x$

$H(x)=0$ , ha a halmaz egyik eleme 1, a többi pedig 0 valószínűséggel valósul meg, amiatt, hogy és . $1\ln 1=0$ $0\ln 0=0$

A maximális entrópiaértéket akkor érjük el, ha minden , azaz. minden eredmény egyformán valószínű. $H(x)=\ln(m)$ $p(x)=1/m$

A feltételes entrópia a következő tulajdonságokkal rendelkezik:

0\leqslant H(x|y)\leqslant H(x)

Ebben az esetben , ha a leképezés egyértékű, pl. . $H(x|y)=0$ $Y$ $x$ $\forall y\exists x\colon p(x|y)=1$

A feltételes entrópia maximális értékét akkor érjük el, ha a és független valószínűségi változók. $H(x|y)=H(x)$ $x$ $y$

Az információ mennyiségének tulajdonságai

Az információ mennyiségére a tulajdonságok igazak:

I(x,y)=I(y,x),

Bayes tételének következményeként .

I(x,y)\geqslant 0,

I(x,y)=0,

ha és független valószínűségi változók.

x

y

I(x,x)=H(x).

Az utolsó tulajdonság azt mutatja, hogy az információ mennyisége megegyezik az információs entrópiával , ha az információvesztési komponens (zaj) nulla.

Irodalom

Yaglom A.M. , Yaglom I.M. Valószínűség és információ. - M. , 1973.