Saját információ

A saját információ egy diszkrét valószínűségi változó statisztikai függvénye .

A saját információ maga is egy véletlen változó, amelyet meg kell különböztetni az átlagos érték - információs entrópiától .

Egy véges számú értékkel rendelkező valószínűségi változó esetén: $x$

P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,i=1,2,\dots ,n,\quad \sum _{i=1} ^{n}p_{i}=1

a saját információt úgy határozzuk meg

I(X)=-\log P_{X}(X).

Az információ mértékegységei a logaritmus alapjától függenek . 2-es bázisú logaritmus esetén a mértékegység bit , természetes logaritmus esetén nat , ha decimális, akkor hartley .

A logaritmus alapja	Mértékegység _	Az információ mennyisége bukása az érme "sas" fel
2	bit	$-\log _{2}(1/2)=\log _{2}2=1$ bit
e	nat	$-\ln(1/2)=\ln 2\kb. 0,69$ nata
tíz	Hartley	$-\log _{10}(1/2)=\log _{10}2\körülbelül 0,30$ Hartley

Az öninformáció felfogható egy esemény „meglepetésének mértékeként” – minél kisebb az esemény valószínűsége, annál több információt tartalmaz.

Saját információ tulajdonságai

Nem negativitás : . -nál , azaz az előre meghatározott tény nem hordoz semmilyen információt. $I(x)\geqslant 0$ $I(x)=0$ $p(x)=1$
Monotonitás : ha . $I(x_{1})>I(x_{2})$ $p(x_{1})<p(x_{2})$
Additivitás : függetlenek esetében igaz . ${\displaystyle x_{1},\dots ,x_{n))$ $I(x_{1},\dots ,x_{n})=\sum _{i=1}^{n}I(x_{i})$

Gabidulin E. M. , Pilipchuk N. I. Előadások az információelméletről - Moszkvai Fizikai és Technológiai Intézet , 2007. - 214 p. — ISBN 978-5-7417-0197-3

Információ	Saját Kölcsönös Entrópia Feltételes entrópia Bonyolultság Redundancia
Egységek	Bit Nat Rágcsál Hartley Hartley képlet

Entrópia tömörítés	Aszimmetrikus számrendszerek Huffman algoritmus Adaptív Huffman algoritmus Shannon-Fano algoritmus Shannon algoritmusa Aritmetikai kódolás ( intervallum ) Golomb kódok Delta Univerzális kód Elias fibonacci
Szótári módszerek	RLE Kienged LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT LZ4 Brotli zstandard )
Egyéb	RLE CTW BWT MTF PPM DMC

Elmélet	Konvolúció PCM Aliasing Mintavétel Kotelnyikov tétele
Mód	LPC LAR LSP WLPC CELP ACELP Törvény μ-törvény ADPCM MDCT Fourier transzformáció Pszichoakusztikus modell
Egyéb	Audio kompresszor Beszédtömörítés Sáv kódolás

Feltételek	színtér Pixel Telítettségi részmintavétel Tömörítési műtermékek
Mód	RLE DPCM fraktál hullámocska EZW SPIHT LP PrEP PCL
Egyéb	Bitráta Szabványos tesztkép PSNR Kvantálás

Feltételek	Videó jellemzői Keret Keret típusok Videó minőség
Mód	Mozgáskompenzáció PrEP Kvantálás hullámocska
Egyéb	Videokodek Sebesség-torzítás elmélet CBR ABR VBR