Epszilon entrópia

Az Epszilon - entrópia vagy ε-entrópia A. N. Kolmogorov által bevezetett kifejezésa függvényosztályok jellemzésére. Meghatározza egy függvény összetettségének mértékét, a függvény pontos meghatározásához szükséges minimális karakterszámot. $\varepsilon$

A koncepció bemutatása

Tekintsünk egy kompakt metrikus teret , és definiáljunk benne egy epszilon hálózatot , azaz olyan véges (pontokból álló ) halmazt, hogy az ezekben a pontokban középpontba helyezett sugarú golyók teljesen lefednek mindent . Ezután bármely elem pontos megadásához (vagyis az egyik hálózati csomópont kiválasztásához) elegendő az előjelek ( bitek ) sorrendje. $M$ $N(\varepszilon)$ $\varepsilon$ $M$ $M$ $\varepsilon$ $\log _{2}N(\varepsilon )$

Szegmens esetén az érték növekszik a csökkenéssel , négyzetnél as stb. Így az indikátor határozza meg a Minkowski halmaz dimenzióját . $M=[0,\;1]$ $N$ $\varepsilon$ $1/\varepsilon$ $1/{\varepsilon ^{2))$ $M$

Sima függvények tere esetén (kompakt kockán -dimenziós térben és olyan deriváltokkal , amelyeket egy konstans határol a -ig nagyságrendig úgy, hogy ez a tér kompakt legyen) a tér mérete végtelen, de a szám A hálózati elemek száma véges, bár gyorsabban növekszik, mint bármely (negatív) hatványa . $M$ $n$ $p$ $N(\varepszilon)$ $\varepsilon$

Kolmogorov bebizonyította, hogy a minimális -háló pontjainak logaritmusa ebben az esetben így nő . $N(\varepszilon)$ $\varepsilon$ ${\displaystyle (1/\varepsilon )^{n/p))$

Alkalmazás

Az epszilon-entrópia fogalmának bevezetése lehetővé tette Hilbert 13. problémájának megértését és megoldását .

Ha a szuperpozícióban részt vevő változók függvényei simaságúak lennének, akkor segítségükkel a reprezentált függvényekre egy hálózatot lehetne kapni, amelynek pontjainak logaritmusa a nagyságrendű lenne . Ha ez a szám kisebb, mint a simasági változók függvényeinél lehetséges minimális , akkor ez azt jelenti, hogy az ilyen nagy simaságú függvények szuperpozíciókkal való feltételezett reprezentációja lehetetlen. $k$ $p$ ${\displaystyle (1/\varepsilon )^{k/p))$ $n$ $p$

Ezután Kolmogorov megmutatta, hogy ha elhagyjuk a simaságot, és minden folytonos függvény részt vehet a szuperpozícióban, akkor a változók bármely folytonos függvényét csak három változó folytonos függvényeinek szuperpozíciója reprezentálja, majd tanítványa, V. I. Arnold bemutatta őket két változó folytonos függvényeinek szuperpozíciói. Ennek eredményeként Kolmogorov tétele két változó egyetlen függvényét, az összeget tartalmazza, és az összes többi folytonos függvény, amely a változók összes folytonos függvényét reprezentáló szuperpozíciót alkotja , csak egy változótól függ. $n$ $n$