Renyi entrópia

Az információelméletben a Rényi-entrópia , a Shannon - entrópia általánosítása , egy funkcionális család, amelyet valamely rendszer mennyiségi sokféleségének, bizonytalanságának vagy véletlenszerűségének mérésére használnak. Renyi Alfrédról kapta a nevét .

Ha egy rendszernek van egy diszkrét halmaza rendelkezésre álló állapotokból , ami megfelel a valószínűségi eloszlásnak (vagyis annak a valószínűsége , hogy a rendszer állapotba kerül ), akkor a rendszer (at és ) paraméterével rendelkező Rényi-entrópiát a következőképpen definiáljuk: $X=\{x_{1},...,x_{n}\}$ $p_{i}$ $i=1,...,n$ $p_{i}$ $x_{i}$ $\alpha$ $\alpha \geq 0$ $\alpha \neq 1$

H_{\alpha }(X)={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n}p_{i}^{\alpha }={ \frac {1}{1-\alpha }}\log {\Big \langle }p^{\alpha -1}{\Big \rangle }

ahol a szögzárójelek jelölik a matematikai elvárást eloszlás alapján ( a valószínűsége, hogy a rendszer egy adott állapotba kerül, mint valószínűségi változó ), a logaritmus a 2. bázisban (bitekben történő számoláshoz) vagy egy másik megfelelő bázisban (nagyobbnak kell lennie) mint 1). A logaritmus alapja határozza meg az entrópia mértékegységét. Tehát a matematikai statisztikában általában a természetes logaritmust használják . $p_{i}$ $p$

Ha minden valószínűség , akkor bármelyik esetén a Rényi-entrópia . Ellenkező esetben -entrópia csökken a függvényében . Ráadásul a magasabb értékek (a végtelenbe menve) olyan Renyi-entrópia értékeket adnak, amelyeket nagyrészt csak az események legnagyobb valószínűsége határoz meg (azaz a kis valószínűségű állapotok entrópiához való hozzájárulása csökken). A határérték köztes esete adja meg a Shannon-entrópiát, amely speciális tulajdonságokkal rendelkezik. Az alacsonyabb (nullára menő) értékek olyan Rényi-entrópiaértéket adnak, amely egyenletesebben, kevésbé a valószínűségüktől függően súlyozza a lehetséges eseményeket. És amikor megkapjuk a maximális lehetséges -entrópiát , akkor az eloszlástól függetlenül egyenlő (ha csak ). $p_{i}=1/n$ $\alpha$ $H_{\alpha }(X)=\log n$ $\alpha$ $\alpha$ $\alpha$ $\alpha =1$ $\alpha$ $\alpha =0$ $\alpha$ $\log n$ $p_{i}\neq 0$

A paraméter jelentése informálisan úgy írható le, mint a funkcionális érzékenysége a rendszer állapotának az egyensúlyi állapottól való eltérésére: minél nagyobb , annál gyorsabban csökken az entrópia, amikor a rendszer eltér az egyensúlyi állapottól. A korlátozás célja az entrópia növekedése, amikor a rendszer egy egyensúlyi (valószínűbb) állapothoz közelít. Ez a követelmény természetes az entrópia fogalma számára . Megjegyzendő, hogy a Tsallis entrópiánál , amely egyenértékű a Renyi-entrópiával a -től független monoton transzformációig , gyakran elhagyják a megfelelő megszorítást, míg a paraméter negatív értékeinél az entrópia maximalizálása helyett annak minimalizálása. használt. $\alpha$ $\alpha$ $\alpha \geq 0$ $x$

A Rényi-entrópia fontos szerepet játszik az ökológiában és a statisztikában, meghatározva az úgynevezett diverzitási indexeket . A Rényi-entrópia a kvantuminformációkban is fontos, és a komplexitás mértékeként használható . A Heisenberg-láncban a Rényi-entrópiát moduláris függvények alapján számították ki attól függően . Ezek a fraktáldimenziós kitevők spektrumához is vezetnek . $XY$ $\alpha$

H α α bizonyos meghatározott értékeire

Néhány speciális eset

Mert a Rényi-entrópia nem függ az állapotvalószínűségtől (a degenerált eset), és egyenlő az állapotok számának logaritmusával ( a halmaz hatványának logaritmusával ): $\alpha=0$ $x$

H_{0}(X)=\log n=\log |X|

Ezt az entrópiát néha Hartley entrópiának is nevezik . Használják például a Boltzmann-elv megfogalmazásakor .

A határértékben L'Hopital szabályával kimutatható, hogy a Shannon entrópiához konvergál . Így a Rényi entrópiacsalád a funkcionálissal bővíthető $\alpha \to 1$ ${\displaystyle H_{\alpha ))$

H_{1}(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}H_{\alpha }(X)=H(X) )=-\sum _{i=1}^{n}p_{i}\log p_{i}

A másodfokú entrópia, amelyet néha ütközési entrópiának is neveznek, a Rényi-entrópia a következő paraméterrel : $\alpha =2$

H_{2}(X)=-\log \sum _{i=1}^{n}p_{i}^{2}=-\log \operátornév {Prob} \{x=y\}

ahol és független valószínűségi változók, amelyek egyenlően oszlanak el a halmazon ( ) . A másodfokú entrópiát a fizikában , a jelfeldolgozásban és a közgazdaságtanban használják . $x$ $y$ $x$ $p_{i}$ $i=1,...,n$

Van egy határ

H_{\infty }(X){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to \infty }H_{\alpha }(X)=- \log \sup _{i}p_{i}

amit min-entrópiának nevezünk , mert ez a legkisebb értéke . Ez az entrópia is degenerált eset, hiszen értékét csak a legvalószínűbb állapot határozza meg. ${\displaystyle H_{\alpha ))$

Egyenlőtlenségek α különböző értékeire

Az utolsó két esetet a . Másrészt a Shannon-entrópia tetszőlegesen magas lehet egy fix min-entrópiával rendelkező X eloszlás esetén. ${\displaystyle H_{\infty <H_{2}<2H_{\infty ))$ $H_{1}(X)$

{\displaystyle H_{2}<2H_{\infty ))

mert .

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}\geq \log \sup _{i}p_{i}^{2}=2\ log \sup _{i}p_{i}

{\displaystyle H_{\infty <H_{2))

, mert .

\log \sum \limits _{i=1}^{n}{p_{i}^{2}}<\log \sup _{i}p_{i}\left({\sum \limits _{i=1}^{n}{p_{i}}}\right)=\log \sup _{i}p_{i}

H_{1}\geq H_{2}

Jensen egyenlőtlensége szerint .

\sum \limits _{i=1}^{n}{p_{i}\log p_{i}}\leq \log \sum \limits _{i=1}^{n}{p_{ i}^{2}}

Renyi eltérései (divergenciai)

Rényi az entrópiacsaládon kívül a Kullback–Leibler divergenciát általánosító divergencia mértékek (divergenciák) körét is meghatározta . Ennek a szakasznak a képletei általános formában vannak felírva - logaritmuson keresztül tetszőleges bázisban. Ezért meg kell értenie, hogy minden adott képlet egyenértékű funkcionális család egy állandó (pozitív) tényezőig.

A Rényi-divergencia paraméterrel , ahol és , az eloszláshoz viszonyított eloszlás (vagy "távolság -tól " ) a következőképpen definiálva: $\alpha$ $\alpha >0$ $\alpha \neq 1$ $K$ $P$ $P$ $K$

D_{\alpha }(P\|Q)={\frac {1}{\alpha -1}}\log \sum _{i=1}^{n}p_{i}^{\alpha }q_{i}^{1-\alpha }={\frac {1}{\alpha -1}}\log {\Big \langle }(p/q)^{\alpha -1}::P{ \big\rangle}

vagy (formálisan, a valószínűségek normalizálásának figyelembevétele nélkül)

D_{\alpha }(P\|Q)=-H_{\alpha }{\Bigg (}{\frac {p}{q^{1-1/\alpha }}}{\Bigg )}

{\displaystyle H_{\alpha }(P)=-\left.D_{\alpha }(P\|Q)\right|_{q=1))

A Kullback–Leibler divergenciához hasonlóan a Rényi-divergencia sem negatív -ra . $\alpha >0$

Néhány speciális eset

számára a Renyi-divergencia nincs definiálva, de a divergenciák családja az elemmel bővíthető $\alpha=0$

D_{0}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 0}D_{\alpha }(P\| Q)=-\log \sum _{i=1}^{n}q_{i}\operátornév {sgn} p_{i}

: mínusz a valószínűségek összegének logaritmusa úgy, hogy a megfelelő .

q

p>0

${\displaystyle D_{1/2}(P\|Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i))))$ : Bhattacharya távolság (mínusz a Bhattacharya együttható logaritmusa , figyelmen kívül hagyva egy jelentéktelen tényezőt ). Ez az eltérés egy monoton transzformációig ekvivalens a Hellinger távolsággal és a gömb alakú Bhattacharya–Rao távolsággal , de velük ellentétben nem elégíti ki a háromszög egyenlőtlenséget , ezért nem metrika az eloszlások terén. $2$

$D_{1}(P\|Q){\stackrel {\mathrm {df} }{\;=\;}}\lim _{\alpha \to 1}D_{\alpha }(P\| Q)=D_{KL}(P\|Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}={ \Big \langle }\log {\frac {p}{q}}::P{\Big \rangle }$ : Kullback-Leibler divergencia (egyenlő a valószínűségi arány logaritmusa eloszlásának átlagával ). $P$ $p/q$

$D_{2}(P\|Q)=\log \sum _{i=1}^{n}{\frac {p_{i}^{2}}{q_{i}}}=\ log {\Big \langle }{\frac {p}{q}}::P{\Big \rangle }$ : a várható érték logaritmusa a valószínűségi arány eloszlása felett . Ez az eltérés egy monoton transzformációig megegyezik a khi-négyzet távolsággal . $P$ $p/q$ $D_{\chi ^{2}}(Q\|P)=\sum _{i=1}^{n}{\frac {(p_{i}-q_{i})^{2} }{q_{i}}}$

$D_{\infty }(P\|Q){\stackrel {\mathrm {df} }{\;=\;))\lim _{\alpha \to \infty }D_{\alpha }(P \|Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}$ : a valószínűségek maximális arányának logaritmusa . $p/q$

Pénzügyi (játék) értelmezés

Tekintsünk egy játékot (lottót) valamilyen véletlenszerű változó kitalálásával. A hivatalos nyerési arányok ismertek és valószínűségi eloszlásként kerülnek közzétételre . Eközben a valós valószínűségi eloszlás nem feltétlenül esik egybe a -val . A valódi eloszlás ismerete lehetővé teszi a játékos számára, hogy keressen. A várható tőkenövekedés exponenciális. A helyes eloszlást figyelembe véve a játékos kiszámíthatja (játékkörönként) a tőke exponenciális növekedési ütemére vonatkozó matematikai elvárásait [Soklakov2020 ]: $m$ $m$ $b$

Várható növekedés

={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\ |m)\,,

ahol az Arrow-Pratt kockázatkerülés relatív mértékét jelöli. $R$

A valós eloszlást jelölve (ami nem feltétlenül esik egybe a játékos véleményével ), a tényleges növekedés a többszörös játék limitjében számolható [Soklakov2020 ]: $p$ $b$

Tényleges magasság

={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\ frac {R-1}{R}}\,D_{1/R}(b\|m)\,.

Miért speciális az α = 1 eset

A Shannon entrópiának és a Kullback-Leibler divergenciának megfelelő értéke azért különleges, mert csak ebben az esetben lehet a közös valószínűségi eloszlásból kivonni az A és X változókat úgy, hogy $\alpha=1$

{\displaystyle H(A,X)=H(A)+\mathbb {E} _{p(a)}\{H(X|a)\))

entrópiára, és

D_{\mathrm {KL} }(p(x|a)p(a)||m(x,a))=\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)||m(x|a))\}+D_{\mathrm {KL} }(p(a)||m(a))

—

eltérésért.

Ez utóbbi azt jelenti, hogy ha olyan eloszlást keresünk, amely minimálisra csökkenti néhány mögöttes mérőszám eltérését , és olyan új információt kapunk, amely csak az eloszlást érinti , akkor az eloszlást nem érintik a változtatások . $p(x,a)$ $m(x,a)$ $a$ $p(x|a)$ $m(x|a)$

Általános esetben a Rényi-divergencia tetszőleges értékekkel kielégíti a nem-negativitás, a folytonosság és az invariancia feltételeit a valószínűségi változók koordinátáinak transzformációja során. Bármely Rényi-entrópia és divergencia fontos tulajdonsága az additivitás: amikor és függetlenek, ebből az következik, hogy $\alpha$ $A$ $x$ $p(A,X)=p(A)p(X)$

H_{\alpha }(A,X)=H_{\alpha}(A)+H_{\alpha}(X)

és

D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\ alfa }(P(X)\|Q(X))

A legerősebb esettulajdonságok , amelyek magukban foglalják a feltételes információ és a kölcsönös információ meghatározását a kommunikációelméletből, nagyon fontosak lehetnek más alkalmazásokban, vagy egyáltalán nem fontosak, az adott alkalmazások követelményeitől függően. $\alpha=1$

Renyi kereszt entrópia

Két valószínűségű és ( ) eloszlás keresztentrópiája általános esetben különböző módon definiálható (alkalmazástól függően), de meg kell felelnie a feltételnek . Az egyik definíció (a Shannon-kereszt entrópiája hasonló tulajdonsággal rendelkezik ): $H_{\alpha }(P,Q)$ $p_{i}$ $q_{i}$ $i=1,...,n$ $H_{\alpha }(P,P)=H_{\alpha }(P)$

H_{\alpha }(P,Q)=H_{\alpha }(P)+D_{\alpha }(P,Q)

A Renyi A. által javasolt másik meghatározás a következő megfontolásokból nyerhető. A rendszerállapotok effektív számát a súlyokkal ellátott értékek geometriai súlyozott átlagaként határozzuk meg : ${\displaystyle 1/q_{i))$ $p_{i}$

{\overline {n}}=\prod _{i=1}^{n}(1/q_{i})^{p_{i}}

Ez magában foglalja a Shannon-féle keresztentrópia kifejezését

H(P,Q)=\log {\overline {n}}=-\sum _{i=1}^{n}p_{i}\log q_{i}

Hasonló módon érvelve a rendszerállapotok effektív számát a súlyokkal és paraméterekkel ellátott értékek súlyozott hatványtörvényes átlagaként definiáljuk : ${\displaystyle 1/q_{i))$ $p_{i}$ $1-\alpha$

{\overline {n}}=\left(\sum _{i=1}^{n}p_{i}(1/q_{i})^{1-\alpha }\right)^{ \frac {1}{1-\alpha }}=\left(\sum _{i=1}^{n}p_{i}q_{i}^{\alpha -1}\right)^{\frac {1}{1-\alpha}}

Így a Renyi-kereszt entrópiának megvan a formája

H_{\alpha }(P,Q)=\log {\overline {n}}={\frac {1}{1-\alpha }}\log \sum _{i=1}^{n }p_{i}q_{i}^{\alpha -1}={\frac {1}{1-\alpha }}\log {\Big \langle }q^{\alpha -1}::P{ \big\rangle}

Könnyen belátható, hogy ha a valószínűségi eloszlások és egybeesnek, akkor a kereszt-rényi entrópia egybeesik a Rényi-entrópiával. $p$ $q$
Ugyancsak itt, a Renyi-kereszt entrópiája konvergál a Shannon-kereszt entrópiájához . $\alpha \to 1$
A Shannon-kereszt entrópiára érvényes tulajdonság általános esetben nem áll fenn. A kereszt-Renyi-entrópia lehet nagyobb vagy kisebb, mint a Renyi-entrópia. $H(P,Q)=H(P)+D_{KL}(P\|Q)\geq H(P)$

Folyamatos eset

A Shannon-entrópia formális általánosítására folytonos eloszlás esetére a differenciális entrópia fogalmát használjuk . A Rényi-féle differenciál entrópia pontosan ugyanígy definiálható:

H_{\alpha }(f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{f^{\alpha }(x)}dx

A folytonos esetben a Rényi-divergencia egyben a Kullback–Leibler-divergencia általánosítása is, és ennek a formája

D_{\alpha }(g,f)={\frac {1}{\alpha -1}}\log \int \limits _{X}^{}{g^{\alpha }(x) f^{1-\alpha }(x)}dx

A keresztentrópia definíciója, amelyet Renyi A. javasolt, folytonos esetben a következőképpen alakul

H_{\alpha }(g,f)={\frac {1}{1-\alpha }}\log \int \limits _{X}^{}{g(x)f^{\alpha -1}(x)}dx

A fenti , és képletekben néhány valószínűségi sűrűségfüggvény az intervallumon definiált , és feltételezzük , hogy , . $f(x)$ $g(x)$ $X\subseteq R$ $\alpha >0$ $\alpha \neq 1$

Irodalom

Renyi A. (1961). „Az információ és az entrópia mértékéről” (PDF) . Proceedings of the 4. Berkeley Symposium on Mathematics, Statistics and Probability 1960 . pp. 547-561.
A. O. Hero, O. Michael és J. Gorman. Alpha-divergences for Classification, Indexing and Retrieval (angolul) : folyóirat. – 2002.
F. Nielsen és S. Boltz. A Burbea-Rao és a Bhattacharyya centroidok (neopr.) . – 2010.
OA Rosso EEG elemzés wavelet alapú információs eszközökkel. Journal of Neuroscience Methods 153 (2006) 163–182
A Rényi-entrópia mint az összefonódás mértéke a kvantum spinláncban: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]

Soklakov, A. N. (2020). „A nézeteltérés közgazdaságtana – Pénzügyi intuíció a Rényi-féle eltéréshez” . Entrópia . 22 (8) :860. arXiv : 1811.08308 . DOI : 10.3390/e22080860 .