F-divergencia

Az f -divergencia ( f -divergencia ) a funkcionálisok egy osztálya,amely általában meghatározza az eltérés aszimmetrikus mértékét két valószínűségi eloszlás és. Általánosan alkalmazott információelméletben és valószínűségszámításban . A függvényt egybizonyos feltételeket kielégítő függvény egyedileg határozza meg (generálja). $D_{f}(P\parallel Q)$ $P$ $K$ $f(t)$

Az eltérések ezen osztályát Csiszár (1963 ), Morimoto (1963 ) és Ali és Silvey (1966 ) önállóan vezették be és tanulmányozták. Ezért néha megtalálhatók az f -Chisara divergence , Chisara-Morimoto divergence vagy Ali-Silvi távolság nevek.

Definíció

Legyenek és olyan valószínűségi eloszlások, amelyek a halmazra vonatkoztatva abszolút folytonosak . Legyen a függvény konvex és esetén . Ezután a függvény a következő módon határozza meg az f -divergenciát : $P$ $K$ $\Omega$ $P$ $K$ $f(t)$ $t\geq 0$ $f(1)=0$ $f$ $P$ $K$

D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {dP}{dQ))\right)dQ=\operátornév {E} _{Q}f \left({\frac {dP}{dQ}}\right).

Ha bármely mérték -on , és mindkét eloszlás és folytonos a -hoz képest , azaz, vannak és függvények , akkor az f -divergencia így írható fel $\mu$ $\Omega$ $P$ $K$ $\mu$ $p={\frac {dP}{d\mu }}$ $q={\frac {dQ}{d\mu }}$

D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p}{q))\right)q\,d\mu .

A Lebesgue-mérték esetén az eloszlások sűrűsége és , ekkor az f -divergencia alakot ölt $\mu=x$ $p(x)$ $q(x)$

D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)))\right)q(x)\, dx.

Diszkrét eloszlásokhoz és ahol , $P=\{p_{i}\}$ $Q=\{q_{i}\}$ $i=1,...,N$

D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_ {én}.

Meg kell jegyezni, hogy a függvény a kifejezésig van definiálva , ahol egy tetszőleges állandó. Valójában az f -divergencia formája nem függ a választásától , mivel a függvény tagja nulla hozzájárulást ad az integrál értékéhez. Ezenkívül a függvény tartalmazhat egy pozitív szorzóállandót , amely megadja a divergencia mértékegységét. Ezzel kapcsolatban néhány szerző (például Basseville (2010 )) további korlátozásokat jelez a funkcióval kapcsolatban : $f(t)$ $c(t-1)$ $c$ $c$ $c(t-1)$ $f(t)$ $f(t)$ $k$ $f(t)$

f'(1)=0,

f''(1)=1.

A megszorítások közül az első az állandót , a második pedig az állandót rögzíti . A feltétel hasznos lehet abban az esetben , ha egy ponton minimum van (lásd Liese & Vajda (2006 )), az f -divergencia kifejezése intuitív módon könnyebben érthető. A függvény konkretizálásának ez a módja azonban nem mindig kényelmes: például az f -entrópia egy adott f -divergenciához társított folytonos változatának létezéséhez a konstans eltérő értékére lehet szükség . $c$ $k$ $f'(1)=0$ $f(t)\geq 0$ $t=1$ $f(t)$ $c$

Az f -divergencia egy Taylor -sorozatban bővíthető és χ - típusú távolságok súlyozott összegeként írható fel (lásd Nielsen & Nock (2013 )).

Az f -divergencia speciális esetei

Sok jól ismert divergencia, mint például a Kullback-Leibler-divergencia , a Hellinger-távolság négyzete , a chi-négyzet távolság és számos más, az f -divergencia speciális esetei , amelyek egy bizonyos függvényválasztásnak felelnek meg . Az alábbi táblázat a valószínűségi eloszlások és a hozzájuk tartozó függvények közötti eltérések néhány gyakori típusát sorolja fel (lásd Liese & Vajda (2006 )). $f(t)$ $f(t)$

Eltérés	Generatív funkció $f(t)$
Kullback-Leibler eltérés	$t\ln t$
Fordított Kullback-Leibler eltérés	$-\ln t$
Hellinger távolság négyzetben	${\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t } }}$
Teljes variációs távolság	${\frac {1}{2}}\|t-1\|\,$
Pearson távolság $\chi ^{2}$	${\megjelenítési stílus (t-1)^{2},\,t^{2}-1,\,t^{2}-t}$
Neumann távolság $\chi ^{2}$	${\frac {1}{t}}-1,\,{\frac {1}{t}}-t$
Alfa eltérés	${\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}tt^{(1+\alpha )/2}{\big )},& {\text{if}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if }}\ \alpha =-1\end{cases}}$
Alfa divergencia (más jelölés)	${\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1))),&{\text{if))\ \alpha \neq 0,\ ,\alpha \neq 1,\\t\ln t,&{\text{if}}\ \alpha =1,\\-\ln t,&{\text{if}}\ \alpha =0\end {esetek}}$

Tulajdonságok

Nem negativitás : A ƒ -divergencia mindig nem negatív, és csak akkor nulla, ha az és eloszlások azonosak. Ez egyenesen következik Jensen egyenlőtlenségéből : $P$ $K$ $D_{f}(P\!\parallel \!Q)=\int _{\Omega }\!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\ geq f{\bigg (}\int _{\Omega }{\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.$
Monotonitás : ha egy tetszőleges átmenet valószínűsége, amely a mértékeket és rendre -hoz és -hez veszi , akkor $\kappa$ $P$ $K$ ${\displaystyle P_{\kappa ))$ ${\displaystyle Q_{\kappa ))$ $D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).$ Az egyenlőség itt akkor és csak akkor következik be, ha az átmenetet megfelelő statisztika generálja a -ra vonatkozóan . ${\displaystyle \{P,Q\))$
Ízületi domborúság : bármely $0\leq \lambda \leq 1$ $D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\ Nagy )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_ {2}).$ Ez a leképezés konvexitásából következik . $(p,q)\mapsto qf(p/q)$ ${\displaystyle \mathbb {R} _{+}^{2))$
Öndualitás : ha f -divergencia, akkor f - divergencia is , azaz. az f -divergencia osztálya direkt és fordított (kettős) divergenciákat is tartalmaz. Igazán, $D(P\parallel Q)$ $D(Q\parallel P)$ ${D^{*}}_{f}(P\parallel Q){\stackrel {\mathrm {df} }{\;=\;}}D_{f}(Q\parallel P)=\ int _{\Omega }f\left({\frac {dQ}{dP}}\right)dP=\int _{\Omega }f^{*}\left({\frac {dP}{dQ}} \right)dQ=D_{f^{*}}(P\párhuzamos Q),$ hol van a kettős generáló függvény. Könnyen belátható, hogy , folytonos (talán a pontot kivéve ), és szinte mindenhol be van kapcsolva a konvexitás miatt , azaz, a függvény kielégíti az f -divergencia generáló függvény feltételeit. $f^{*}(t)=tf(1/t)$ $f^{*}(1)=f(1)=0$ $f^{*}(t)$ $t = 0$ ${f^{*}}''(t)={\frac {1}{t^{3}}}f''(1/t)\geq 0$ $t\geq 0$ $f$ $f^{*}(t)$

Az utolsó tulajdonságot figyelembe véve az f -divergencia osztálya ekvivalens módon definiálható . Hasonló meghatározást találunk például Zhangnál (2004 ). Így az eloszlás igaznak való értelmezése, ami az f -divergencia definíciójából következik, nem alapvető tulajdonsága, hanem csak a definícióban szereplő érvek sorrendjében való megegyezés következménye. Más szóval, az érvek és fogalmilag azonosak. ${D^{*}}_{f}(P\parallel Q)=\operátornév {E} _{P}f\left({\frac {dQ}{dP}}\right)$ $K$ $P$ $K$

Azt is érdemes megjegyezni, hogy az f -divergencia egy dimenzió nélküli mennyiség , függetlenül a halmaz dimenziójától . $\Omega$

Kapcsolódó fogalmak

Az f -divergencia mellett I. Chisar meghatározta az f -entrópia kapcsolódó fogalmát ( Csiszár (1972 )).

Linkek

Csiszár, I. Eine informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von Markoffschen Ketten (német) // Magyar. Tud. Akad. Mat. Kutato Int. Kozl: bolt. - 1963. - Bd. 8 . - S. 85-108 .
Morimoto, T. Markov folyamatok és a H-tétel // J. Phys . szoc. Jpn. : folyóirat. - 1963. - 1. évf. 18 , sz. 3 . - P. 328-331 . - doi : 10.1143/JPSJ.18.328 . - Iránykód .
Ali, S. M.; Silvey, SD Az egyik eloszlástól a másiktól való eltérési együtthatók általános osztálya // Journal of the Royal Statistical Society, Series B : folyóirat. - 1966. - 1. évf. 28 , sz. 1 . - 131-142 . o . — .
Lies, F.; Vajda, I. Az eltérésekről és információkról a statisztikában és az információelméletben (angol) // IEEE Transactions on Information Theory : folyóirat. - 2006. - 20. évf. 52 , sz. 10 . - P. 4394-4412 . - doi : 10.1109/TIT.2006.881731 .
Nielsen, F.; Nock, R. A Chi-négyzetről és a magasabb rendű Chi távolságokról az f-divergencia közelítésére // IEEE Signal Processing Letters : Journal. - 2013. - Kt. 21 . - P. 10-13 . - doi : 10.1109/LSP.2013.2288355 . — Iránykód . - arXiv : 1309.3029 .
Basseville, M. Divergencia intézkedések a statisztikai adatfeldolgozáshoz (angol) // Publications Internes de l'IRISA: Journal. - 2010. - 20. évf. 11 . - P. 1-23 .
Zhang, J. Divergenciafüggvény, dualitás és konvex elemzés // Neurális számítás. - 2004. - 20. évf. 16 . - P. 159-195 .
Csiszár, I. A megfigyelési csatornák informativitásának mérési osztálya (angol) // Periodica Math. Magyar: folyóirat. - 1972. - 1. évf. 2 . - P. 191-213 .