Gauss-folyamat

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2017. augusztus 23-án áttekintett verziótól ; az ellenőrzések 28 szerkesztést igényelnek .

A valószínűségszámításban és a statisztikában a Gauss-folyamat egy sztochasztikus folyamat (valamilyen paraméterrel, leggyakrabban idővel vagy koordinátákkal indexelt valószínűségi változók halmaza), amely szerint ezen valószínűségi változók bármely véges halmazának többváltozós normális eloszlása van , azaz bármilyen véges lineáris kombináció. ezek közül normál eloszlású . Egy Gauss-folyamat eloszlása az összes valószínűségi változó együttes eloszlása, és ezért a függvények eloszlása folytonos definíciós tartományban.

Ha a Gauss-folyamatot a gépi tanulási problémák megoldásának egyik módjának tekintjük, akkor a lusta tanulást és a pontok közötti hasonlóság mértékét ( kernelfüggvény ) használjuk arra, hogy a betanítási mintából egy láthatatlan pont értékét előre jelezzük. Az előrejelzés fogalma magán a pontbecslésen kívül a bizonytalanságra vonatkozó információkat is tartalmaz – ez egy egydimenziós Gauss-eloszlás. [egy]

Egyes kernelfüggvények előrejelzésének kiszámításához egy mátrixalgebrai módszert, a kriginget használjuk .

A Gauss-folyamatot Carl Friedrich Gaussról nevezték el , mivel a Gauss-eloszlás ( normál eloszlás ) koncepcióján alapul . A Gauss-folyamat a többváltozós normális eloszlások végtelen dimenziós általánosításaként fogható fel. Ezeket a folyamatokat a statisztikai modellezésben alkalmazzák ; különösen a normalitási tulajdonságokat használják. Például, ha egy véletlenszerű folyamatot Gauss-féle módon modelleznek, akkor különféle származtatott mennyiségek eloszlásai, mint például a folyamat átlagos értéke egy bizonyos időtartam alatt és a becslés hibája egy minta értékével, megkapható. kifejezetten.

Definíció

Egy folytonos idejű véletlenszerű folyamat akkor és csak akkor Gauss-féle az indexhalmaz bármely véges indexhalmazára . ${\displaystyle t_{1},\ldots ,t_{k))$ $T$

\mathbf {X} _{t_{1},\ldots ,t_{k}}=(\mathbf {X} _{t_{1}},\ldots ,\mathbf {X} _{t_{ k))

egy többdimenziós Gauss -féle valószínűségi változó . [2] Ugyanúgy, mint bármely lineáris kombinációnak van egydimenziós normál (Gauss) eloszlása. Valószínűségi változók karakterisztikus függvényeinek felhasználásával a Gauss-tulajdonság a következőképpen fogalmazható meg: - Gauss akkor és csak akkor, ha bármely véges indexhalmazhoz vannak valós értékek , ahol olyan, hogy minden egyenlőségre $(\mathbf {X} _{t_{1)),\ldots ,\mathbf {X} _{t_{k)))$ $\left\{X_{t};t\in T\right\}$ ${\displaystyle t_{1},\ldots ,t_{k))$ ${\displaystyle \sigma _{\ell j))$ ${\displaystyle \mu _{\ell ))$ $\sigma _{jj}>0$ $s_{1},s_{2},\ldots ,s_{k}\in \mathbb {R}$

\operatorname {E} \left(\exp \left(i\ \sum _{\ell =1}^{k}s_{\ell }\ \mathbf {X} _{t_{\ell )) \right)\right)=\exp \left(-{\frac {1}{2}}\,\sum _{\ell ,j}\sigma _{\ell j}s_{\ell }s_{j }+i\sum _{\ell }\mu _{\ell }s_{\ell }\right).

Hol van a képzeletbeli egység . $én$

A számok és a változók kovarianciai és átlagértékei a folyamatokban, ill. [3] ${\displaystyle \sigma _{\ell j))$ ${\displaystyle \mu _{\ell ))$

Kovarianciafüggvények

A Gauss-folyamatok fő jellemzője, hogy teljesen meghatározhatók másodrendű statisztikákkal. [4] Ezért a kovarianciafüggvény teljes mértékben meghatározza a folyamat viselkedését, ha a Gauss-folyamat matematikai elvárása nullával egyenlő. Fontos megjegyezni, hogy egy függvény nem-negatív meghatározottsága lehetővé teszi a Karhunen-Loeve kiterjesztéssel történő spektrális felbontását . A kovarianciafüggvényen keresztül meghatározható a folyamat stacionaritása , izotrópiája , simasága és periodicitása . [4] [5]

A stacionaritás a folyamat viselkedését fejezi ki bármely két pont és a távolság tekintetében . Ha a folyamat stacionárius, akkor függ a pontjainak egymáshoz viszonyított helyzetétől, a köztük lévő távolságtól , egyébként nem stacionárius, vagyis a pontok és a pontok tényleges helyzetétől függ . Példa erre az Ornstein-Uhlenbeck folyamat egy speciális esete, a Brown-mozgás folyamata : stacionárius. $x$ $x'$ $xxx'$ $x$ $x'$

Ha egy folyamat csak a és közötti euklideszi távolságtól függ (nem iránytól) , akkor a folyamatot izotrópnak mondjuk. Az álló és izotróp folyamatot homogénnek nevezzük; [6] a gyakorlatban a stacionaritás és az izotrópia tulajdonságai a folyamat viselkedésében mutatkozó különbségeket (vagy inkább ezek hiányát) tükrözik, figyelembe véve a megfigyelő helyzetét. $|xxx'|$ $x$ $x'$

A Gauss-folyamatok lényege, hogy a priori valószínűségi eloszlásokat kapjunk, amelyek simasága a felvett kovarianciafüggvénytől függ. [4] Ha azt várjuk, hogy a "közel fekvő" bemeneti pontok és a hozzájuk tartozó kimeneti pontok , valamint a "közel fekszenek", akkor a függvény folytonosságát feltételezzük. Ha jelentős torzítást akarunk megengedni, akkor durvább kovarianciafüggvényt kell választanunk. Az extrém viselkedésre példa az Ornstein-Uhlenbeck kovarianciafüggvény és a másodfokú exponenciális függvény, ahol az előbbi sehol nem differenciálható, az utóbbi pedig végtelenül differenciálható. $x$ $x'$ $y$ $y'$

A periodicitás alatt periodikus minták indukálását értjük a folyamat viselkedésében. Formálisan ezt úgy érik el, hogy a bemeneti értéket egy kétdimenziós vektorra képezik le $x$

$u(x)=(cos(x),sin(x)).$

Közönséges kovarianciafüggvények

Számos közös kovarianciafüggvény létezik: [5]

Állandó: $K_{\operátornév {C} }(x,x')=C$
Lineáris függvény: $K_{\operátornév {L} }(x,x')=x^{T}x'$
Gauss zaj: $K_{\operatorname {GN} }(x,x')=\sigma ^{2}\delta _{x,x'}$
Másodfokú exponenciális függvény: ${\displaystyle K_{\operátornév {SE} }(x,x')=\exp {\Big (}-{\frac {\|d\|^{2)){2\ell ^{2))} {\Nagy)))$
Ornstein-Uhlenbeck függvény: $K_{\operátornév {OU} }(x,x')=\exp \left(-{\frac {|d|}{\ell }}\right)$
Anya: ${\displaystyle K_{\operatorname {Matern} }(x,x')={\frac {2^{1-\nu }}{\Gamma (\nu ))){\Big (}{\frac {{ \sqrt {2\nu }}|d|}{\ell }}{\Big )}^{\nu }K_{\nu }{\Big (}{\frac {{\sqrt {2\nu }} |d|}{\ell }}{\Big )))$
Periodikus funkció: $K_{\operátornév {P} }(x,x')=\exp \left(-{\frac {2\sin ^{2}\left({\frac {d}{2))\right )}{\ell ^{2}}}\jobbra)$
Racionális másodfokú függvény: $K_{\operátornév {RQ} }(x,x')=(1+|d|^{2})^{-\alpha },\quad \alpha \geq 0$

itt . A paraméter a folyamat hosszskálájának jellemzője (gyakorlatilag "milyen közel" kell lennie két pontnak ahhoz, hogy jelentősen befolyásolják egymást), a Kronecker szimbólum és a zajingadozások szórása . Ezenkívül egy módosított Bessel-függvény , és egy gamma-függvény, amely -ből számítható ki . Fontos megjegyezni, hogy egy komplex kovarianciafüggvény más egyszerűbb kovarianciafüggvények lineáris kombinációjaként definiálható, hogy a rendelkezésre álló adatkészletekre vonatkozó különböző információkat kombinálhassunk. $d=xx'$ $\ell$ $x$ $x'$ $\delta$ $\sigma$ ${\displaystyle K_{\nu ))$ $\nu$ $\Gamma (\nu )$ $\nu$

Nyilvánvaló, hogy a kapott eredmények a hiperparaméterek (például és ) értékétől függenek, amelyek meghatározzák a modell viselkedését. $\theta$ $\ell$ $\sigma$

A Brown-mozgás mint a Gauss-folyamatok integrálja

A Wiener-folyamat (az úgynevezett Brown-mozgás) a Gauss-féle fehérzaj folyamat szerves része. Nem áll , de vannak stacionárius lépései .

Az Ornstein-Uhlenbeck folyamat egy stacionárius Gauss-folyamat.

A Brown-híd (hasonlóan az Ornstein-Uhlenbeck folyamathoz) egy olyan Gauss-folyamat példa, amelynek lépései nem függetlenek .

A tört Brown-mozgás egy Gauss-folyamat, amelynek kovarianciafüggvénye a Wiener-folyamat függvényének általánosítása.

Alkalmazások

A Gauss-folyamat a függvények előzetes valószínűségi eloszlásaként használható Bayes-következtetésben . [5] [8] A kívánt függvénytartomány bármely N pont halmazához vegyünk egy többváltozós Gauss-eloszlást , amelynek kovarianciamátrix paramétere a kívánt kernellel vett N pont Gram-determinánsa , és egy mintát ebből az eloszlásból.

Az előző kovariancia által meghatározott Gauss-folyamat alapján a folytonos értékek származtatását krigingnek (Gauss-folyamaton alapuló regresszió) nevezzük. Ezért a Gauss-folyamatok hatékony nemlineáris többdimenziós interpolációs eszközként használhatók . A Gauss-folyamat regressziója tovább terjeszthető felügyelt és nem felügyelt tanulási problémák megoldására ( öntanulás ) .

Gauss-folyamat előrejelzése vagy kriging

Amikor a Gauss-folyamaton ( kriging ) alapuló regresszió alapproblémájáról van szó , akkor feltételezzük, hogy a koordinátákban megfigyelt Gauss-folyamat esetén az értékvektor csak egy olyan többváltozós Gauss-eloszlás mintája, amelynek mérete megegyezik a megfigyelt koordináták száma . Ezért a nulla eloszlási feltevés mellett , ahol a kovariancia mátrix az összes lehetséges pár között egy adott hiperparaméterhalmazhoz . [5] Így a határvalószínűség logaritmusa egyenlő: $f$ $x$ $f(x)$ $|x|$ $f(x)\sim N(0,K(\theta,x,x'))$ $K(\theta,x,x')$ ${\megjelenítési stílus (x,x')}$ $\theta$

\log p(f(x)|\theta ,x)=-{\frac {1}{2}}f(x)^{T}K(\theta ,x,x')^{- 1}f(x)-{\frac {1}{2}}\log \det(K(\theta,x,x'))-{\frac {|x|}{2}}\log 2\ pi

és ennek a határvalószínűségnek a maximalizálása a -hoz képest a Gauss-folyamat teljes jellemzését adja . Megjegyezhető, hogy az első kifejezés attól függ, hogy a modell nem tud megfelelni a megfigyelt értékeknek, a második kifejezés pedig egyenesen arányos a modell összetettségével. Miután jeleztük és előre jeleztük a koordinátákban nem megfigyelt értékeket , hátra van a prediktív eloszlásból minták diagramjának felrajzolása , ahol az ezt követő átlagos becslést a következőképpen határozzuk meg: $\theta$ $f$ $\theta$ $f(x^{*})$ $x^{*}$ $p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\mid A,B)$ $A$

A=K(\theta ,x^{*},x)K(\theta ,x,x')^{-1}f(x)

és a B variancia utólagos becslését a következőképpen definiáljuk

B=K(\theta ,x^{*},x^{*})-K(\theta,x^{*},x)K(\theta ,x,x')^{-1 }K(\theta,x^{*},x)^{T}

ahol az új koordinátabecslés és az összes többi megfigyelt koordináta közötti kovariancia az adott hiperparametrikus vektorhoz , és a fentiek szerint vannak definiálva, és a variancia a vektor által diktált pontban . Fontos megjegyezni, hogy az ezt követő átlagbecslés (a "pontbecslés") a megfigyelések lineáris kombinációja ; hasonlóképpen a variancia gyakorlatilag független a megfigyelésektől . A Gauss-folyamat előrejelzésének ismert szűk keresztmetszete, hogy az előrejelzés számítási összetettsége köbös a pontok számában , azaz előfordulhat, hogy a számítás nem lehetséges nagy adatkészletek esetén. [4] A probléma megkerülése érdekében ritka Gauss-folyamatokon dolgoznak, amelyek általában egy adott folyamat reprezentatív halmazának felépítésén alapulnak . [9] [10] $K(\theta ,x^{*},x)$ $x^{*}$ $x$ $\theta$ $K(\theta,x,x')$ $f(x)$ $K(\theta,x^{*},x^{*})$ $x^{*}$ $\theta$ $f(x^{*})$ $f(x)$ $f(x^{*})$ $f(x)$ $|x|$ $f$

Lásd még

Jegyzetek

↑ Platypus Innovation: A Gauss-folyamatok egyszerű bemutatása (nagyszerű adatmodellező eszköz) . Letöltve: 2018. január 15. Az eredetiből archiválva : 2018. május 1.. (határozatlan)
↑ MacKay, David, J.C. Információelmélet, következtetések és tanulási algoritmusok . - Cambridge University Press , 2003. - P. 540. - ISBN 9780521642989 . . — ""Egy függvény valószínűségi eloszlásaGauss-folyamat, ha bármely véges pontválasztásnála sűrűségGauss-féle"". $y(\mathbf {x} )$ ${\displaystyle \mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots ,\mathbf {x} ^{(N)))$ $P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots ,y(\mathbf {x} ^{(N) }))$
↑ Dudley, R. M. Valós elemzés és valószínűség. – Wadsworth és Brooks/Cole, 1989.
↑ 1 2 3 4 Borbély, David. Bayesi érvelés és gépi tanulás . - Cambridge University Press , 2012. - ISBN 978-0-521-51814-7 .
↑ 1 2 3 4 Rasmussen, CE; Williams, CKI Gaussian Processes for Machine Learning . - MIT Press , 2006. - ISBN 0-262-18253-X .
↑ Grimmett, Geoffrey; David Stirzaker. Valószínűségi és véletlenszerű folyamatok . - Oxford University Press , 2001. - ISBN 0198572220 .
↑ A scikit-learn dokumentációja is tartalmaz hasonló példákat . Archiválva : 2021. április 19. a Wayback Machine -nél .
↑ Liu, W.; Principe, JC; Haykin, S. Kernel Adaptive Filtering: A Comprehensive Introduction . - John Wiley , 2010. - ISBN 0-470-44753-2 . Archivált másolat (nem elérhető link) . Letöltve: 2018. január 15. Az eredetiből archiválva : 2016. március 4. (határozatlan)
↑ Smola, AJ; Schoellkopf, B. Sparse greedy matrix approximation for machine learning // Proceedings of the Seventeenth International Conference on Machine Learning : Journal. - 2000. - P. 911-918 .
↑ Csato, L.; Opper, M. Sparse on-line Gauss-folyamatok // Neural Computation. - 2002. - 20. évf. 14 . - P. 641-668 . - doi : 10.1162/089976602317250933 .

Külső linkek

Szoftver

STK: egy kis (Matlab/Octave) eszköztár Kriging és GP modellezéshez
Kriging modul az UQLab keretrendszerben (Matlab)
Matlab/Octave függvény stacionárius Gauss-mezőkhöz
Yelp MOE – Fekete doboz optimalizáló motor Gauss-féle folyamattanulással
ooDACE - Rugalmas objektum-orientált Kriging Matlab eszköztár.
GPstuff – Gauss-folyamat eszköztár Matlab és Octave számára
GPy – Gauss-folyamatok keretrendszere Pythonban
Interaktív Gauss-folyamat regressziós bemutató
C++11 nyelven írt alap Gauss-folyamatkönyvtár
scikit-learn – Gépi tanulási könyvtár Pythonhoz, amely Gauss-folyamat regressziót és osztályozást tartalmaz
[1] - A Kriging toolKit (KriKit) a Forschungszentrum Jülich (FZJ) Bio- és Geosciences Institute 1-ben (IBG-1) készült.