Statisztikai tanuláselmélet

A statisztikai tanuláselmélet a tanulógépek statisztikán és funkcionális elemzésen alapuló modellje [1] [2] . A statisztikai tanuláselmélet az adatokon alapuló prediktív függvény megtalálásának problémáival foglalkozik. A statisztikai tanuláselmélet sikeres alkalmazásokhoz vezetett olyan területeken, mint a számítógépes látás , a beszédfelismerés és a bioinformatika .

Bevezetés

A tanulás célja a megértés és az előrelátás. A tanulás több kategóriába sorolható, beleértve a felügyelt tanulást , a felügyelet nélküli tanulást, az online tanulást és a megerősített tanulást . A tanulás statisztikai elmélete szempontjából a felügyelt tanulás a legérthetőbb [3] . A felügyelt tanulás magában foglalja a képzési adatkészlettel való tanulást Bármely képzési pillanat egy bemeneti/kimeneti pár, ahol a bemeneti érték a kimeneti értékre van leképezve. A tanulási probléma egy olyan függvény rekonstrukciója, amely leképezi a bemeneteket a kimenetekre, hogy a függvény segítségével megjósolható legyen a jövőbeli bemenetek kimenete.

A következtetés típusától függően a felügyelt tanulási problémák vagy regressziós problémák vagy osztályozási problémák . Ha a kimenet folyamatos tartományt vehet fel, az regressziós probléma. Az Ohm-törvényt használva példaként, a regresszió feszültséget vehet fel bemenetként, és áramot adhat kimenetként. A regresszióval meg lehetne találni a kapcsolatot a feszültség és az áram között mint , így ${\frac {1}{R}}$

I={\frac {1}{R}}V

Az osztályozási feladatok azok, amelyeknél a kimenet egy címkekészlet eleme lesz. Az osztályozás nagyon gyakori a gépi tanulási alkalmazásokban. Egy arcfelismerő rendszerben például egy arc képe lenne a bemenet, a kimenet pedig a személy vezetékneve. A bemenet egy nagy, többdimenziós vektorként ábrázolható, melynek elemei a kép pixeleit reprezentálják.

Az edzéskészleten alapuló jellemző betanítása után az adott szolgáltatást egy olyan tesztkészleten tesztelik, amely nem jelenik meg az edzéskészletben.

Formai leírás

Legyen az összes lehetséges bemenet vektortere és az összes lehetséges kimenet vektortere. A statisztikai tanuláselmélet feltételezi, hogy a terek szorzata között van valami ismeretlen valószínűségi eloszlás , azaz van valami ismeretlen . A betanítási halmaz ennek a valószínűségi eloszlásnak a példányaiból áll, és jelölve van $x$ $Y$ $Z=X\x Y$ $p(z)=p({\vec {x)),y)$ $n$

S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}= \{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}}\}

Mindegyik bemeneti vektor a betanítási adatokból, és az adott bemeneti vektornak megfelelő kimenet. ${\vec {x}}_{i}$ $y_{i}$

Egy ilyen formalizálásnál a következtetési probléma az, hogy olyan függvényt találjunk , amelyre . Legyen a függvények tere , amit hipotézisek terének nevezünk. A hipotézistér az a tér, amelyet az algoritmus megvizsgál. Legyen egy veszteségfüggvény , a becsült érték és a valódi érték közötti különbség metrikája . A várható kockázatot a következőképpen határozzuk meg $f:X\Y-ig$ $f({\vec {x)))\sim y$ ${\mathcal {H}}$ $f:X\Y-ig$ $V(f({\vec {x))),y)$ $f({\vec {x)))$ $y$

I[f]=\displaystyle \int _{X\times Y}V(f({\vec {x}}),y)\,p({\vec {x}}),y)\ , d{\vec {x}}\,dy

Objektív függvény, a legjobban választható függvény az a függvény, amelyik kielégíti a feltételt $f$

f=\inf _{h\in {\mathcal {H))}I[h]

Mivel a valószínűségi eloszlás nem ismert, a várható kockázat közelítő mértékét kell használni. Ezek a pontszámok a képzési halmazon alapulnak, amely egy minta ebből az ismeretlen valószínűségi eloszlásból. Az ilyen mértéket empirikus kockázatnak nevezzük: Az empirikus kockázatot minimalizáló függvényt kiválasztó tanuló algoritmust empirikus kockázatminimalizálásnak nevezzük . $p({\vec {x)),y)$ $I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i} ),y_{i})$ ${\displaystyle f_{S))$

Veszteségfüggvények

A veszteségfüggvény kiválasztása a tanulási algoritmus által kiválasztott függvény meghatározó tényezőjének meghatározása . A veszteségfüggvény befolyásolja az algoritmus konvergenciájának sebességét is. Fontos, hogy a veszteségfüggvény konvex legyen [4] . ${\displaystyle f_{S))$

Különböző veszteségfüggvények használatosak attól függően, hogy a probléma regresszió vagy osztályozás.

Regresszió

A regresszióhoz leggyakrabban használt veszteségfüggvény a másodfokú veszteségfüggvény (más néven L2-norma ). Ezt az ismerős veszteségfüggvényt a közönséges legkisebb négyzetek módszerében használják . Képlet:

V(f({\vec {x}}),y)=(yf({\vec {x}})))^{2}

Az abszolút veszteségértéket (más néven L1-normát ) néha használják:

V(f({\vec {x}}),y)=|yf({\vec {x}})|

Osztályozás

Bizonyos értelemben a 0-1 indikátorfüggvény a legtermészetesebb veszteségfüggvény osztályozási problémák esetén. A függvény 0 értéket vesz fel, ha az előrejelzett eredmény egyezik a helyes értékkel, és 1 értéket, ha az előrejelzett eredmény nem egyezik a megfelelő értékkel. A bináris osztályozáshoz ez lenne: $Y=\{-1,1\}$

V(f({\vec {x)))),y)=\theta (-yf({\vec {x))))

hol van a Heaviside függvény . $\theta$

Rendszerezés

A gépi tanulási feladatokban a túlillesztés komoly problémává válik . Mivel a tanulás előrejelzési feladat, nem az a cél, hogy megtaláljuk azt a jellemzőt, amelyik a legjobban illeszkedik az (előnézeti) adatokhoz, hanem az, hogy megtaláljuk azt a jellemzőt, amely a legpontosabban előrejelzi a jövőbeli bemenetek kimenetét. Az empirikus kockázatminimalizálás beleesik ebbe a túlillesztési kockázatba: olyan függvényt kell találni, amely pontosan illeszkedik az adatokhoz, de nem képes megjósolni a jövőt.

A túlillesztés az instabil megoldások tünete – az edzéskészlet kis változtatásai nagy eltéréseket okozhatnak a tanulási funkcióban. Kimutatható, hogy a megoldás stabilitása garantálható [5] [6] . A rendszeresítés megoldhatja a túlillesztés problémáját és stabilitást biztosíthat .

A szabályozás a hipotézisek terének korlátozásával történhet . Korlátozható például lineáris függvényekre – ez a standard lineáris regressziós probléma korlátozásának tekinthető . korlátozható fokpolinomokra , exponenciálisokra vagy korlátos függvényekre L1 -en . A hipotézisterek korlátozása kizárja a túlillesztést a potenciális függvények formájának korlátozásával, ami nem teszi lehetővé olyan függvények kiválasztását, amelyek tetszőlegesen nullához közeli empirikus kockázatot adnak. ${\mathcal {H}}$ ${\mathcal {H}}$ ${\mathcal {H}}$ $p$

A regularizáció egyik példája Tyhonov -féle regularizáció . Ez a minimalizálásból áll

{\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i},y_{i}))+ \gamma \|f\|_{\mathcal {H}}^{2}

ahol egy rögzített pozitív paraméter. A Tyihonov-szabályozási módszer biztosítja a megoldás meglétét, egyediségét és stabilitását [7] . $\gamma$

Jegyzetek

↑ Hastie, Tibshirani, Friedman, 2009 .
↑ Mohri, Rostamizadeh, Talwalkar, 2012 .
↑ Tomaso Poggio, Lorenzo Rosasco és mások. Statisztikai tanuláselmélet és alkalmazások , 2012, 1. osztály Archiválva : 2012. szeptember 16. a Wayback Machine -nél
↑ Rosasco, Vito, Caponnetto, Fiana, Verri, 2004 , p. 1063-1076.
↑ Vapnik, Chervonenkis, 1971 , p. 264-280.
↑ Mukherjee, Niyogi, Poggio, Rifkin, 2006 , p. 161-193.
↑ Tomaso Poggio, Lorenzo Rosasco és mások. Statisztikai tanuláselmélet és alkalmazások , 2012, 2. osztály Archiválva : 2016. augusztus 16. a Wayback Machine -nél

Irodalom

Trevor Hastie, Robert Tibshirani, Jerome Friedman. A statisztikai tanulás elemei. - Springer-Verlag, 2009. - ISBN 978-0-387-84857-0 .
Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar. A gépi tanulás alapjai.. - USA, Massachusetts: MIT Press., 2012. - ISBN 9780262018258 .
Gagan Sidhu, Brian Caffo. A korsós döntéshozatal kihasználása megerősítési tanulás segítségével // Annals of Applied Statistics. - 2014. - V. 8 , sz. 2 . - doi : 10.1214/13-AOAS712 .
Rosasco L., Vito ED, Caponnetto A., Fiana M., Verri A. A veszteségfüggvények egyformák? // Neurális számítás. - 2004. - T. 16 .
Vapnik VN , Chervonenkis AY Az események relatív gyakoriságának egyenletes konvergenciájáról a valószínűségeikhez // Valószínűségelmélet és alkalmazásai. - 1971. - T. 16 .
Mukherjee S., Niyogi P., Poggio T., Rifkin R. Tanuláselmélet: a stabilitás elégséges az általánosításhoz, és szükséges és elégséges az empirikus kockázatminimalizálás konzisztenciájához // Advances in Computational Mathematics. - 2006. - T. 25 .

Gépi tanulás és adatbányászat
Feladatok	Osztályozási probléma Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellek együttesei Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-közép módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-Net Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG