Online gépi tanulás

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2021. november 9-én felülvizsgált verziótól ; az ellenőrzések 2 szerkesztést igényelnek .

Az online gépi tanulás egy olyan gépi tanulási technika , amelyben az adatokat szekvenciális sorrendben teszik elérhetővé, és a későbbi adatok legjobb előrejelzésének frissítésére használják, minden egyes betanítási lépésben. A módszer ellentétes a kötegelt betanítási technikával, amelyben a legjobb előrejelzést generálják egy menetben a teljes betanítási adatkészletből. Az online tanulás egy gyakori technika, amelyet a gépi tanulás területein használnak, amikor nem lehetséges a teljes adathalmazon betanítani, például amikor külső memóriával működő algoritmusokra van szükség. A módszert olyan helyzetekben is alkalmazzák, amikor az algoritmusnak dinamikusan kell adaptálnia az adatok új mintáit, vagy amikor maga az adat az idő függvényében jön létre, például a tőzsdei árak előrejelzésekor . Az online tanulási algoritmusok katasztrofális interferenciára hajlamosak lehetnek , ez a probléma lépésről lépésre történő tanulási megközelítéssel megoldható [1] .

Bevezetés

Felügyelt tanulási körülmények között egy függvény betanításra kerül , ahol a bemeneti adatok tere, és a kimeneti adatok tere, amely jól megjósolja a közös valószínűségi eloszlás elemeit a -n . Valójában a képzés során a valódi eloszlást soha nem ismerjük. Általában éppen ellenkezőleg, hozzá lehet férni a képzési példák halmazához . Ilyen feltételek mellett a veszteségfüggvényt úgy adjuk meg , hogy az előrejelzett érték és a valós értéke közötti különbséget méri . Az ideális cél az, hogy olyan függvényt válasszunk , ahol a függvények tere, az úgynevezett hipotézisek tere, úgy, hogy a teljes veszteség bizonyos értelemben minimális legyen. A modell típusától függően (statisztikai vagy kontradiktórius) különböző veszteségfogalmak alakíthatók ki, amelyek eltérő tanulási algoritmusokhoz vezetnek. $f:X\to Y$ $x$ $Y$ $p(x,y)$ $X \x Y$ $p(x,y)$ $(x_{1},y_{1}),\ldots ,(x_{n},y_{n})$ $V:Y\time Y\to \mathbb {R}$ $V(f(x),y)$ $f(x)$ $y$ $f\in {\mathcal {H}}$ ${\mathcal {H}}$

Az online tanulás statisztikai képe

A statisztikai tanulási modellekben feltételezzük, hogy a tesztmintát a valódi eloszlásból veszik , és a tanulás célja a várható "kockázat" minimalizálása. $(x_{i},y_{i})$ $p(x,y)$

I[f]=\mathbb {E} [V(f(x),y)]=\int V(f(x),y)\,dp(x,y)\ .

Az általános paradigma ebben a helyzetben az, hogy a funkciót az empirikus kockázat minimalizálásával vagy a szabályos empirikus kockázat minimalizálásával értékeljük (jellemzően Tikhonov-féle regularizációt használva ). A veszteségfüggvény kiválasztása itt számos jól ismert tanulási algoritmust eredményez, mint például a legalizált legkisebb négyzetek és a támogató vektorgépek . Egy tisztán online modell ebben a kategóriában csak az új bemenetekre , a jelenlegi legjobb előrejelzőre és néhány további tárolt információra oktat (amelynek általában az adatok méretétől független memóriaigénye van). Számos problémabeállításnál, például a nemlineáris kernelmetódusoknál a valódi online tanulás nem lehetséges, bár használhatók az online tanulás hibrid formái rekurzív algoritmusokkal, ahol az érték az összes korábbi adatponttól függhet . Ebben az esetben a memóriaigény már nem korlátozható, mert minden korábbi pontot meg kell tartani, de előfordulhat, hogy a megoldásnak kevesebb időbe telik a számítás az új adatpontok hozzáadásával, mint a kötegelt tanulási technikák. ${\kalap {f))$ ${\megjelenítési stílus (x_{t+1},y_{t+1})}$ ${\displaystyle f_{t))$ $f_{t+1}$ $f_t$ $(x_{1},y_{1}),\ldots ,(x_{t},y_{t})$

A probléma kezelésének általános stratégiája a mini kötegelt tanulás, ahol kis mennyiségű adatpontot dolgoznak fel egy adott időpontban, és ez pszeudo-online tanulásnak tekinthető, sokkal kisebb számú képzési pont esetében. A minibatch technikát a betanítási adatok iterálásával használják a külső memória gépi tanulási algoritmusok optimalizált verziójának eléréséhez, például a sztochasztikus gradiens süllyedés . A visszaterjesztéssel kombinálva jelenleg ez a de facto képzési módszer a mesterséges neurális hálózatok számára . $b\geq 1$ $b$

Példa: lineáris legkisebb négyzetek

A lineáris legkisebb négyzetek itt különböző online tanulási ötletek magyarázatára szolgálnak. Az ötletek elég általánosak ahhoz, hogy más beállításokra, például más konvex veszteségfüggvényekre is alkalmazhatók legyenek.

Kötegelt tanulás

Felügyelt környezetben másodfokú veszteségfüggvénnyel a cél az empirikus veszteség minimalizálása

I_{n}[w]=\sum _{j=1}^{n}V(\langle w,x_{j}\rangle ,y_{j})=\sum _{j=1} ^{n}(x_{j}^{T}w-y_{j})^{2}

, ahol

x_{j}\in \mathbb {R} ^{d},w\in \mathbb {R} ^{d},y_{j}\in \mathbb {R}

Legyen az adatok mátrixa és a célértékek mátrixa az első adatpontok megérkezése után. Feltéve, hogy a kovariancia mátrix invertálható (ellenkező esetben a Tyihonov-féle regularizációhoz hasonló eljárást kell végrehajtani), a legkisebb négyzetek módszerének legjobb megoldását az egyenlőség adja $x$ $i\times d$ $Y$ $i\times 1$ $én$ $\Sigma _{i}=X^{T}X$ $f^{*}(x)=\langle w^{*},x\rangle$

w^{*}=(X^{T}X)^{-1}X^{T}Y=\Sigma _{i}^{-1}\sum _{j=1}^{ i}x_{j}y_{j}

Most a kovariancia mátrix kiszámítása időt vesz igénybe , a mátrix inverziója és a mátrix szorzása , ami a teljes időt adja meg . Ha összesen pont van az adatkészletben, és minden egyes adatpont megérkezése után újra kell számítania a megoldást , a természetes megközelítés teljes komplexitású lesz . Ne feledje, hogy ha a mátrix tárolva van, az egyes lépésekben történő frissítéshez csak a hozzáadását kell elvégezni , ami időbe telik, ami a teljes időt -ra csökkenti , de további tárhelyet igényel [ 2] . ${\displaystyle \Sigma _{i}=\sum _{j=1}^{i}x_{j}x_{j}^{T))$ $O(id^{2})$ $d\times d$ $O(d^{3})$ $O(d^{2})$ $O(id^{2}+d^{3})$ $n$ $i=1,\ldots ,n$ $O(n^{2}d^{2}+nd^{3})$ ${\displaystyle \Sigma _{i))$ ${\displaystyle x_{i+1}x_{i+1}^{T))$ $O(d^{2})$ $O(nd^{2}+nd^{3})=O(nd^{3})$ $O(d^{2})$ ${\displaystyle \Sigma _{i))$

Online tanulás: rekurzív legkisebb négyzetek

A rekurzív legkisebb négyzetek a legkisebb négyzetek online megközelítését veszik figyelembe. Megmutatható, hogy inicializálással és a lineáris legkisebb négyzetek módszerének megoldásával a következőképpen számítható: ${\displaystyle \textstyle w_{0}=0\in \mathbb {R} ^{d))$ ${\displaystyle \textstyle \Gamma _{0}=I\in \mathbb {R} ^{d\times d))$

\Gamma _{i}=\Gamma _{i-1}-{\frac {\Gamma _{i-1}x_{i}x_{i}^{T}\Gamma _{i-1 }}{1+x_{i}^{T}\Gamma _{i-1}x_{i}}}

w_{i}=w_{i-1}-\Gamma _{i}x_{i}(x_{i}^{T}w_{i-1}-y_{i})

A fenti iteratív algoritmus indukcióval igazolható [3] -on . A bizonyíték is azt mutatja . A rekurzív legkisebb négyzetek számításba vehetők az adaptív szűrők kontextusában (lásd Rekurzív legkisebb négyzetek ). $én$ ${\displaystyle \Gamma _{i}=\Sigma _{i}^{-1))$

Ennek az algoritmusnak a lépéseinek összetettsége , ami gyorsabb, mint a megfelelő kötegelt tanulási komplexitás. A mátrix tárolásának minden lépéséhez szükséges memória itt egy állandó . Abban az esetben, ha nem reverzibilis, a veszteségfüggvény szabályosított változatát vesszük figyelembe . Ezután könnyű megmutatni, hogy ugyanaz az algoritmus működik -val , és a folytatólagos iterációk a [2] eredményt adják . $n$ $O(nd^{2})$ $én$ $\Gamma _{i}$ $O(d^{2})$ ${\displaystyle \Sigma _{i))$ $\sum _{j=1}^{n}(x_{j}^{T}w-y_{j})^{2}+\lambda ||w||_{2}^{2 }$ ${\displaystyle \Gamma _{0}=(I+\lambda I)^{-1))$ ${\displaystyle \Gamma _{i}=(\Sigma _{i}+\lambda I)^{-1))$

Sztochasztikus gradiens süllyedési módszer

Ha egyenlőség

\textstyle w_{i}=w_{i-1}-\Gamma _{i}x_{i}(x_{i}^{T}w_{i-1}-y_{i})

Kicserélve

\textstyle w_{i}=w_{i-1}-\gamma _{i}x_{i}(x_{i}^{T}w_{i-1}-y_{i})=w_ {i-1}-\gamma _{i}\nabla V(\langle w_{i-1},x_{i}\rangle ,y_{i})

vagy -on , ez egy sztochasztikus gradiens süllyedési algoritmussá válik. Ebben az esetben az algoritmus lépéseinek bonyolultsága -ra csökken . A memóriaigény minden lépésnél állandó . ${\displaystyle \Gamma _{i}\in \mathbb {R} ^{d\times d))$ $\gamma _{i}\in \mathbb {R}$ $n$ $O(nd)$ $én$ $O(d)$

A várható kockázatminimalizálási probléma megoldásához azonban körültekintően kell megválasztani a lépésméretet , amint azt fentebb kifejtettük. A csillapítási lépés méretének megválasztásával igazolható az átlagos iteráció konvergenciája . Ezek a beállítások a sztochasztikus optimalizálás speciális esetei , egy jól ismert optimalizálási probléma [2] . ${\displaystyle \gamma _{i))$ ${\displaystyle \gamma _{i}\approx {\frac {1}{\sqrt {i))))$ ${\overline {w}}_{n}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}$

Inkrementális sztochasztikus gradiens süllyedés

A gyakorlatban lehetőség van több sztochasztikus gradiens áthaladásra az adatokon. Az így kapott algoritmust növekményes gradiens módszernek nevezzük, és megfelel az iterációnak

\textstyle w_{i}=w_{i-1}-\gamma _{i}\nabla V(\langle w_{i-1},x_{t_{i}}\rangle ,y_{t_{ én)))

A fő különbség a sztochasztikus gradiens módszerrel szemben az, hogy itt azt választják , hogy melyik képzési pontot keressük fel a lépésben . Egy ilyen sorozat lehet véletlenszerű vagy determinisztikus. Az iterációk száma így leválasztható a pontok számától (minden pont többször is megtekinthető). Kimutatható, hogy az inkrementális gradiens módszer empirikus kockázatminimalizálást tesz lehetővé [4] . Az inkrementális technikáknak előnyei lehetnek, ha a célfüggvényt sok elem összegének tekintjük, például egy nagyon nagy adathalmaz empirikus hibájaként [2] . $t_{i}$ $én$

Nukleáris módszerek

Kernelek segítségével a fenti algoritmusok kiterjeszthetők nem-paraméteres modellekre (vagy olyan modellekre, amelyekben a paraméterek végtelen dimenziós teret alkotnak). A megfelelő eljárás többé nem lesz igazán online, hanem az összes adatpontot tárolja, de a módszer gyorsabb marad, mint a nyers erő. Ez a tárgyalás a négyzetes veszteség esetére korlátozódik, bár bármely konvex veszteségfüggvényre kiterjeszthető. Közvetlen indukcióval [2] kimutatható, hogy ha a egy adatmátrix, akkor a a kimenet a véletlenszerű gradiens süllyedés algoritmus lépései után, akkor ${\displaystyle X_{i))$ $w_{i}$ $én$

{\displaystyle w_{i}=X_{i}^{T}c_{i))

ahol és a sorrend kielégíti az ismétlődő kapcsolatokat $\textstyle c_{i}=((c_{i})_{1},(c_{i})_{2},...,(c_{i})_{i})\in \mathbb {R} ^{i}$ ${\displaystyle c_{i))$

c_{0}=0

(c_{i})_{j}=(c_{i-1})_{j},j=1,2,...,i-1

és

{\displaystyle (c_{i})_{i}=\gamma _{i}{\Big (}y_{i}-\sum _{j=1}^{i-1}(c_{i-1 })_{j}\langle x_{j},x_{i}\rangle {\Big )))

Vegye figyelembe, hogy itt van a szabványos kernel a -ban , és a prediktív függvény alakja $\langle x_{j},x_{i}\rangle$ ${\displaystyle \mathbb {R} ^{d))$

f_{i}(x)=\langle w_{i-1},x\rangle =\sum _{j=1}^{i-1}(c_{i-1})_{j} \langle x_{j},x\rangle

Most, ha bevezetünk egy közös kernelt , és a predikciós függvényt mint $K$

f_{i}(x)=\sum _{j=1}^{i-1}(c_{i-1})_{j}K(x_{j},x)

akkor ugyanez a bizonyíték azt mutatja, hogy a veszteségfüggvény legkisebb négyzetes minimalizálását kapjuk, ha a fenti rekurziót helyettesítjük

{\displaystyle (c_{i})_{i}=\gamma _{i}{\Big (}y_{i}-\sum _{j=1}^{i-1}(c_{i-1 })_{j}K(x_{j},x_{i}){\Big )))

A fenti kifejezés megköveteli az összes adat emlékezését a frissítéshez . A rekurzió teljes időbonyolultsága, ha a -edik adatpontra számítjuk , ahol a kernel egy pontpáron történő kiszámításának költsége [2] . Ekkor a kernel használata lehetővé teszi a mozgást egy véges dimenziós paramétertérből a kernel által képviselt, esetleg végtelen dimenziós térbe , ahelyett, hogy a paramétertéren ismétlődik , amelynek mérete megegyezik a betanítási adatkészlet méretével. Általában ez a megközelítés az [2] reprezentációs tétel következménye . ${\displaystyle c_{i))$ $n$ $O(n^{2}dk)$ $k$ ${\displaystyle \textstyle w_{i}\in \mathbb {R} ^{d))$ $K$ $\textstyle c_{i}\in \mathbb {R} ^{i}$

Progresszív tanulás

A progresszív tanulás hatékony tanulási modell, amelyet az emberek tanulási folyamata mutat meg. Ez a tanulási folyamat folyamatos, közvetlen tapasztalatból fakad. A gépi tanulás progresszív tanulási technikája dinamikusan, menet közben tanulhat meg új osztályokat vagy címkéket [5] . Bár az online képzés képes betanítani a szekvenciálisan beérkező új adatmintákat, új adatosztályokat nem . A progresszív tanulás tanulási paradigma független az osztálykényszerek számától, és képes új órákat tanítani, miközben megtartja az előző osztályok tudását. Ha azonban új (természetesen nem előforduló) osztályt találunk, az osztályozó automatikusan újraépül, és a paraméterek úgy számítódnak ki, hogy a korábbi tudás megmaradjon. Ez a technika valós alkalmazásokhoz alkalmas, ahol az osztályok száma gyakran ismeretlen, és valós idejű adatokból online tanulásra van szükség.

Online konvex optimalizálás

Az online konvex optimalizálás [6] egy általános döntési séma, amely konvex optimalizálást alkalmaz hatékony algoritmusok előállítására. A séma a következő műveletek többszöri megismétlése:

Mert $t=1,2,...,T$

A tanuló bemenetet kap ${\displaystyle x_{t))$
A tanuló egy fix konvex halmazból képez kimenetet ${\displaystyle w_{t))$ $S$
A természet egy konvex veszteségfüggvény értékét adja vissza . $v_{t}:S\rightarrow \mathbb {R}$
A tanuló elszámol a veszteséggel , és frissíti a modellt $v_{t}(w_{t})$

A cél a „sajnálat” vagy a teljes veszteség és a veszteség közötti különbség minimalizálása a legjobb rögzített ponton utólag. Példaként tekintsük az online lineáris legkisebb négyzetek regresszióját. Itt a vektorok súlya egy konvex halmazból származik, a természet pedig egy konvex veszteségfüggvényt ad vissza . Vegye figyelembe, hogy hallgatólagosan a következővel küldték el . $u\in S$ ${\displaystyle S=\mathbb {R} ^{d))$ ${\displaystyle v_{t}(w)=(\langle w,x_{t}\rangle -y_{t})^{2))$ ${\displaystyle y_{t))$ ${\displaystyle v_{t))$

Néhány online előrejelzési probléma azonban nem fér bele az online konvex optimalizálási sémába. Például az online osztályozásnál az előrejelzési terület és a veszteségfüggvények nem konvexek. Az ilyen forgatókönyvekben két egyszerű konvex esetcsökkentési technikát alkalmaznak - a randomizációt és a helyettesítő veszteségfüggvényeket.

Néhány egyszerű online konvex optimalizálási algoritmus:

Kövesd a vezetőt

A próba legegyszerűbb tanulási szabálya az, hogy (az aktuális lépésben) azt a hipotézist válasszuk, amelyiknek a legkisebb vesztesége van az összes korábbi kör közül. Ennek az algoritmusnak a neve " Kövesd a vezetőt ", és egyszerűen egy kört ad : $t$

w_{t}=\operátornév {arg\,min} _{w\in S}\sum _{i=1}^{t-1}v_{i}(w)

Ezt a módszert tehát mohó algoritmusnak tekinthetjük . Az online másodfokú optimalizálás esetében (ahol a veszteségfüggvény ) kimutatható, hogy a "sajnálat" határa növekszik . Más fontos modellcsaládok esetében azonban nem kaphatunk hasonló korlátokat a követni a vezető algoritmusra, mint az online lineáris optimalizálásra. Megszerzésükhöz a rendszerezést hozzáadjuk az algoritmushoz. ${\displaystyle v_{t}(w)=||w-x_{t}||_{2}^{2))$ $\log(T)$

Rendszeresített vezető nyomán

Ez a vezetőkövető algoritmus természetes módosítása, amely a vezetőt követő döntések stabilizálására és jobb megbánási határok elérésére szolgál. Kiválasztjuk a rendszerezési funkciót, és az edzést t körben a következőképpen hajtjuk végre : $R:S\rightarrow \mathbb {R}$

w_{t}=\operátornév {arg\,min} _{w\in S}\sum _{i=1}^{t-1}v_{i}(w)+R(w)

Speciális esetként tekintsük az online lineáris optimalizálás esetét, vagyis amikor a természet a formátum veszteségfüggvényeit adja vissza . Hagyjuk is . Tegyük fel, hogy a regularizációs függvényt valamilyen pozitív számra választjuk . Ekkor kimutatható, hogy a „sajnálat” minimalizálásának iterációja átalakul $v_{t}(w)=\langle w,z_{t}\rangle$ ${\displaystyle S=\mathbb {R} ^{d))$ $R(w)={\frac {1}{2\eta }}||w||_{2}^{2}$ $\eta$

{\displaystyle w_{t+1}=-\eta \sum _{i=1}^{t}z_{i}=w_{t}-\eta z_{t))

Vegye figyelembe, hogy ez átírható a következőre: , ami pontosan úgy néz ki, mint az online gradiens süllyedés módszere. $w_{t+1}=w_{t}-\eta \nabla v_{t}(w_{t})$

Ha S egy konvex altér , akkor S - t ki kell vetíteni, ami egy módosított frissítési szabályt eredményez ${\displaystyle \mathbb {R} ^{d))$

w_{t+1}=\Pi _{S}(-\eta \sum _{i=1}^{t}z_{i})=\Pi _{S}(\eta \theta _ {t+1})

Az algoritmust lusta vetítésnek nevezik, mivel a vektor gradienseket halmoz fel. Ezt Neszterov kettős átlagoló algoritmusnak (vagy szubgradiens kettős átlagolási módszernek) is nevezik [7] . Ebben a forgatókönyvben a lineáris veszteségfüggvények és a másodfokú regularizáció „regret” értékre korlátozódik , majd az átlagos „regret” 0 . $\theta _{t+1}$ $O({\sqrt {T)))$

Online lejtős süllyedés

A lineáris veszteségfüggvényekhez kötött "sajnálat" fentebb bizonyított . Az algoritmus tetszőleges konvex veszteségfüggvényre történő általánosításához a függvény részgradiensét lineáris közelítésként használjuk a körül , ami az online algradiens süllyedési algoritmusához vezet: $v_{t}(w)=\langle w,z_{t}\rangle$ $\partial v_{t}(w_{t})$ ${\displaystyle v_{t))$ ${\displaystyle v_{t))$ ${\displaystyle w_{t))$

Paraméter indítása $\eta ,w_{1}=0$

Mert $t=1,2,...,T$

Jóslatot készítünk a természetből nyert . ${\displaystyle w_{t))$ $f_t$
Választ $z_{t}\in \partial v_{t}(w_{t})$
Ha , végezzen frissítést ${\displaystyle S=\mathbb {R} ^{d))$ ${\displaystyle w_{t+1}=w_{t}-\eta z_{t))$
Ha , kumulatív gradienseket vetítsen ie ${\displaystyle S\subset \mathbb {R} ^{d))$ $S$ ${\displaystyle w_{t+1}=\Pi _{S}(\eta \theta _{t+1}),\theta _{t+1}=\theta _{t}+z_{t))$

Használhatja az online alámeneti süllyedés algoritmust, hogy megkapja a "sajnálat" határokat a támogatási vektor gép online verziójához az osztályozáshoz, amely darabonként lineáris veszteségfüggvényt használ $O({\sqrt {T)))$ $v_{t}(w)=\max\{0,1-y_{t}(w\cdot x_{t})\}$

Egyéb algoritmusok

A négyzetre szabályosított vezérkövető algoritmusok lustán kivetített gradiens algoritmusokhoz vezetnek, a fent leírtak szerint. Ha a fenti megközelítést bármilyen konvex függvényhez és szabályzóhoz használni szeretné, online tükör süllyedés használható. A darabonkénti lineáris függvényben optimális regularizáció érhető el a lineáris veszteségfüggvényeknél, ami az AdaGrad algoritmushoz vezet . Az euklideszi regularizációnál kimutatható, hogy a "sajnálat" korlát egyenlő , és javítható szigorúan konvex és exp-konkáv veszteségfüggvényekre. $O({\sqrt {T)))$ $O(\log T)$

Az online tanulás értelmezései

Az online tanulási paradigma a választott tanulási modelltől függően eltérő értelmezésekkel rendelkezik, és mindegyik más-más minőségű jellemzőszekvenciával . A megbeszéléshez a sztochasztikus gradiens süllyedés algoritmusát használjuk. Ahogy fentebb megjegyeztük, az algoritmus rekurzióját az egyenlőség adja ${\displaystyle f_{1},f_{2},\ldots ,f_{n))$

\textstyle w_{t}=w_{t-1}-\gamma _{t}\nabla V(\langle w_{t-1},x_{t}\rangle ,y_{t})

Az első értelmezés a sztochasztikus gradiens süllyedés módszerét a fent definiált várható kockázatminimalizálási probléma alkalmazásának tekinti [8] . Ezen túlmenően, egy végtelen adatfolyam esetén, mivel feltételezzük, hogy a példányokat egy független és egyenlő eloszlású eloszlásból vettük mintát , a fenti iteráció gradiens sorozatai a várható kockázati sztochasztikus gradiens becslés független és egyenlő eloszlású mintái , és ezért A sztochasztikus gradiens süllyedés módszerének komplexitási eredményeit alkalmazhatjuk az eltérés korlátozására , ahol a minimalizáló [9] . Ez az értelmezés véges képzési halmazokra is igaz. Bár a gradiensek többé nem függetlenek az adatok iterációja során, speciális esetekben összetettségi eredmények érhetők el. $I[w]$ $(x_{1},y_{1}),(x_{2},y_{2}),\ldots$ $p(x,y)$ $V(\cdot ,\cdot )$ $I[w]$ $I[w_{t}]-I[w^{\ast }]$ $w^{\ast }$ $I[w]$

A második értelmezés véges tanítóhalmaz esetére vonatkozik, és a sztochasztikus gradiens süllyedés algoritmusát tekinti a növekményes gradiens süllyedés reprezentánsának [4] . Ebben az esetben meg lehet nézni az empirikus kockázatot:

I_{n}[w]={\frac {1}{n}}\sum _{i=1}^{n}V(\langle w,x_{i}\rangle ,y_{i} )\ .

Mivel a növekményes gradiens süllyedés iterációiban a gradiensek a gradiens sztochasztikus becslései , ez az értelmezés a sztochasztikus gradiens süllyedés módszeréhez kapcsolódik, de az empirikus kockázatminimalizálásra vonatkozik, szemben a várt kockázattal. Mivel ez az értelmezés inkább az empirikus kockázatról szól, mint a várható kockázatról, az adatok többszöri áthaladása tökéletesen érvényes, és valójában szoros varianciahatárokhoz vezet , ahol . $V(\cdot ,\cdot )$ $I_{n}[w]$ $I_{n}[w_{t}]-I_{n}[w_{n}^{\ast }]$ ${\displaystyle w_{n}^{\ast ))$ $I_{n}[w]$

Megvalósítások

Vowpal Wabbit : Gyors, nyílt forráskódú, külső memóriás online tanulási rendszer támogatott gépi tanulási technikákkal, fontossági súlyozással, valamint különféle veszteségi függvények és optimalizálási algoritmusok választékával. A rendszer hash trükköt használ a jellemzőkészlet méretének korlátozására, függetlenül a képzési adatok méretétől.
scikit-learn : Memórián kívüli algoritmus implementációt biztosít
- osztályozók: perceptron , statisztikai gradiens süllyedés osztályozó , naiv bayes osztályozó .
- regressziók: sztochasztikus gradiens süllyedés regresszió, passzív agresszív regresszió.
- klaszterezés: k-közép módszer .
- jellemzők kinyerése: mini-batch szókincs tanulás , növekményes főkomponens -elemzés .

Lásd még

Hierarchikus átmeneti memória
k-legközelebbi szomszéd módszer
Lusta tanulás
Vektorkvantálás edzés közben
Offline tanulás , ellenkező modell
Online algoritmus
Stream algoritmus
perceptron
Sztochasztikus gradiens süllyedés
Tanulás tanárral
Online optimalizálás

Jegyzetek

↑ A katasztrofális interferencia a mesterséges neurális hálózatok azon tendenciája, hogy hirtelen teljesen elfelejtenek mindent, amire a hálózatot korábban betanították.
↑ 1 2 3 4 5 6 7 Rosasco, Poggio, 2015 .
↑ Yin, Kushner, 2003 , p. 8–12.
↑ 12 Bertsekas , 2011 .
↑ Venkatesan, Meng Joo, 2016 , p. 310–321.
↑ Hazan, 2015 .
↑ Dolgopolik, 2016 .
↑ Bottou, 1998 .
↑ Kushner, Yin, 1997 .

Irodalom

Leon Bottou. Online algoritmusok és sztochasztikus közelítések // Online tanulás és neurális hálózatok . - Cambridge University Press, 1998. - ISBN 978-0-521-65263-6 .
Rosasco L., Poggio T. 7. fejezet – Online tanulás // Machine Learning: a Regularization Approach . MIT-9.520 előadási jegyzetek. - 2015. - (Kézirat).
Harold J. Kushner, G. George Yin. Sztochasztikus közelítési algoritmusok és alkalmazások. - New York: Springer-Verlag, 1997. - ISBN 0-387-94916-X .
- Harold J. Kushner, G. George Yin. Sztochasztikus közelítés és rekurzív algoritmusok és alkalmazások. - 2. kiadás - New York: Springer-Verlag, 2003. - ISBN 0-387-00894-2 .
Elad Hazan. Bevezetés az online konvex optimalizálásba . — Alapok és trendek® az optimalizálásban, 2015.
Rajasekar Venkatesan, Er Meng Joo. Új, progresszív tanulási technika a többosztályos osztályozáshoz // Neurocomputing. - 2016. - T. 207 . - doi : 10.1016/j.neucom.2016.05.006 . - arXiv : 1609.00085 .
Dolgopolik MV Nesterov módszere a konvex függvények minimalizálására. — 2016.
Harold J. Yin, G. George Kushner. Sztochasztikus közelítés és rekurzív algoritmusok és alkalmazások. — Másodszor. - New York: Springer, 2003. - ISBN 978-0-387-21769-7 .
Bertsekas DP Növekményes gradiens, szubgradiens és proximális módszerek a konvex optimalizáláshoz: felmérés // Optimization for Machine Learning. - 2011. - Kiadás. 85 .

Linkek

http://onlineprediction.net/ Archiválva : 2018. október 31. a Wayback Machine , Wiki for On-Line Prediction webhelyen.

Gépi tanulás és adatbányászat
Feladatok	Osztályozási probléma Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellek együttesei Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-közép módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-Net Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG