Regularizálás (matematika)

A statisztikában , a gépi tanulásban , az inverz problémaelméletben a rendszeresítés olyan módszer, amellyel további megszorításokat adunk egy feltételhez egy rosszul feltett probléma megoldása vagy a túlillesztés megakadályozása érdekében . Ez az információ gyakran büntetés formájában érkezik a modell összetettsége miatt. Ezek lehetnek például az eredményül kapott függvény simaságának korlátozásai, vagy a vektortér-normára vonatkozó korlátozások .

Bayesi nézőpontból sok regularizációs módszer megfelel néhány korábbi eloszlás hozzáadásának a modell paramétereihez.

A rendszeresítés néhány típusa:

-regularizálás ( ang . lasso regression ), vagy a Manhattan távolságon keresztül történő szabályzás : $L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}$ .
$L_{2}$ - a regularizáció vagy a Tikhonov-regularizáció (az angol szakirodalomban - ridge regression vagy Tikhonov-regularizáció ), integrál egyenletek esetén, lehetővé teszi az egyensúlyt az adatok megfelelősége és egy kis megoldási norma között: $L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}$ .

A túlillesztés a legtöbb esetben abban nyilvánul meg, hogy a kapott polinomok túl nagy együtthatókkal rendelkeznek. Ennek megfelelően a célfüggvényt túl nagy együtthatókért büntetést kell hozzáadni .

Nincs megoldás a többszempontú optimalizálásra vagy olyan optimalizálásra, amelyben a célfüggvény tartománya olyan tér, amelyen nincs lineáris sorrend , vagy nehéz bevezetni. Szinte mindig vannak olyan pontok az optimalizált függvény tartományában, amelyek kielégítik a megszorításokat, de a pontokban lévő értékek összehasonlíthatatlanok. A Pareto-görbe összes pontjának megtalálásához használja a skalarizációt [1] . Az optimalizálás során a regularizálás egy általános skalarizációs technika kétkritériumú optimalizálási probléma esetén [2] . A lambda paraméter változtatásával - az elem, amelynek nullánál nagyobbnak kell lennie a kettős kúpban, amelyhez képest a sorrendet meghatározzák - különböző pontokat kaphat a Pareto-görbén .

Irodalom

Boyd S., Vandenberghe L. Konvex optimalizálás . - Egyesült Királyság: Cambridge University Press, 2004. - 716 p. - (Berichte über verteilte messysteme). — ISBN 9780521833783 .

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG