Adaboost

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2019. augusztus 2-án felülvizsgált verziótól ; az ellenőrzések 3 szerkesztést igényelnek .

Az AdaBoost (az Adaptive Boosting rövidítése ) egy Yoav Freund és Robert Shapire által javasolt gépi tanulási algoritmus . Ez az algoritmus számos osztályozási algoritmussal együtt használható a teljesítményük javítására. Az algoritmus megerősíti az osztályozókat azáltal, hogy egy "bizottságba" ( ensemble ) egyesíti őket . Az AdaBoost adaptív abban az értelemben, hogy minden következő osztályozó bizottság olyan objektumokra épül, amelyeket az előző bizottságok helytelenül osztályoztak. Az AdaBoost érzékeny az adatzajra és a kiugró értékekre . Más gépi tanulási algoritmusokhoz képest azonban kevésbé hajlamos a túlillesztésre .

Az AdaBoost a gyenge osztályozókat ciklusban hívja meg . Minden hívás után frissül a súlyok eloszlása , amely megfelel az egyes objektumok osztályozási fontosságának a képzési készletben. Minden iterációnál minden hibásan besorolt objektum súlya megnövekszik, így az új osztályozó bizottság ezekre az objektumokra "fókuszálja a figyelmét". $t=1,\ldots ,T$ $D_{{t}}$

Algoritmus egy bináris osztályozó felépítésének problémájához

Adott: hol $(x_{{1}},y_{{1}}),\ldots ,(x_{{m}},y_{{m}})$ $x_{{i}}\in X,\,y_{{i}}\in Y=\{-1,+1\}$

Inicializálás $D_{{1}}(i)={\frac {1}{m}},i=1,\ldots ,m.$

Mindegyikhez : $t=1,\ldots ,T$

Keressen egy olyan osztályozót , amely minimalizálja a súlyozott osztályozási hibát: , ahol $h_{{t}}:X\-\{-1,+1\}$ $h_{{t}}=\arg \min _{{h_{{j}}\in {\mathcal {H}}}}\epsilon _{{j}}$ $\epsilon _{{j}}=\sum _{{i=1}}^{{m}}D_{{t}}(i)[y_{i}\neq h_{{j}}(x_{ {én}})]$
Ha az érték , akkor megállunk. $\epsilon_{{t}}\geqslant 0.5$
Azt választjuk , hogy általában hol van a súlyozott osztályozó hiba . $\alpha _{{t}}\in {\mathbf {R}}$ $\alpha _{{t))={\frac {1}{2}}{\textrm {ln}}{\frac {1-\epsilon _{{t}}}{\epsilon _{{t}} }}$ $\epsilon_{{t}}$ $h_{{t}}$
Frissítés:

D_{{t+1}}(i)={\frac {D_{{t}}(i)\,e^{{-\alpha _{{t}}y_{{i}}h_{{t }}(x_{{i}})}}}{Z_{{t}}}}

ahol egy normalizáló paraméter ( valószínűségi eloszlásnak választva , azaz ) .

Z_{{t}}

D_{{t+1}}

\sum _{{i=1}}^{{m}}D_{{t+1}}(i)=1

A kapott osztályozót elkészítjük:

H(x)={\textrm {sign}}\left(\sum _{{t=1}}^{{T}}\alpha _{{t}}h_{{t}}(x)\right )

A terjesztésfrissítési kifejezést úgy kell összeállítani, hogy a következő feltétel teljesüljön: $D_{{t}}$

e^{{-\alpha _{{t}}y_{{i}}h_{{t}}(x_{{i}})))}{\begin{cases}<1,&y(i)= h_ {{t}}(x_{{i}})\\>1,&y(i)\neq h_{{t}}(x_{{i}})\end{cases}}

Így az eloszlás optimális osztályozójának kiválasztása után az osztályozó által helyesen azonosított objektumok súlya kisebb, mint a hibásan azonosítottaké. Ezért amikor az algoritmus a disztribúció osztályozóit teszteli , azt az osztályozót választja, amely jobban azonosítja az előző osztályozó által félreismert objektumokat. $h_{{t}}$ $D_{{t}}$ $x_{i}$ $h_{{t}}$ $D_{{t+1}}$

Linkek

AdaBoost (angol) Az Adaboostnak szentelt prezentáció.
Rövid bevezetés az Adaboost , Freund és Schapire, 1999.
Az on-line tanulás döntéselméleti általánosítása és egy alkalmazás a Journal of Computer and System Sciences fellendítésére , 2. sz. 1997. 55. (angol) (Yoav Freund és Robert E. Schapire eredeti munkája, ahol először az Adaboost javasolták.)
Az AdaBoost bemutató kisalkalmazás
Ensemble Based Systems in Decision Making, R. Polikar, IEEE Circuits and Systems Magazine, vol.6, no.3, pp. 21-45, 2006 (nem elérhető link) (eng.) Oktatóanyag, amely áttekintést nyújt az AdaBoostról, beleértve a pszeudokódot, az algoritmusdiagramokat, a megvalósítási problémákat és más mintafelismerő algoritmusokat .
Az AdaBoost Matlab implementációja
Additív logisztikus regresszió: a növekedés statisztikai képe. Jerome Friedman, Trevor Hastie, Robert Tibshirani Az AdaBoost valószínűségi szempontjait tárgyalja, és leírja a GentleBoostot.
Boosting – Az egyszerű osztályozók fellendítése. Alekszandr Vezsnyevec, Vlagyimir Vezsnyevec. Számítógépes grafika és multimédia . szám 2(12)/2006.

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG