Q-learning

A Q -learning a mesterséges intelligenciában alkalmazott módszer , ágens alapú megközelítéssel . Megerősítő tanulási kísérletekre utal . A környezettől kapott jutalom alapján az ágens egy Q hasznossági függvényt alkot , amely utólag lehetőséget ad arra, hogy ne véletlenszerűen válasszon viselkedési stratégiát, hanem figyelembe vegye a környezettel való korábbi interakció tapasztalatait. A Q-learning egyik előnye, hogy a környezet modellezése nélkül képes összehasonlítani az elérhető tevékenységek várható hasznosságát . Olyan helyzetekre vonatkozik, amelyek Markov-döntési folyamatként ábrázolhatók .

Q-learning algoritmus

Inicializálás :
1. minden s és a do Q[s, a] = RND // inicializálja a Q segédfunkciót az a műveletből az s helyzetben véletlenszerűen bármely bemenetre
Figyeld meg :
1. s' = s // Emlékezzen az előző állapotokra
2. a' = a // Emlékezzen az előző műveletekre
3. s = FROM_SENSOR // Az aktuális állapotok lekérése az érzékelőtől
4. r = FROM_SENSOR // Jutalom az előző műveletért
Frissítés (Segédprogram frissítése):
1. Q[s',a'] = Q[s',a'] + LF * (r + DF * MAX(Q,s) - Q[s',a'])
Döntés :
1. a = ARGMAX(Q, s)
2. TO_ACTIVATOR = a
Ismételje meg : LÉPJ A 2-RE

Jelölés

Az LF a tanulási tényező. Minél magasabb, az ügynök annál jobban bízik az új információban.
A DF a diszkonttényező. Minél kisebb, annál kevésbé gondol az ügynök jövőbeli cselekedeteinek előnyeire.

A MAX(Q,s) függvény

max = minÉrték
A ACTIONS(ek) mindegyike esetében meg kell tenni
1. ha Q[s, a] > max, akkor max = Q[s, a]
visszatérés max

ARGMAX(Q,s)

amax = ACTION(ok) első
az ACTION(ek) mindegyikéhez meg kell tenni
1. ha Q[s, a] > Q[s, amax], akkor amax = a
visszatérés amax

Irodalom

Stuart Russell, Peter Norvig, "AI – A Modern Approach"
Machine Learning Proceedings 1991: Proceedings of the Eighth International Workshop (ML91). - Elsevier Science, 2014. - P. 364. - ISBN 978-1-4832-9817-7 .

Lásd még

Megerősítő tanulás

Linkek

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG