Markov lánc

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2019. december 28-án felülvizsgált verziótól ; az ellenőrzések 9 szerkesztést igényelnek .

A Markov-lánc véletlenszerű események sorozata, véges vagy megszámlálható számú kimenetelű , ahol az egyes események bekövetkezésének valószínűsége csak az előző eseményben elért állapottól függ [1] . Az a tulajdonsága jellemzi, hogy lazán szólva, rögzített jelen mellett a jövő független a múlttól. A. A. Markov (idősebb) tiszteletére nevezték el , aki először vezette be ezt a fogalmat 1906-ban. [2]

Diszkrét idejű Markov-lánc

Definíció

A diszkrét valószínűségi változók sorozatát egyszerű Markov-láncnak nevezzük (diszkrét idejű), ha $\{X_{n}\}_{{n\geqslant 0}}$

{\mathbb {P}}(X_{{n+1}}=i_{{n+1}}\mid X_{n}=i_{n},X_{{n-1}}=i_{{n -1}},\ldots ,X_{0}=i_{0})={\mathbb {P}}(X_{{n+1}}=i_{{n+1}}\mid X_{n} =i_{n})

Így a legegyszerűbb esetben a Markov-lánc következő állapotának feltételes eloszlása csak az aktuális állapottól függ, és nem függ minden korábbi állapottól (ellentétben a magasabb rendű Markov-láncokkal).

A valószínűségi változók tartományát a lánc állapotterének nevezzük , a számot pedig a lépésszámnak. $\{X_{n}\}$ $n$

Átmeneti mátrix és homogén láncok

Mátrix , hol $P{(n)}$

P_{{ij}}{(n)}\equiv {\mathbb {P}}(X_{{n+1}}=j\mid X_{n}=i)

az átmenet valószínűségeinek mátrixát a -edik lépésben, a vektort pedig, ahol $n$ ${\mathbf {p}}=(p_{1},p_{2},\ldots )^{{\top }}$

p_{i}\equiv {\mathbb {P}}(X_{0}=i)

— a Markov-lánc kezdeti eloszlása .

Nyilvánvaló, hogy az átmenet valószínűségi mátrix helyes sztochasztikus , azaz.

\sum \limits _{{j}}P_{{ij}}(n)=1,\quad \forall n\in {\mathbb {N}}

Egy Markov-láncot homogénnek nevezünk, ha az átmenet valószínűségi mátrixa nem függ a lépésszámtól, azaz

P_{{ij}}{(n)}=P_{{ij}},\quad \forall n\in {\mathbb {N}}

Ellenkező esetben a Markov-láncot inhomogénnek nevezzük. A következőkben feltételezzük, hogy homogén Markov-láncokról van szó.

Véges dimenziós eloszlások és az n-lépéses átmeneti mátrix

A feltételes valószínűség tulajdonságaiból és a homogén Markov-lánc definíciójából kapjuk:

{\mathbb {P}}(X_{{n}}=i_{{n}},\ldots ,X_{0}=i_{0})=P_{{i_{{n-1}},i_{ n}}}\cdots P_{{i_{0},i_{1}}}P_{{i_{0}}}

ahonnan a Kolmogorov-Chapman egyenlet speciális esete következik:

{\mathbb {P}}(X_{n}=i_{n}\mid X_{0}=i_{0})=(P^{n})_{{i_{0},i_{n}} }

vagyis egy homogén Markov-lánc lépésenkénti átmeneti valószínűségeinek mátrixa az 1 lépésenkénti átmeneti valószínűségek mátrixának -edik foka. Végül, $n$ $n$

{\mathbb {P}}(X_{n}=i_{n})=\left((P^{T})^{n}{\mathbf {p}}\right)_{{i_{n} }}

Állapottípusok

visszatérési állapot .
Visszatérő Markov-lánc .
Elérhető állapot .
Csökkenthetetlen Markov lánc .
Periodikus állapot .
Periodikus Markov-lánc .
elnyelő állapot . Azt az állapotot nevezzük elnyelőnek , ha . $én$ $P_{i,i}=1$
Ergotikus állapot .

Példák

Markov lánc folyamatos idővel

Definíció

A diszkrét valószínűségi változók családját Markov-láncnak nevezzük (folyamatos idővel), ha $\{X_{t}\}_{{t\geqslant 0}}$

{\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\mid X_{s}=x_{s},\;0<s\leqslant t)={\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\mid X_{t}=x_{t})

Egy folytonos idejű Markov-láncot homogénnek mondunk, ha

{\mathbb {P}}(X_{{t+h}}=x_{{t+h}}\mid X_{t}=x_{t})={\mathbb {P}}(X_{{h }}=x_{{h}}\közép X_{0}=x_{0})

Az átmeneti függvények mátrixa és a Kolmogorov-Chapman egyenlet

A diszkrét időhöz hasonlóan a folytonos idejű homogén Markov-lánc véges dimenziós eloszlását is teljesen meghatározza a kezdeti eloszlás

{\mathbf {p}}=(p_{1},p_{2},\ldots )^{{\top }},\;p_{i}={\mathbb {P}}(X_{0}= i),\quad i=1,2,\ldots

és az átmeneti függvények mátrixa ( átmeneti valószínűségek )

{\mathbf {P}}(h)=(P_{{ij}}(h))={\mathbb {P}}(X_{h}=j\mid X_{0}=i)

Az átmeneti valószínűségek mátrixa kielégíti a Kolmogorov-Chapman egyenletet : vagy ${\mathbf {P}}(t+s)={\mathbf {P}}(t){\mathbf {P}}(s)$

P_{{ij}}(t+s)=\sum _{k}P_{{ik}}(t)P_{{kj}}(s).

Az intenzitásmátrix és a Kolmogorov-féle differenciálegyenletek

Definíció szerint az intenzitásmátrix , vagy ezzel egyenértékűen ${\mathbf {Q}}=\lim _{{h\to 0}}{\frac {{\mathbf {P}}(h)-{\mathbf {I}}}{h}}$

{\mathbf {Q}}=(q_{{ij}})=\left({\frac {dP_{{ij}}(h)}{dh}}\right)_{{h=0}}

A Kolmogorov-Chapman egyenletből két egyenlet következik:

Közvetlen Kolmogorov-egyenlet ${\frac {d{\mathbf {P}}(t)}{dt}}={\mathbf {P}}(t){\mathbf {Q}},$
Inverz Kolmogorov-egyenlet ${\frac {d{\mathbf {P}}(t)}{dt}}={\mathbf {Q}}{\mathbf {P}}(t).$

Mindkét egyenlethez a kezdeti feltételt választjuk . Megfelelő megoldás ${\mathbf {P}}(0)={\mathbf {I}}$ ${\mathbf {P}}(t)=\exp({\mathbf {Q}}t).$

A P és Q mátrixok tulajdonságai

Bármely mátrix a következő tulajdonságokkal rendelkezik: $t>0$ ${\mathbf {P}}(t)$

A mátrixelemek nem negatívak: (valószínűségek nem-negatívitása). ${\mathbf {P}}(t)$ $P_{{ij}}(t)\geqslant 0$
Az egyes sorok elemeinek összege 1: (teljes valószínűség), vagyis a mátrix jobb -sztochasztikus (vagy soronkénti). ${\mathbf {P}}(t)$ $\sum _{j}P_{{ij}}(t)=1$ ${\mathbf {P}}(t)$
Az összes mátrix sajátértéke nem haladja meg az 1-et abszolút értékben: . Ha , akkor . $\lambda$ ${\mathbf {P}}(t)$ $|\lambda |\leqslant 1$ $|\lambda |=1$ $\lambda=1$
A mátrix sajátértéke legalább egy nem negatív bal oldali sajátvektor - sornak (egyensúlynak) felel meg: . $\lambda=1$ ${\mathbf {P}}(t)$ $(p_{1}^{*},\,p_{2}^{*},...);$ $p_{i}^{*}\geqslant 0;$ $\sum _{i}p_{i}^{*}=1;$ $\sum _{i}p_{i}^{*}P_{{ij}}(t)=p_{j}^{*}$
Egy mátrix sajátértékéhez minden gyökérvektor sajátvektor, azaz a megfelelő Jordan-cellák triviálisak. $\lambda=1$ ${\mathbf {P}}(t)$

A mátrix a következő tulajdonságokkal rendelkezik: ${\mathbf {Q}}$

Az átlón kívüli mátrixelemek nem negatívak: . ${\mathbf {Q}}$ $q_{{ij}}\geqslant 0\;i\neq j$
Az átlós mátrix elemei nem pozitívak: . ${\mathbf {Q}}$ $q_{{ii}}\leqslant 0$
Az egyes sorok elemeinek összege 0: ${\mathbf {Q}}$ $\sum _{j}q_{{ij}}=0.$
Az összes mátrix sajátértékének valós része nem pozitív: . Ha , akkor $\mu$ ${\mathbf {Q}}$ $Re(\mu )\leqslant 0$ $Re(\mu )=0$ $\mu=0.$
A mátrix sajátértéke legalább egy nem negatív bal sori sajátvektornak felel meg (egyensúly): $\mu=0$ ${\mathbf {Q}}$ $(p_{1}^{*},\,p_{2}^{*},...);$ $p_{i}^{*}\geqslant 0;$ $\sum _{i}p_{i}^{*}=1;$ $\sum _{i}p_{i}^{*}q_{{ij}}=0.$
Egy mátrix sajátértékéhez minden gyökérvektor sajátvektor, azaz a megfelelő Jordan-cellák triviálisak. $\mu=0$ ${\mathbf {Q}}$

Átmeneti gráf, konnektivitás és ergodikus Markov-láncok

Egy folytonos idejű Markov-lánchoz egy irányított átmeneti gráfot (röviden: átmeneti gráfot) készítünk a következő szabályok szerint:

A gráf csúcsainak halmaza egybeesik a láncállapotok halmazával.
A csúcsokat egy orientált él köti össze, ha (azaz a -edik állapotból a -edikbe irányuló áramlás intenzitása pozitív). $i,j\,(i\neq j)$ $i\to j$ $q_{{ij}}>0$ $én$ $j$

Az átmeneti gráf topológiai tulajdonságai összefüggenek a mátrix spektrális tulajdonságaival . Konkrétan a következő tételek igazak véges Markov-láncokra: ${\mathbf {Q}}$

Egy véges Markov-lánc következő három tulajdonsága: A, B, C ekvivalens (az ezekkel rendelkező láncokat néha gyengén ergodikusnak nevezik ):

V. Az átmeneti gráf bármely két különböző csúcsához van a gráfnak egy olyan csúcsa ("közös lefolyó"), hogy vannak orientált utak a csúcstól a csúcsig és a csúcstól a csúcsig . Megjegyzés : lehetséges eset vagy ; ebben az esetben irányított útnak számít egy triviális (üres) út odáig vagy odáig .

i,j\,(i\neq j)

k

én

k

j

k

k=i

k=j

én

én

j

j

B. Egy mátrix nulla sajátértéke nem degenerált.

{\mathbf {Q}}

C. A mátrix egy olyan mátrixra törekszik, amelyben minden sor egybeesik (és nyilvánvalóan egybeesik az egyensúlyi eloszlással).

t\to\infty

{\mathbf {P}}(t)

Egy véges Markov-lánc következő öt tulajdonsága A, B, C, D, D ekvivalens (az ilyen láncokat ergodikusnak nevezzük ):

A. Egy lánc átmeneti gráfja irányfüggő. B. A mátrix nulla sajátértéke nem degenerált, és szigorúan pozitív bal oldali sajátvektornak felel meg (egyensúlyi eloszlás).

{\mathbf {Q}}

B. Egyesek számára a mátrix szigorúan pozitív (vagyis mindenki számára ).

t>0

{\mathbf {P}}(t)

P_{{ij}}(t)>0

i,j

D. Minden esetben a mátrix szigorúan pozitív.

t>0

{\mathbf {P}}(t)

E. A mátrix szigorúan pozitív mátrixra hajlamos, amelyben minden sor egybeesik (és nyilvánvalóan egybeesik az egyensúlyi eloszlással).

t\to\infty

{\mathbf {P}}(t)

Példák

Tekintsünk háromállapotú Markov-láncokat folyamatos idejű, az ábrán látható átmeneti grafikonoknak megfelelően. Az (a) esetben az intenzitásmátrixnak csak az alábbi átlón kívüli elemei nem nullák , a (b) esetben csak a nullától eltérőek , a (c) esetben pedig . A fennmaradó elemeket a mátrix tulajdonságai határozzák meg (az egyes sorok elemeinek összege 0). Ennek eredményeként az (a), (b), (c) grafikonok intenzitásmátrixai így néznek ki: $q_{{12}},\,q_{{13}}$ $q_{{12}},\,q_{{31}}\,q_{{32}}$ $q_{{12}},\,q_{{31}}\,q_{{23}}$ ${\mathbf {Q}}$ ${\mathbf {Q}}_{a}={\begin{pmatrix}-(q_{{12}}+q_{{13}})&q_{{12}}&q_{{13}}\\0&0&0\ \0&0&0\end{pmatrix}},$ ${\mathbf {Q}}_{b}={\begin{pmatrix}-q_{{12}}&q_{{12}}&0\\0&0&0\\q_{{31}}&q_{{32}}& -(q_{{31}}+q_{{32}})\end{pmatrix}},$ ${\mathbf {Q}}_{c}={\begin{pmatrix}-q_{{12}}&q_{{12}}&0\\0&-q_{{23}}&q_{{23}}\\ q_{{31}}&0&-q_{{31}}\end{pmatrix}},$

Kinetikai alapegyenlet

Az alapvető kinetikai egyenlet a valószínűség-eloszlás alakulását írja le egy folyamatos idejű Markov-láncban. Az „alapegyenlet” itt nem jelző, hanem az angol kifejezés fordítása. mester egyenlet . A valószínűségi eloszlás sorvektora esetében az alapvető kinetikai egyenlet a következőképpen alakul: $\pi$

{\frac {d\pi }{dt}}=\pi {\mathbf {Q}}

és lényegében egybeesik a közvetlen Kolmogorov-egyenlettel . A fizikai irodalomban gyakrabban használják a valószínűségek oszlopvektorait, és az alapvető kinetikai egyenletet olyan formában írják le, amely kifejezetten használja a teljes valószínűség fennmaradásának törvényét:

{\frac {dp_{i}}{dt}}=\sum _{{j,\,j\neq i}}(T_{{ij}}p_{j}-T_{{ji}}p_{i }),

ahol $T_{{ij}}=q_{{ji}}.$

Ha a kinetikai alapegyenletnek pozitív egyensúlya van , akkor az alakba írható fel $p_{i}^{*}>0$

{\frac {dp_{i}}{dt}}=\sum _{{j,\,j\neq i}}T_{{ij}}p_{j}^{*}\left({\frac { p_{j}}{p_{j}^{*}}}-{\frac {p_{i}}{p_{i}^{*}}}\jobbra).

Ljapunov függvények az alapvető kinetikai egyenlethez

A fő kinetikai egyenlethez a konvex Ljapunov -függvények gazdag családja tartozik – olyan valószínűség-eloszlási függvények, amelyek az időben monoton módon változnak. Legyen egy változó konvex függvénye . Bármilyen pozitív valószínűségi eloszláshoz ( ) definiáljuk a Morimoto-függvényt : $h(x)\,(x>0)$ $p_{i}>0$ $H_{h}(p)$

H_{h}(p)=\sum _{i}p_{i}^{*}h\left({\frac {p_{i}}{p_{i}^{*}}}\jobb)

Az idő derivált, ha kielégíti a kinetikai alapegyenletet, az $H_{h}(p)$ $p(t)$

{\frac {dH_{h}(p(t))}{dt}}=\sum _{{i,j\,i\neq j}}T_{{ij}}p_{j}^{*} \left[h\left({\frac {p_{i}}{p_{i}^{*}}}\right)-h\left({\frac {p_{j}}{p_{j}^ {*}}}\jobbra)+h'\left({\frac {p_{i}}{p_{i}^{*}}}\jobbra)\bal({\frac {p_{j}}{ p_{j}^{*}}}-{\frac {p_{i}}{p_{i}^{*}}}\right)\right]\leqslant 0

Az utolsó egyenlőtlenség a konvexitás miatt érvényes . $h(x)$

Példák Morimoto függvényeire

H_{h}(p)

$h(x)=|x-1|$ , ; $H_{h}(p)=\sum _{i}|p_{i}-p_{i}^{*}|$

ez a függvény az aktuális valószínűségi eloszlás és az egyensúlyi egy in - norm közötti távolság . Az időeltolódás ebben a normában a valószínűségi eloszlások terének összehúzódása. (Az összehúzódások tulajdonságairól lásd a Banach-féle fixpont tételt .)

l_{1}

$h(x)=x\ln x$ , ; $H_{h}(p)=\sum _{i}p_{i}\ln \left({\frac {p_{i}}{p_{i}^{*}}}\jobbra)$

ez a függvény a (mínusz) Kullback entrópia (lásd Kullback-Leibler távolság ). A fizikában ez megfelel a szabad energia osztva (ahol a Boltzmann-állandó , az abszolút hőmérséklet ):

kT

k

T

ha ( Boltzmann eloszlás ) akkor

p_{i}^{*}=\exp(\mu _{0}-U_{i}/kT)

H_{h}(p)=\sum _{i}p_{i}\ln p_{i}+\sum _{i}p_{i}U_{i}/kT-\mu _{0}=( \langle U\rangle -TS)/kT

$h(x)=-\ln x$ , ; $H_{h}(p)=-\sum _{i}p_{i}^{*}\ln \left({\frac {p_{i}}{p_{i}^{*}}}\jobb )$

ez a funkció a Burg entrópia szabad energiájú analógja, amelyet széles körben használnak a jelfeldolgozásban:

S_{{{\rm {Burg}}}}=\sum _{i}\ln p_{i}

$h(x)={\frac {(x-1)^{2}}{2}}$ , ; $H_{h}(p)=\sum _{i}{\frac {(p_{i}-p_{i}^{*})^{2}}{2p_{i}^{*}}}$

ez a (mínusz) Kullback entrópia másodfokú közelítése az egyensúlyi pont közelében. Egy időben állandó tagig ez a függvény megegyezik a következő választással adott (mínusz) Fisher-entrópiával:

$h(x)={\frac {x^{2}}{2}}$ , ; $H_{h}(p)=\sum _{i}{\frac {p_{i}^{2}}{2p_{i}^{*}}}$

ez a (mínusz) Fisher entrópia .

$h(x)={\frac {x^{q}-1}{q-1)),\,q>0,\,q\neq 1$ , ; $H_{h}(p)={\frac {1}{q-1}}\left[\sum _{i}p_{i}^{*}\left({\frac {p_{i}}{ p_{i}^{*}}}\jobbra)^{q}-1\jobbra]$

ez a szabad energia egyik analógja a Tsallis entrópiához .

S_{{q{{\rm {Tsallis}}}}}(p)={1 \over q-1}\left(1-\sum _{i}p_{i}^{q}\right).

nem extenzív mennyiségek statisztikai fizikájának alapjául szolgál. A -nál a klasszikus Boltzmann-Gibbs-Shannon entrópiára, a megfelelő Morimoto-függvény pedig a (mínusz) Kullback entrópiára hajlik.

q\-től 1-ig

Gyakorlati alkalmazás

Az egyik első tudományos tudományág, amelyben a Markov-láncok gyakorlati alkalmazásra találtak, a nyelvészet volt (különösen a szövegkritika ). Eredményeinek illusztrálására maga Markov tanulmányozta a magánhangzók és mássalhangzók váltakozásának függőségét az „ Jevgenyij Onegin ” és a „Bagrov-unoka gyermekkori évei ” [3] első fejezeteiben .

Jegyzetek

↑ "Markov-lánc | A Markov-lánc meghatározása az amerikai angol nyelven az Oxford Dictionaries által" . Oxfordi szótárak | Angol. . Lexico szótárak | angol (2017. december 14.). Letöltve: 2020. április 1.
↑ Gagniuc, Paul A. Markov Láncok: Az elmélettől a megvalósításig és a kísérletezésig . - USA, NJ: John Wiley & Sons , 2017. - 2-8. o. — ISBN 978-1-119-38755-8 .
↑ Maistrov, L. E. A valószínűség fogalmának fejlesztése . - Nauka, 1980. - S. 188. - 269 p.

Irodalom

Kelbert M. Ya., Sukhov Yu. M. Valószínűség és statisztika példákban és problémákban. II. kötet: Markov-láncok, mint a véletlenszerű folyamatok elméletének kiindulópontja és alkalmazásaik. - M. : MTSNMO, 2010. - 295 p. — ISBN 978-5-94057-252-7 .
Markov A. A. , A nagy számok törvényének kiterjesztése az egymástól függő mennyiségekre. - A Kazany Egyetem Fizikai és Matematikai Társaságának hírei. - 2. sorozat. - 15. kötet (1906) - S. 135-156.
Markov-lánc / A. V. Prohorov // Nagy Orosz Enciklopédia : [35 kötetben] / ch. szerk. Yu. S. Osipov . - M . : Nagy orosz enciklopédia, 2004-2017.
Kemeny JG, Snell JL , Finite Markov láncok. — Az egyetemi matematikai sorozat. Princeton: Van Nostrand, 1960
- Fordítás: Kemeny J.J. , Snell J.L. Véges Markov-láncok. — M.: Nauka. 1970. - 272 p.
Zhong Kai-lai homogén Markov láncok. Ford. angolról. — M.: Mir, 1964. — 425 p.
E. Nummelin , Általános irreducibilis Markov-láncok és nemnegatív operátorok. — M.: Mir, 1989. — 207 p.
Morimoto T. , Markov-folyamatok és a H-tétel. – J. Phys. szoc. Jap. 12, 328-331 (1963)].
Yaglom A.M. , Yaglom I.M. , Valószínűség és információ . - M., Nauka, 1973. - 512 p.
Kullback S. , Információelmélet és statisztika. Wiley, New York, 1959.
Burg JP , The Relationship Between Maximum Entropy Spectra and Maximum Likelihood Spectra, Geophysics 37(2) (1972), 375-376.
Tsallis C. , A Boltzmann-Gibbs statisztika lehetséges általánosítása. J. Stat. Phys. 52 (1988), 479-487.
Rudoy Yu. G. , Általános információs entrópia és nem kanonikus eloszlás az egyensúlyi statisztikai mechanikában , TMF, 135:1 (2003), 3-54.
Gorban, Alexander N.; Gorban, Pavel A.; Bíró, George. Entrópia: A Markov-rendező megközelítés . 12. entrópia , sz. 5 (2010), 1145-1193.

Linkek

szilárd mínusz. Osztály kialakítása a Markov-láncokkal való munkavégzéshez . Habrahabr (2016. június 1.). Letöltve: 2016. augusztus 18. (Orosz)

Szótárak és enciklopédiák	nagy kínai Nagy norvég Nagy orosz Britannica (online) Modern Ukrajna Modern Ukrajna
Bibliográfiai katalógusokban	GND : 4037612-6 J9U : 987007553386405171 LCCN : sh85081369

Az állapotok és Markov-láncok osztályozása
Állapot	időszakos visszaváltható elérhető visszavonhatatlan jelentéktelen nulla időszakos pozitív kommunikál jelentős
Lánc	időszakos visszaváltható visszavonhatatlan felbonthatatlan nulla időszakos pozitív lebontható ergodikus

A mesterséges neurális hálózatok típusai

Feed-forward hálózat ( radiális alapú funkciók hálózata )
Egyrétegű perceptron
Többrétegű perceptron ( Rosenblatt • Rumelhart )
Hopfield hálózat
Markov lánc
Boltzmann gép
Limitált Boltzmann gép
Autoencoder ( Zajtalanító autoencoder • Ritka autoencoder • Változatos autoencoder )
A bizalom mély hálója
Konvolúciós Neurális Hálózat
Mély konvolúciós neurális hálózat
Telepítési neurális hálózat
Mély konvolúciós inverz grafikus hálózat
Generatív ellenséges hálózat
Ismétlődő neurális hálózat
Rekurzív neurális hálózatok
hosszú távú rövid távú memória
Ellenőrzött visszatérő blokk
Neurális Turing-gépek
Kétirányú hálózat ( Bidirectional recurrent neural network • Kétirányú hálózat hosszú távú memóriával • Kétirányú vezérelt visszatérő neuronok )
Deep Residual Network
Neurális visszhanghálózat
Extrém tanulási módszer
Az instabil állapotok módszere
Támogatja a vektoros gépet
Kohonen hálózat
Kohonen önszerveződő térképe
Kapszula neurális hálózat
Asszociatív memória neurális hálózatokon

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG