Softmax

A Softmax a logisztikai függvény általánosítása többdimenziós esetre. A függvény egy dimenzióvektort azonos méretű vektorrá alakít át , ahol a kapott vektor minden koordinátáját egy valós szám ábrázolja a [0,1] intervallumban, és a koordináták összege 1. $z$ $K$ $\sigma$ $\sigma_i$

A koordináták kiszámítása a következőképpen történik: $\sigma_i$

$\sigma (z)_{i}={\frac {e^{z_{i))}{\displaystyle \sum _{k\mathop {=} 1}^{K}e^{z_{ k}}}}$

Alkalmazások a gépi tanulásban

A Softmax függvényt a gépi tanulásban használják osztályozási problémák esetén, ha a lehetséges osztályok száma kettőnél több (két osztályhoz logisztikai függvényt használnak). Az eredményül kapott vektor koordinátáit a rendszer annak valószínűségeként kezeli, hogy az objektum az osztályba tartozik . Az oszlopvektor kiszámítása a következőképpen történik: $\sigma_i$ $én$ $z$

$z=w^{T}x-\theta$

ahol egy dimenziós objektum jellemzőinek oszlopvektora ; a jellemzők súlyegyütthatóinak transzponált mátrixa , amelynek mérete ; egy oszlopvektor küszöbértékekkel (lásd perceptron ), ahol az objektumosztályok száma és az objektum jellemzőinek száma. $x$ $M\times 1$ $w^{T}$ $K\times M$ $\theta$ $K\times 1$ $K$ $M$

A Softmax-ot gyakran a mély neurális hálózatok utolsó rétegéhez használják osztályozási feladatokhoz. Ebben az esetben a keresztentrópiát veszteségfüggvényként használják a neurális hálózat betanításához .

Gépi tanulás és adatbányászat
Feladatok	Osztályozási probléma Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellek együttesei Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-közép módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-Net Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG