Szigma alakú

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2019. augusztus 2-án felülvizsgált verziótól ; az ellenőrzések 5 szerkesztést igényelnek .

A szigmoid egy sima , monoton növekvő nemlineáris függvény , amelynek alakja "S" betű, amelyet gyakran használnak bizonyos mennyiségek értékeinek "kisimítására".

A szigmoidot gyakran logisztikai funkcióként értelmezik

\sigma (x)={\frac {1}{1+e^{-x}}}.

A szigmoidot két vízszintes aszimptota határolja, amelyekhez az argumentumhoz hasonlóan hajlik. A konvenciótól függően ezek az aszimptoták lehetnek y = ±1 (in ) vagy y = 0 in és y = +1 in . $\pm \infty .$ $\pm \infty$ $-\infty$ $+\infty$

A szigmoid deriváltja egy harang alakú görbe, amelynek maximuma nullánál van, aszimptotikusan nullára hajlik . $+\infty$

A szigmoid osztály függvénycsaládja

A szigmoid osztály függvénycsaládjába olyan függvények tartoznak, mint az arctangens , a hiperbolikus érintő és más hasonló függvények.

Fermi-Dirac függvény (exponenciális szigmoid):

f(x)={\frac {1}{1+e^{-2\alpha x}}},\quad \alpha >0.

Racionális szigmoid:

f(x)={\frac {x}{|x|+\alpha )),\quad \alpha >0.

Arktangens :

f(x)=\operátornév {arctg} x.

Hiperbolikus tangens :

f(x)=\operátornév {th} {\frac {x}{\alpha }}={\frac {e^{\frac {x}{\alpha }}-e^{-{\frac {x}{\alpha }}}}{e^{\frac {x}{\alpha }}+e^{-{\frac {x}{\alpha }}}}}.

Sima lépés N-edik sorrend:

f(x)={\begin{cases}\left(\int _{0}^{1}{\big (}1-u^{2}{\big )}^{N}\ du \right)^{-1}\int _{0}^{x}{\big (}1-u^{2}{\big )}^{N}\ du\quad &|x|\leq 1 \\\operátornév {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1

Gyökér szigma:

f(x)={\frac {x}{\sqrt {1+x^{2)))).

Logisztikai funkció :

f(x)=(1+e^{-x})^{-1}.

Általános logisztikai funkció :

f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0.

Hiba funkció :

f(x)=\operátornév {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2 }}\,dt.

Gudermann funkciója :

f(x)=\operátornév {gd} x=\int _{0}^{x}{\frac {1}{\cosh t}}\,dt=\operátornév {arctg} (\operátornév { sh}x).

Alkalmazás

Neurális hálózatok

A szigmoidokat a neurális hálózatokban aktiváló funkcióként használják. Lehetővé teszik a neuronok számára, hogy felerősítsék a gyenge jeleket, és ne telítsék őket erős jelekkel [1] .

A neurális hálózatok gyakran használnak szigmoidokat, amelyek származékai magával a funkcióval fejezhetők ki. Ez lehetővé teszi számunkra, hogy jelentősen csökkentsük a hibavisszaterjedési módszer számítási bonyolultságát , és így a gyakorlatban is alkalmazható legyen:

\sigma '(x)=(1+\sigma (x))\cdot (1-\sigma (x))

— hiperbolikus érintő esetén;

\sigma '(x)=\sigma (x)\cdot (1-\sigma (x))

- a logisztikai funkcióhoz.

Logisztikai regresszió

A logisztikus függvényt osztályozási problémák logisztikus regresszióval történő megoldására használják . Legyen megoldva egy két osztályú osztályozási probléma ( és , ahol az objektumosztályt jelző változó). Feltételezzük, hogy az egyik osztályhoz tartozó objektum valószínűségét az objektum attribútumainak értékei (valós számok) fejezik ki: $f(x)={\frac {1}{1+e^{{-x))))$ $y=0$ $y=1$ $y$ $x_{1},x_{2},...,x_{n}$

\mathbb {P} \{y=1\mid x_{1},\ldots ,x_{n}\}=f(a_{1}x_{1}+\ldots +a_{n}x_{ n})={\frac {1}{1+\exp(-a_{1}x_{1}-\ldots -a_{n}x_{n))))),

hol vannak olyan együtthatók, amelyek kiválasztását igénylik, általában a maximum likelihood módszerrel . $a_{1},...,a_{n}$

Ezt a függvényt egy általánosított lineáris modell segítségével kapjuk meg, és azzal a feltételezéssel, hogy a függő változó a Bernoulli törvény szerint eloszlik . $f(x)$ $y$

Lásd még

Mesterséges neurális hálózat
perceptron
Módosított hiperbolikus érintő

Irodalom

Mitchell, Tom M. Gépi tanulás . - WCB-McGraw-Hill, 1997. - ISBN 0-07-042807-7 .

Jegyzetek

↑ Aktiválási függvények neurális hálózatokban . Letöltve: 2014. szeptember 11. Az eredetiből archiválva : 2014. július 24.. (határozatlan)

Linkek

A hiperbolikus érintő több szoftveres megvalósításának sebességének összehasonlítása
Humphrys, Mark Folyamatos kimenet, a szigmoid függvény .

Gépi tanulás és adatbányászat
Feladatok	Osztályozási feladat Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellegyüttesek Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-háló Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG