Tenzor vázlat

A tenzorvázlat a statisztikában, a gépi tanulásban és a big data algoritmusokban használt dimenziócsökkentési technika [1] [2] . Különösen hatásos azoknál a vektoroknál, amelyek tenzorszerkezettel rendelkeznek. Egy ilyen vázlat felhasználható a bilineáris kombinálás felgyorsítására neurális hálózatokban, és számos numerikus lineáris algebrai algoritmus sarokköve [3] .

Történelem

A tenzorvázlat (sketch) kifejezést 2013-ban találták meg [4] , és Rasmus Peg [5] ugyanabban az évben írta le módszerként .

Eleinte a megfelelő módszer a gyors Fourier-transzformáción alapult a gyors konvolúció megvalósítására, a referenciavázlathoz hasonló módon . A további kutatások eredményeként a véletlenszerű tenzorvetítések segítségével a dimenziócsökkentési módszerek sokkal nagyobb osztályára általánosították.

Tenzor vetületek

A tenzorvázlat egyik változata a Slyusar V. I. [ 6] által 1996 -ban javasolt mátrixok végtermékének felhasználásán alapul ( arcfelosztó szorzat ) [7] [8] [9] [10] [11] .

Két , azonos sorszámú mátrix végterméke [7] [8] [9] [12] : $\mathbf {C} \in \mathbb {R} ^{3\times 3}$ $\mathbf {D} \in \mathbb {R} ^{3\times 3}$ $\mathbf {C} \bullet \mathbf {D} =\left[{\begin{array}{c }\mathbf {C} _{1}\otimes \mathbf {D} _{1}\\ \hline \mathbf {C} _{2}\otimes \mathbf {D} _{2}\\\hline \mathbf {C} _{3}\otimes \mathbf {D} _{3}\\\end {array}}\right]=\left[{\begin{array}{ccccccccc }\mathbf {C} _{1,1}\mathbf {D} _{1,1}&\mathbf {C} _{ 1,1}\mathbf {D} _{1,2}&\mathbf {C} _{1,1}\mathbf {D} _{1,3}&\mathbf {C} _{1,2} \mathbf {D} _{1,1}&\mathbf {C} _{1,2}\mathbf {D} _{1,2}&\mathbf {C} _{1,2}\mathbf {D } _{1,3}&\mathbf {C} _{1,3}\mathbf {D} _{1,1}&\mathbf {C} _{1,3}\mathbf {D} _{1 ,2}&\mathbf {C} _{1,3}\mathbf {D} _{1,3}\\\hline \mathbf {C} _{2,1}\mathbf {D} _{2, 1}&\mathbf {C} _{2,1}\mathbf {D} _{2,2}&\mathbf {C} _{2,1}\mathbf {D} _{2,3}&\ mathbf {C} _{2,2}\mathbf {D} _{2,1}&\mathbf {C} _{2,2}\mathbf {D} _{2,2}&\mathbf {C} _{2,2}\mathbf {D} _{2,3}&\mathbf {C} _{2,3}\mathbf {D} _{2,1}&\mathbf {C} _{2, 3}\mathbf {D} _{2,2}&\mathbf {C} _{2,3}\mathbf {D} _{2,3}\\\hline \mathbf {C} _{3,1 }\mathbf {D} _{3,1}&\mathbf {C} _{3,1 }\mathbf {D} _{3,2}&\mathbf {C} _{3,1}\mathbf {D} _{3,3}&\mathbf {C} _{3,2}\mathbf { D} _{3,1}&\mathbf {C} _{3,2}\mathbf {D} _{3,2}&\mathbf {C} _{3,2}\mathbf {D} _{ 3,3}&\mathbf {C} _{3,3}\mathbf {D} _{3,1}&\mathbf {C} _{3,3}\mathbf {D} _{3,2} &\mathbf {C} _{3,3}\mathbf {D} _{3,3}\end{tömb}}\jobbra].$

A mű felhasználásának célszerűsége a következő tulajdonságokban rejlik:

(\mathbf {C} \bullet \mathbf {D} )(x\otimes y)=\mathbf {C} x\circ \mathbf {D} y=\left[{\begin{array}{c }(\mathbf {C} x)_{1}(\mathbf {D} y)_{1}\\(\mathbf {C} x)_{2}(\mathbf {D} y)_{2 }\\\vdots \end{array}}\right],

hol van az elemenkénti Hadamard szorzat . $\circ$

Ezen az alapon az alak tetszőleges tenzorvázlata ábrázolható , ahol a és mátrixok kisebb dimenziójúak, és . Mivel a és műveletek lineáris időben hajthatók végre, és ennek megfelelően az ábrázolásra való átállás lehetővé teszi, hogy a tenzorszerkezetű vektorokkal való szorzást sokkal gyorsabban végezzük el, mint az eredeti kifejezés , mégpedig időben . $\mathbf {M} (y\otimes z)$ $\mathbf {M'} y\circ \mathbf {M''} z$ $\mathbf {M'}$ $\mathbf {M''}$ $\mathbf {M'} \bullet \mathbf {M''} =\mathbf {M}$ $\mathbf {M'} y$ $\mathbf {M''} z$ ${\displaystyle kd_{1))$ ${\displaystyle kd_{2))$ $\mathbf {M'} \bullet \mathbf {M''}$ $\mathbf {M} (y\otimes z)$ ${\displaystyle kd=kd_{1}d_{2))$

A magasabb rendű tenzoroknál, mint például a , a megtakarítás még jelentősebb lesz. $x=y\otimes z\otimes t$

Egy ilyen transzformáció kielégíti a nagydimenziós bemeneti adatok kis torzításaira vonatkozó lemmát .

Lásd még

Jegyzetek

↑ Nagy tenzorok alacsony rangú Tucker-bontása a következő használatával: Tensor Sketch . amath.colorado.edu . Boulder, Colorado: University of Colorado Boulder . Letöltve: 2020. július 30. Az eredetiből archiválva : 2019. február 14. (határozatlan)
↑ Ahle, Thomas; Knudsen, Jakob Majdnem optimális tenzorvázlat . Researchgate (2019. szeptember 3.). Letöltve: 2020. július 11. Az eredetiből archiválva : 2020. július 14. (határozatlan)
↑ Woodruff, David P. "A vázlatkészítés mint eszköz a numerikus lineáris algebrához." Elméleti Számítástudomány 10.1-2 (2014): 1-157.
↑ Ninh, Pham; Rasmus, Pagh (2013). Gyors és méretezhető polinomiális kernelek explicit jellemzőtérképeken keresztül . SIGKDD nemzetközi konferencia a tudásfeltárásról és az adatbányászatról. Számítógépek Szövetsége. DOI : 10.1145/2487575.2487591 .
↑ Rasmus, Pagh (2013). Tömörített mátrixszorzás. ACM Transactions on Computation Theory, 2013. augusztus Cikkszám: 9 . Számítógépek Szövetsége. DOI : 10.1145/2493252.2493254 .
↑ Anna Esteve, Eva Boj és Josep Fortiana (2009): Interaction Terms in Distance-Based Regression, Communications in Statistics – Theory and Methods, 38:19, P. 3501 [1] Archiválva : 2021. április 26. a Wayback Machine -nél
↑ 1 2 Slyusar, VI (1996. december 27.). „Végtermékek mátrixokban radar alkalmazásokban” (PDF) . Radioelectronics and Communications Systems. – 1998, Vol. 41; 3. szám : 50-53. Archivált (PDF) az eredetiből ekkor: 2020-07-27 . Letöltve: 2020-07-30 . Elavult használt paraméter |deadlink=( súgó )
↑ 1 2 Slyusar, VI A digitális antennatömb analitikai modellje arcfelosztó mátrixtermékek alapján // Proc . ICATT-97, Kijev: folyóirat. - 1997. - május 20. - 108-109 . o . Az eredetiből archiválva : 2020. január 25.
↑ 1 2 Slyusar, VI A Face Products of Matrix and its Properties család // Kibernetika és rendszerelemzés C/C of Kibernetika I Sistemnyi Analiz : Journal. - 1999. - 1. évf. 35 , sz. 3 . - P. 379-384 . - doi : 10.1007/BF02733426 . Az eredetiből archiválva : 2020. január 25.
↑ Slyusar, VI. Nem azonos csatornákkal rendelkező digitális antennatömbök modelljei mátrixainak általánosított arcszorzatai // Radioelectronics and Communications Systems : Journal . - 2003. - 1. évf. 46 , sz. 10 . - 9-17 . o . Az eredetiből archiválva : 2020. szeptember 20.
↑ Minochkin A.I., Rudakov V.I., Slyusar V.I. A haditechnikai kutatás alapjai. Elmélet és alkalmazások. Hangerő. 2. A fegyverek és katonai felszerelések információs támogatásának eszközeinek szintézise / / Szerk. A.P. Kovtunenko. - Kijev: "Granmna". - 2012. C. 7 - 98; 354-521 (2012). Letöltve: 2020. július 30. Az eredetiből archiválva : 2020. január 25. (határozatlan)
↑ Slyusar, VI (1997-09-15). „Új mátrixműveletek termék radarok alkalmazásához” (PDF) . Proc. Az elektromágneses és akusztikus hullámelmélet direkt és inverz problémái (DIPED-97), Lviv. : 73-74. Archivált (PDF) az eredetiből ekkor: 2020-01-25 . Letöltve: 2020-07-31 . Elavult használt paraméter |deadlink=( súgó )

Mesterséges intelligencia
Sztori	A mesterséges intelligencia története A mesterséges intelligencia tél Dartmouth szeminárium
Filozófia	Turing teszt Kínai szoba Erős és gyenge mesterséges intelligencia Barátságos mesterséges intelligencia A mesterséges intelligencia etikája Vezérlési probléma
Útvonalak	Ügynöki megközelítés Adaptív vezérlés Tudásmérnöki Életképes rendszermodell Gépi tanulás Neurális hálózat zavaros logika természetes nyelvi feldolgozás Mintafelismerés Raj Intelligencia Szimbolikus AI Evolúciós algoritmusok Szakértői rendszer
Alkalmazás	Hangvezérlés Osztályozási probléma Dokumentum minősítés Dokumentumcsoportosítás klaszteranalízis Helyi keresés Gépi fordítás Optikai karakter felismerés Beszédfelismerés Kézírás felismerés Játék AI
Kutatók	Charles Babbage Vladimir Vapnik Weizenbaum József Wiener Norbert Viktor Gluskov Vlagyimir Gorodetszkij Jan LeCun Alekszej Ljapunov John McCarthy Marvin Minsky Allen Newell Seymour Papert Judah Pearl Germogen Poszpelov Dmitrij Poszpelov Frank Rosenblatt Herbert Sándor Simon Alan Turing Patrick Winston Victor Finn Szergej Fomin Demis Hassabis Geoffrey Hinton Noam Chomsky Claude Shannon Andrew Eun Eliezer Judkovszkij

Gépi tanulás és adatbányászat
Feladatok	Osztályozási probléma Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellek együttesei Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-közép módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-Net Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG