Kanonikus korrelációelemzés

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2021. március 27-én felülvizsgált verziótól ; az ellenőrzéshez 1 szerkesztés szükséges .

A kanonikus korrelációs elemzés ( CCA ) egy módja annak , hogy információt szerezzünk keresztkorrelációs mátrixokból . Ha két vektorunk és valószínűségi változónk van, és ezek között korrelációk vannak , akkor a kanonikus korrelációelemzés X és Y azon lineáris kombinációját keresi, amelyiknél a maximális korreláció [1] . T. R. Knapp megfigyelte, hogy "gyakorlatilag az összes általánosan használt parametrikus szignifikancia-teszt a kanonikus korrelációelemzés speciális eseteként kezelhető, amely egy általános eljárás két változóhalmaz közötti kapcsolatok vizsgálatára" [2] . A módszert először Harold Hotelling vezette be 1936-ban [3] . $X=(X_{1},\dots ,X_{n})$ $Y=(Y_{1},\dots ,Y_{m})$

Definíció

Adott két oszlopvektor és véges második momentumú valószínűségi változók , a keresztkorreláció definiálható olyan mátrixként , amelynek elemei kovariancia . A gyakorlatban a kovarianciamátrixot a és (vagyis egy pár adatmátrixból származó) mintaadatok alapján becsüljük meg . $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots ,y_{m})'$ $\Sigma _{XY}=\operátornév {cov} (X,Y)$ $n\times m$ $(i, j)$ $\operatorname {cov} (x_{i},y_{j})$ $x$ $Y$

A kanonikus korrelációs elemzés a ( ) és ( ) vektorokat úgy keresi , hogy a valószínűségi változók maximalizálják a korrelációt . Véletlenszerű változók és a kanonikus változók első párja . Ezután olyan vektorokat keresünk, amelyek maximalizálják ugyanazt a korrelációt azzal a megszorítással, hogy nem korrelálnak az első kanonikus változópárral, ez adja a második kanonikus változópárt . Ez az eljárás akár többször is folytatható. $a$ $a$ $\in \mathbb {R} ^{n}$ $b$ ${\displaystyle b\in \mathbb {R} ^{m))$ $a'^{T}X$ $b'^{T}Y$ $\rho =\operátornév {corr} (a'^{T}X,b'^{T}Y)$ $U=a'^{T}X$ $V=b'^{T}Y$ ${\displaystyle \min\{m,n\))$

( a ′ , b ′ ) = argmax a , b korr ⁡ ( a T x , b T Y ) {\displaystyle (a',b')={\underset {a,b}{\operátornév {argmax} }}\operátornév {corr} (a^{T}X,b^{T}Y)}

(a',b')={\underset {a,b}{\operátornév {argmax} }}\operátornév {corr} (a^{T}X,b^{T}Y)

Számítás

Következtetés

Hagyjuk és . Maximális paraméter $\Sigma _{XX}=\operátornév {cov} (X,X)$ $\Sigma _{YY}=\operátornév {cov} (Y,Y)$

\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a)){\sqrt {b^{T }\Sigma _{YY}b}}}}.

Első lépésben megváltoztatjuk az alapot és meghatározzuk

c=\Sigma _{XX}^{1/2}a,

d=\Sigma _{YY}^{1/2}b.

Akkor van

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

A Cauchy-Bunyakovsky egyenlőtlenségből azt kapjuk , hogy

\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\ leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2 },

\rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}} .

Egy egyenlőtlenség akkor válik egyenlővé, ha a és a vektorok kollineárisak . Ezenkívül a maximális korreláció akkor érhető el, ha a sajátvektor a mátrix maximális sajátértékével rendelkezik (lásd Rayleigh-reláció ). A következő párt a következő legnagyobb sajátérték felhasználásával találjuk meg . Az ortogonalitást a korrelációs mátrixok szimmetriája garantálja. $d$ $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ $c$ $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$

Megoldás

Megoldás:

$c$ egy sajátvektor $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$
$d$ arányosan $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

Ennek megfelelően szintén

$d$ egy sajátvektor $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/ 2}$
$c$ arányosan $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

A koordináták fordított változtatásával azt kapjuk

$a$ egy sajátvektor , ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX))$
$b$ arányosan $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
$b$ egy sajátvektor $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
$a$ arányosan . $\Sigma _{XX}^{-1}\Sigma _{XY}b$

A kanonikus változókat az egyenlőségek határozzák meg:

U=c'\Sigma _{XX}^{-1/2}X=a'X

V=d'\Sigma _{YY}^{-1/2}Y=b'Y

Megvalósítás

A CCA a korrelációs mátrix szinguláris érték dekompozíciójával számítható ki [4] . A kanonikus korreláció szolgáltatásként elérhető a következő rendszerekben [5] .

A MATLAB a canoncorr függvény ( és az oktávban is ).
Az R egy standard cancor függvény és néhány más csomag. CCP statisztikai hipotézisvizsgálathoz a kanonikus korrelációs elemzésben.
SAS - eljárás cancorr .
scikit-learn , Python - Cross dekompozíciós csomag.
Az SPSS a fő csomaghoz tartozó CanCorr makró.

Hipotézis tesztelés

Minden sor szignifikanciáját a következő módszerrel teszteljük. Mivel a korrelációk rendezve vannak, az az állítás, hogy a sor nulla, azt jelenti, hogy minden további korreláció is nulla. Ha a mintában vannak független megfigyelések, és a becsült korreláció a -re , akkor a -edik sorban a szignifikancia kritériuma a következő lesz: $én$ $p$ ${\widehat {\rho }}_{i}$ ${\displaystyle i=1,\dots ,\min\{m,n\))$ $én$

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

amely aszimptotikusan eloszlik egy khi - négyzetként nagy szabadságfokkal [6] . Mivel minden korreláció tól -ig nulla, az e pont utáni tagok szorzata irreleváns. ${\megjelenítési stílus (m-i+1)(n-i+1)}$ $p$ ${\displaystyle \min\{m,n\))$ $p$

Gyakorlati felhasználás

Kísérleti kontextusban a kanonikus korreláció tipikus használata az, hogy két változókészletet veszünk figyelembe, és megvizsgáljuk, mi a közös a két halmazban [7] . Például a pszichológiai kutatásban elvégezhető két bevett többváltozós személyiségteszt , mint például a Minnesota Multidimensional Personality Inventory (MMPI-2) és a NEO . Ha megvizsgáljuk, hogy az MMPI-2 faktorok hogyan viszonyulnak a NEO faktorokhoz, kiderül, hogy mely jellemzők voltak közösek a két teszt között, és mennyire közösek a változók. Például előfordulhat, hogy az olyan jellemzők, mint az extraverzió vagy a neuroticizmus , a két teszt közös változóinak jelentős részét alkotják.

A kanonikus korrelációelemzés segítségével olyan egyenlőséget is kaphat, amely két változókészletre vonatkozik, például teljesítménymérésekre és magyarázó változók halmazára, vagy egy kimeneti és egy bemeneti halmazra. Egy ilyen modellre korlátozó feltételeket lehet támasztani, hogy elméleti vagy intuitív módon nyilvánvaló követelményeket biztosítsanak. Ezt a modelltípust maximális korrelációs modellnek nevezik [8] .

A kanonikus korreláció eredményeinek megjelenítése általában a kanonikus változópárok két változókészletének együtthatóinak oszlopdiagramján keresztül történik, amely szignifikáns korrelációt mutat. Egyes szerzők azt javasolják, hogy az eredményeket jobb egy heliográfon megjeleníteni, amely egy kördiagram, amelyen sugarakként oszlopok találhatók, amelyek fele az egyik változóhalmazt, a másik fele pedig a második halmazt reprezentálja [9] .

Példák

Legyen nulla matematikai várakozással , azaz. . Ha , azaz és teljes mértékben korrelálnak, akkor például és , tehát az első (csak ebben a példában) kanonikus változópár az és . Ha , azaz és teljesen antikorrelált, akkor és , tehát az első (csak ebben a példában) kanonikus változópár az és . Vegye figyelembe, hogy mindkét esetben , ami azt mutatja, hogy a kanonikus korrelációs elemzés pontosan ugyanúgy működik a korrelált változókkal, mint az antikorrelált változókkal. $X=x_{1}$ $\operatorname {E} (X)=0$ $Y=X$ $x$ $Y$ $a=1$ $b=1$ $U=X$ $V=Y=X$ $Y=-X$ $x$ $Y$ $a=1$ $b=-1$ $U=X$ $V=-Y=X$ $U=V$

Kapcsolat főszögekkel

Tegyük fel, hogy és nulla matematikai elvárásunk van , pl. . Kovariancia mátrixaik és Gram - mátrixoknak tekinthetők belső szorzattal , ill . Ebben az értelmezésben a valószínűségi változókat, a vektor elemeit és a vektor elemeit egy vektortér elemeiként kezeljük a kovariancia által megadott skaláris szorzattal . $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots ,y_{m})'$ $\operátornév {E} (X)=\operátornév {E} (Y)=0$ $\Sigma _{XX}=\operátornév {Cov} (X,X)=\operátornév {E} [XX']$ $\Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']$ $x$ $Y$ $x_{i}$ $x$ $y_{j}$ $Y$ $\operatorname {cov} (x_{i},y_{j})$

A kanonikus változók definíciója, majd ekvivalens a gyökérvektorok meghatározásával a és által átívelt altérpárok esetében, figyelembe véve ezt a skaláris szorzatot . A kanonikus korreláció egyenlő az alterek közötti szög koszinuszával . $U$ $V$ $x$ $Y$ $\operatorname {corr} (U,V)$

Fehérítés és valószínűségi kanonikus korrelációelemzés

A CCA egy speciális fehérítő transzformációnak is tekinthető [10] , ahol a véletlen vektorok és egyidejűleg transzformálódnak oly módon, hogy a fehérített vektorok és a keresztkorrelációs mátrix átlós legyen [11] . $x$ $Y$ $X^{CCA}$ $Y^{CCA}$

A kanonikus korrelációkat ezután regressziós együtthatókként értelmezzük, amelyek vonatkoznak a , és -re, és lehetnek negatívak. Ha a CCA-t regressziónak tekintjük, akkor lehetőség nyílik egy látens változó generatív valószínűségi modelljének felépítésére a CCA-hoz, a teljes és részleges varianciát reprezentáló nem korrelált látens változókkal. $X^{CCA}$ $Y^{CCA}$

Lásd még

Általánosított kanonikus korreláció
Multilineáris altér tanulás
RV arány
Szögek a hipersíkok között
Főkomponens módszer
Lineáris diszkriminancia analízis
szinguláris érték felbontás
Részleges legkisebb négyzetek regressziója

Jegyzetek

↑ Härdle, Simar, 2007 , p. 321–330.
↑ Knapp, 1978 , p. 410–416.
↑ Hotelling, 1936 , p. 321–377.
↑ Hsu, Kakade, Zhang, 2012 , p. 1460.
↑ Huang, Lee, Hsiao, 2009 , p. 2162.
↑ Mardia, Kent, Bibby, 1979 .
↑ Sieranoja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018 .
↑ Tofallis, 1999 , p. 371–378.
↑ Degani, Shafto, Olson, 2006 , p. 93.
↑ A fehérítő transzformáció a valószínűségi változók vektorát lineáris transzformációval fehér zajmá alakítja
↑ Jendoubi, Strimmer, 2018 .

Irodalom

Wolfgang Hardle, Leopold Simar. Kanonikus korrelációs elemzés // Alkalmazott többváltozós statisztikai elemzés. - 2007. - ISBN 978-3-540-72243-4 . - doi : 10.1007/978-3-540-72244-1_14 .
Knapp TR Kanonikus korrelációs elemzés: Általános parametrikus szignifikancia-tesztelő rendszer // Pszichológiai Közlöny. - 1978. - T. 85 , sz. 2 . - doi : 10.1037/0033-2909.85.2.410 .
Kanti V. Mardia, JT Kent, JM Bibby. többváltozós elemzés. – Akadémiai Kiadó , 1979.
Hotelling H. Relations Between Two Sets of Variates // Biometrika. - 1936. - T. 28 , sz. 3–4 . - doi : 10.1093/biomet/28.3-4.321 . — .
Hsu D., Kakade SM, Zhang T. A spektrális algoritmus a rejtett Markov-modellek tanulásához // Journal of Computer and System Sciences. - 2012. - T. 78 , sz. 5 . - doi : 10.1016/j.jcss.2011.12.025 . - arXiv : 0811.4413 .
Huang SY, Lee MH, Hsiao CK A kernel kanonikus korrelációs elemzésével és alkalmazásaival való asszociáció nemlineáris mértékei // Journal of Statistical Planning and Inference. - 2009. - T. 139 , sz. 7 . - doi : 10.1016/j.jspi.2008.10.011 .
Sieranoja S., Sahidullah Md, Kinnunen T., Komulainen J., Hadid A. Audiovizuális szinkronérzékelés optimalizált hangfunkciókkal // IEEE 3rd Int. Konferencia a jel- és képfeldolgozásról (ICSIP 2018). - 2018. - július.
Tofallis C. Modellépítés több függő változóval és korlátokkal // Journal of the Royal Statistical Society, Series D. - 1999. - V. 48 , no. 3 . - doi : 10.1111/1467-9884.00195 . - arXiv : 1109.0725 .
Degani A., Shafto M., Olson L. Kanonikus korrelációs elemzés: Kompozit heliográfok használata több minta ábrázolására // Diagrammatikus ábrázolás és következtetés . - 2006. - T. 4045. - (Számítástechnikai előadásjegyzetek). — ISBN 978-3-540-35623-3 . - doi : 10.1007/11783183_11 .
Jendoubi T., Strimmer K. Egy fehérítő megközelítés a valószínűségi kanonikus korrelációs elemzéshez omics adatintegrációhoz. — 2018.

Linkek

Diszkrimináns korrelációs elemzés (DCA)
- Haghighat M., Abdel-Mottaleb M., Alhalabi W. Diszkrimináns korrelációs elemzés: valós idejű jellemzőszintű fúzió a multimodális biometrikus felismeréshez . IEEE Transactions on Information Forensics and Security]. - 2016. - T. 11. (9). ( MATLAB )
Hardoon D., Szedmak S., Shawe-Taylor J. Canonical Correlation Analysis: An Overview with Application to Learning Methods // Neurális számítás. - 2004. - T. 16 , sz. 12 . - P. 2639-2664. - doi : 10.1162/0899766042321814 . — PMID 15516276 .
Megjegyzés a két rangsorolási pontszám ordinális kanonikus-korrelációs elemzéséhez - Journal of Quantitative Economics 7(2), 2009, pp. 173–199
Reprezentáció-korlátozott kanonikus korrelációs elemzés: A kanonikus korreláció és a főkomponens-elemzések hibridizációja ( FORTRAN program biztosított ) - Journal of Applied Economic Sciences, 4(1), 2009, 115–124.

Gépi tanulás és adatbányászat
Feladatok	Osztályozási probléma Tanulás tanár nélkül Tanár által segített tanulás Regresszió analízis AutoML Egyesületi szabályzat Funkció kivonás Tulajdonságok képzése Rangsorképzés Nyelvtani levezetés Online tanulás
Tanulás tanárral	k-legközelebbi szomszéd módszer Naiv Bayes osztályozó döntési fa Támogatja a vektoros gépet Lineáris regresszió Logisztikus regresszió perceptron Modellek együttesei Zsákolás fellendítése véletlenszerű erdő Releváns vektoros módszer
klaszteranalízis	k-közép módszer Fuzzy klaszterezési módszer Hierarchikus klaszterezés EM algoritmus NYÍR GYÓGYMÓD DBSCAN OPTIKA Átlageltolás
Dimenziócsökkentés	Faktoranalízis Főkomponens módszer CCA ICA LDA Nem negatív mátrix kiterjesztése t-SNE
Strukturális előrejelzés	Grafikon valószínűségi modell Bayesi hálózat Rejtett Markov-modell CRF
Anomália észlelése	k-legközelebbi szomszéd módszer Helyi kibocsátási szint
Grafikon valószínűségi modellek	Bayesi hálózat Markov hálózat Rejtett Markov-modell
Neurális hálózatok	Limitált Boltzmann gép önszerveződő térkép Aktiválási funkció Szigma alakú softmax Radiális bázisfüggvény Hátsó szaporítási módszer Mély tanulás Többrétegű perceptron Ismétlődő neurális hálózat hosszú távú rövid távú memória Ellenőrzött visszatérő blokk Konvolúciós Neurális Hálózat U-Net Autoencoder
Megerősítő tanulás	Markov folyamat Bellman egyenlet Mohó algoritmus Q-learning SARSA Időbeli különbség (TD)
Elmélet	Vapnik-Chervonenkis elmélet Elfogultság-diszperziós dilemma Számítógépes tanuláselmélet Empirikus kockázatminimalizálás Occam tanul PAC tanulás Statisztikai tanuláselmélet
Folyóiratok és konferenciák	NeurIPS ICML ML JMLR ArXiv:cs.LG