Kanonická korelační analýza

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 27. března 2021; ověření vyžaduje 1 úpravu .

Canonical Correlation Analysis ( CCA ) je způsob , jak získat informace z křížových korelačních matic . Pokud máme dva vektory a náhodné proměnné a mezi těmito proměnnými existují korelace , pak kanonická korelační analýza najde lineární kombinaci X a Y , která má maximální korelaci [1] . T. R. Knapp poznamenal, že „prakticky všechny běžně používané testy parametrické významnosti lze považovat za speciální případ kanonické korelační analýzy, což je obecný postup pro zkoumání vztahů mezi dvěma soubory proměnných“ [2] . Metodu poprvé představil Harold Hotelling v roce 1936 [3] . $X=(X_{1},\tečky ,X_{n})$ $Y=(Y_{1},\tečky ,Y_{m})$

Definice

Dané dva sloupcové vektory a náhodné proměnné s konečnými sekundovými momenty , lze definovat vzájemnou korelaci jako matici, jejíž prvky jsou kovariance . V praxi odhadujeme kovarianční matici na základě vzorových dat z a (tj. z dvojice datových matic). $X=(x_{1},\tečky ,x_{n})'$ $Y=(y_{1},\tečky ,y_{m})'$ $\Sigma _{XY}=\název operátora {cov} (X,Y)$ $n\times m$ $(i, j)$ $\operatorname {cov} (x_{i},y_{j})$ $X$ $Y$

Kanonická korelační analýza hledá vektory ( ) a ( ) takové, že náhodné proměnné a maximalizují korelaci . Náhodné proměnné a jsou první dvojicí kanonických proměnných . Pak se hledají vektory, které maximalizují stejnou korelaci s omezením, že nekorelují s prvním párem kanonických proměnných, což dává druhý pár kanonických proměnných . Tento postup může pokračovat až několikrát. $A$ $A$ $\in \mathbb {R} ^{n}$ $b$ ${\displaystyle b\in \mathbb {R} ^{m))$ $a'^{T}X$ $b'^{T}Y$ $\rho =\operatorname {corr} (a'^{T}X,b'^{T}Y)$ $U=a'^{T}X$ $V=b'^{T}Y$ ${\displaystyle \min\{m,n\))$

( A ' , b ' ) = argmax A , b kor ⁡ ( A T X , b T Y ) {\displaystyle (a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)}

(a',b')={\underset {a,b}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)

Výpočet

Závěr

Nechte a . Maximalizovaný parametr $\Sigma _{XX}=\název operátora {cov} (X,X)$ $\Sigma _{YY}=\název operátora {cov} (Y,Y)$

\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a)){\sqrt {b^{T }\Sigma _{YY}b}}}}.

V prvním kroku změníme základ a určíme

c=\Sigma _{XX}^{1/2}a,

d=\Sigma _{YY}^{1/2}b.

Pak máme

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

Cauchyho -Bunyakovského nerovností dostáváme

\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\ leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\vpravo)^{1/2}\left(d^{T}d\vpravo)^{1/2 },

\rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}} .

Nerovnice se stane rovností, pokud jsou vektory a kolineární . Navíc maximální korelace je dosažena, když je vlastní vektor s maximální vlastní hodnotou pro matici (viz Rayleighův vztah ). Další pár je nalezen pomocí další největší vlastní hodnoty . Ortogonalita je zaručena symetrií korelačních matic. $d$ $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ $C$ $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$

Řešení

Řešení:

$C$ je vlastní vektor $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$
$d$ úměrně $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

Podle toho také

$d$ je vlastní vektor $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/ 2}$
$C$ úměrně $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

Při obrácené změně souřadnic dostaneme

$A$ je vlastní vektor , ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX))$
$b$ úměrně $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
$b$ je vlastní vektor $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
$A$ úměrně . $\Sigma _{XX}^{-1}\Sigma _{XY}b$

Kanonické proměnné jsou definovány rovností:

U=c'\Sigma _{XX}^{-1/2}X=a'X

V=d'\Sigma _{YY}^{-1/2}Y=b'Y

Implementace

CCA lze vypočítat pomocí singulárního rozkladu korelační matice [4] . Kanonická korelace je k dispozici jako funkce v následujících systémech [5] .

MATLAB je funkce canoncorr ( a také v Octave ).
R je standardní funkce cancor a některé další balíčky. CCP pro testování statistických hypotéz v kanonické korelační analýze.
SAS - procedure cancorr .
scikit-learn , Python - balíček pro křížový rozklad .
SPSS je makro CanCorr, které je součástí hlavního balíčku.

Testování hypotéz

Každý řádek je testován na významnost pomocí následující metody. Protože jsou korelace seřazeny, tvrzení, že řádek je nulový, znamená, že všechny další korelace jsou také nulové. Pokud máme ve vzorku nezávislá pozorování a je to odhadovaná korelace pro , pro -tý řádek bude kritériem významnosti: $i$ $p$ ${\widehat {\rho }}_{i}$ ${\displaystyle i=1,\tečky ,\min\{m,n\))$ $i$

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

který je asymptoticky distribuován jako chí-kvadrát se stupni volnosti pro velké [6] . Protože všechny korelace od do jsou nulové, součin členů za tímto bodem je irelevantní. $(m-i+1)(n-i+1)$ $p$ ${\displaystyle \min\{m,n\))$ $p$

Praktické použití

Typickým použitím kanonické korelace v experimentálním kontextu je zvažování dvou souborů proměnných a zkoumání toho, co mají tyto dva soubory společného [7] . Například v psychologickém výzkumu lze provést dva zavedené vícerozměrné testy osobnosti , jako je Minnesota Multidimensional Personality Inventory (MMPI-2) a NEO . Když se podíváme na to, jak souvisí faktory MMPI-2 s faktory NEO, lze zjistit, které charakteristiky byly mezi těmito dvěma testy společné a do jaké míry jsou proměnné společné. Dalo by se například zjistit, že charakteristiky jako extraverze nebo neuroticismus tvoří podstatnou část společných proměnných pro oba testy.

Můžete také použít kanonickou korelační analýzu k získání rovnosti, která souvisí se dvěma sadami proměnných, jako je sada měření výkonu a sada vysvětlujících proměnných nebo výstupní sada a vstupní sada. Na takový model lze uložit omezující podmínky, aby byly zajištěny teoretické nebo intuitivně zřejmé požadavky. Tento typ modelu je známý jako model maximální korelace [8] .

Vizualizace výsledků kanonické korelace se obvykle provádí prostřednictvím sloupcového grafu koeficientů dvou sad proměnných pro dvojice kanonických proměnných, které vykazují významnou korelaci. Někteří autoři navrhují, že je lepší vizualizovat výsledky na heliografu, což je koláčový graf s pruhy jako paprsky, z nichž polovina představuje jednu sadu proměnných a druhá polovina druhou sadu [9] .

Příklady

Nechť s nulovým matematickým očekáváním , tzn. . Pokud , tj. a jsou plně korelované, potom například a , takže první (pouze pro tento příklad) pár kanonických proměnných je a . Pokud , tj. a jsou zcela antikorelované, then a , takže první (pouze pro tento příklad) pár kanonických proměnných je a . Všimněte si, že v obou případech , což ukazuje, že kanonická korelační analýza funguje přesně stejně s korelovanými proměnnými jako s antikorelovanými. $X=x_{1}$ $\operatorname {E} (X)=0$ $Y=X$ $X$ $Y$ $a=1$ $b=1$ $U=X$ $V=Y=X$ $Y=-X$ $X$ $Y$ $a=1$ $b=-1$ $U=X$ $V=-Y=X$ $U=V$

Vztah s hlavními úhly

Předpokládejme, že a mějme nulová matematická očekávání , tzn. . Jejich kovarianční matice a lze je považovat za Gramovy matice s vnitřním součinem pro resp . V této interpretaci jsou náhodné proměnné, prvky vektoru a prvky vektoru považovány za prvky vektorového prostoru se skalárním součinem daným kovariancí . $X=(x_{1},\tečky ,x_{n})'$ $Y=(y_{1},\tečky ,y_{m})'$ $\operatorname {E} (X)=\operatorname {E} (Y)=0$ $\Sigma _{XX}=\jméno operátora {Cov} (X,X)=\jméno operátora {E} [XX']$ $\Sigma _{YY}=\jméno operátora {Cov} (Y,Y)=\jméno operátora {E} [YY']$ $X$ $Y$ $x_{i}$ $X$ $y_{j}$ $Y$ $\operatorname {cov} (x_{i},y_{j})$

Definice kanonických proměnných a je pak ekvivalentní definici kořenových vektorů pro dvojice podprostorů překlenutých a , přičemž se bere v úvahu tento skalární součin . Kanonická korelace je rovna kosinu úhlu mezi podprostory. $U$ $PROTI$ $X$ $Y$ $\operatorname {corr} (U,V)$

Bělení a pravděpodobnostní kanonická korelační analýza

CCA lze také považovat za speciální bělící transformaci [10] , kdy jsou náhodné vektory a současně transformovány tak, že matice křížové korelace mezi bělenými vektory a je diagonální [11] . $X$ $Y$ ${\displaystyle X^{CCA))$ ${\displaystyle Y^{CCA))$

Kanonické korelace jsou pak interpretovány jako regresní koeficienty týkající se , a , a mohou být záporné. Pohled na CCA jako na regresi poskytuje způsob, jak vytvořit latentní proměnný generativní pravděpodobnostní model pro CCA s nekorelovanými latentními proměnnými reprezentujícími celkový a částečný rozptyl. ${\displaystyle X^{CCA))$ ${\displaystyle Y^{CCA))$

Viz také

Generalizovaná kanonická korelace
Multilineární podprostorové učení
poměr RV
Úhly mezi nadrovinami
Metoda hlavní součásti
Lineární diskriminační analýza
singulární rozklad hodnoty
Částečná regrese metodou nejmenších čtverců

Poznámky

↑ Härdle, Simar, 2007 , str. 321–330.
↑ Knapp, 1978 , str. 410–416.
↑ Hotelling, 1936 , str. 321–377.
↑ Hsu, Kakade, Zhang, 2012 , str. 1460.
↑ Huang, Lee, Hsiao, 2009 , str. 2162.
↑ Mardia, Kent, Bibby, 1979 .
↑ Sieranoja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018 .
↑ Tofallis, 1999 , str. 371–378.
↑ Degani, Shafto, Olson, 2006 , str. 93.
↑ Whitening transform převádí vektor náhodných proměnných pomocí lineární transformace na bílý šum
↑ Jendoubi, Strimmer, 2018 .

Literatura

Wolfgang Hardle, Leopold Simar. Kanonická korelační analýza // Použitá vícerozměrná statistická analýza. - 2007. - ISBN 978-3-540-72243-4 . - doi : 10.1007/978-3-540-72244-1_14 .
Knapp TR Kanonická korelační analýza: Obecný parametrický systém testování významnosti // Psychological Bulletin. - 1978. - T. 85 , čís. 2 . - doi : 10.1037/0033-2909.85.2.410 .
Kanti V. Mardia, JT Kent, JM Bibby. vícerozměrná analýza. — Academic Press , 1979.
Hotelling H. Vztahy mezi dvěma sadami proměnných // Biometrika. - 1936. - T. 28 , čís. 3–4 . - doi : 10.1093/biomet/28.3-4.321 . — .
Hsu D., Kakade SM, Zhang T. Spektrální algoritmus pro učení skrytých Markovových modelů // Journal of Computer and System Sciences. - 2012. - T. 78 , č.p. 5 . - doi : 10.1016/j.jcss.2011.12.025 . - arXiv : 0811.4413 .
Huang SY, Lee MH, Hsiao CK Nelineární měření asociace s kanonickou korelační analýzou jádra a aplikacemi // Journal of Statistical Planning and Inference. - 2009. - T. 139 , č.p. 7 . - doi : 10.1016/j.jspi.2008.10.011 .
Sieranoja S., Sahidullah Md, Kinnunen T., Komulainen J., Hadid A. Audiovisual Synchrony Detection with Optimized Audio Features // IEEE 3rd Int. Konference o zpracování signálu a obrazu (ICSIP 2018). - 2018. - Červenec.
Tofallis C. Model Building with Multiple Dependent Variables and Constraints // Journal of the Royal Statistical Society, Series D. - 1999. - V. 48 , no. 3 . - doi : 10.1111/1467-9884.00195 . - arXiv : 1109.0725 .
Degani A., Shafto M., Olson L. Kanonická korelační analýza: Použití složených heliografů pro reprezentaci více vzorů // Diagrammatická reprezentace a odvození . - 2006. - T. 4045. - (Poznámky z přednášek z informatiky). — ISBN 978-3-540-35623-3 . - doi : 10.1007/11783183_11 .
Jendoubi T., Strimmer K. Bělící přístup k pravděpodobnostní kanonické korelační analýze pro integraci omických dat. — 2018.

Odkazy

Diskriminační korelační analýza (DCA)
- Haghighat M., Abdel-Mottaleb M., Alhalabi W. Diskriminační korelační analýza: Fúze na úrovni funkcí v reálném čase pro multimodální biometrické rozpoznávání . IEEE Transactions on Information Forensics and Security]. - 2016. - T. 11(9). ( MATLAB )
Hardoon D., Szedmak S., Shawe-Taylor J. Canonical Correlation Analysis: An Overview with Application to Learning Methods // Neural Computation. - 2004. - T. 16 , no. 12 . - S. 2639-2664. - doi : 10.1162/0899766042321814 . — PMID 15516276 .
Poznámka k ordinální kanonicko-korelační analýze dvou sad hodnocení - Journal of Quantitative Economics 7(2), 2009, str. 173–199
Kanonická korelační analýza omezená reprezentací: Hybridizace kanonických korelačních a hlavních komponentních analýz ( poskytován program FORTRAN ) - Journal of Applied Economic Sciences 4(1), 2009, str. 115–124

Strojové učení a dolování dat
Úkoly	Klasifikační problém Učení bez učitele Učení za pomoci učitele Regresní analýza AutoML Pravidla asociace Extrakce funkcí Trénink vlastností Žebříčkový trénink Gramatické odvozování Online učení
Učení s učitelem	metoda k-nejbližšího souseda Naivní Bayesův klasifikátor rozhodovací strom Podpora vektorového stroje Lineární regrese Logistická regrese perceptron Soubory modelů Pytlování posilování náhodný les Relevantní vektorová metoda
shluková analýza	metoda k-means Metoda fuzzy shlukování Hierarchické shlukování EM algoritmus BŘÍZA LÉK DBSCAN OPTIKA Střední posun
Redukce rozměrů	Faktorová analýza Metoda hlavní součásti CCA ICA LDA Nezáporná expanze matice t-SNE
Strukturální prognózy	Graf pravděpodobnosti modelu Bayesovská síť Skrytý Markovův model CRF
Detekce anomálií	metoda k-nejbližšího souseda Místní úroveň emisí
Grafové pravděpodobnostní modely	Bayesovská síť Markovská síť Skrytý Markovův model
Neuronové sítě	Limitovaný Boltzmannův stroj samoorganizující se mapa Aktivační funkce Sigmoid softmax Radiální základní funkce Metoda zpětného šíření Hluboké učení Vícevrstvý perceptron Rekurentní neuronová síť dlouhodobá krátkodobá paměť Řízený rekurentní blok Konvoluční neuronová síť U-Net Autokodér
Posílení učení	Markovský proces Bellmanova rovnice Chamtivý algoritmus Q-learning SARSA Časový rozdíl (TD)
Teorie	Vapnik-Chervonenkis teorie Dilema zkreslení Teorie počítačového učení Empirická minimalizace rizika Occam se učí PAC učení Statistická teorie učení
Časopisy a konference	NeurIPS ICML ML JMLR ArXiv:cs.LG