Karhunen-Loeveova věta

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 19. října 2020; ověření vyžaduje 1 úpravu .

Důležitým základním problémem diskretizační teorie je otázka objemu diskrétního popisu signálů, tedy počtu základních funkcí používaných k reprezentaci: $N$

a(t)=\sum _{{k=0}}^{{N-1}}\alpha _{{k}}\varphi _{{k}}(t)

Chcete-li najít optimální základ, musíte určit třídu signálů, pro kterou se hledá, a také nastavit přesnost obnovení pro tuto třídu. Ve statistickém přístupu k popisu signálů se za optimální rozměrovou základnu pro reprezentaci jednotlivých realizací signálů obvykle považuje základ, při kterém je chybovost, zprůměrovaná na soubor realizací, minimální. V tomto případě jsou nutné a postačující podmínky pro minimum chybové normy reprezentace signálu jako součtu bázových funkcí určeny Karhunen-Loevovou větou. $N$

Populární formulace

Minimální hodnoty normy chyby v reprezentaci signálů v intervalu délek je dosaženo při použití vlastních funkcí operátora jako základu, jehož jádrem je korelační funkce signálů : $T$ $R_{{a}}(t,\tau )$

\int _{{-{\frac {T}{2}}}}^{{{\frac {T}{2}}}}R_{{a}}(t,\tau )\varphi _{{ k}}(\tau )d\tau =\lambda _{{k}}\varphi _{{k}}(t)

odpovídající největším vlastním číslům. V tomto případě je chybovost: $N$

\|\epsilon \|_{{min}}^{{2}}=\|a(t)-\součet _{{k=0}}^{{N-1}}\alpha _{{k }}\varphi _{{k}}(t)\|_{{min}}^{{2}}=\sum _{{k=N}}^{{\infty }}\lambda _{{ k))

Takovým rozkladem je Karhunen-Loeveův rozklad [1] [2] .

Aplikace

V teorii náhodných procesů je Karhunen-Loeve teorém (pojmenovaný po Kari Karhunen a Michel Loeve ) reprezentací náhodného procesu jako nekonečné lineární kombinace ortogonálních funkcí , podobně jako reprezentace Fourierovy řady - sekvenční reprezentace funkcí. na ohraničeném intervalu. Na rozdíl od Fourierových řad, kde jsou koeficienty reálná čísla a reprezentační báze se skládá ze sinusových funkcí (tj. sinusových a kosinových funkcí s různými frekvencemi), jsou koeficienty v Karhunen-Loeveově teorému náhodné veličiny a reprezentační báze závisí na proces. Funkce ortogonální báze použité v této reprezentaci definují funkci kovariance procesu . Pokud považujeme stochastický proces za náhodnou funkci F , tedy proces, ve kterém funkce na intervalu [ a , b ] nabývá hodnoty F , pak lze na tuto větu nahlížet jako na náhodný ortonormální rozvoj F.

Náhodný proces se středem { X t } t ∈ [ a , b ] (kde centrování znamená, že matematická očekávání E( X t ) existují a jsou rovna nule pro všechny hodnoty parametru t z [ a , b ]) , který splňuje technickou podmínku návaznosti, připouští rozklad následující podoby:

{\mathbf {X}}_{t}=\sum _{{k=1}}^{\infty }{\mathbf {Z}}_{k}e_{k}(t).

kde Z k jsou vzájemně nekorelované náhodné proměnné a funkce e k jsou spojité reálné funkce na [ a , b ] ortogonální v L ² [ a , b ]. V případě necentrovaného procesu dochází k podobné expanzi získané rozšířením funkce očekávání v bázi e k .

Je-li proces Gaussovský , pak náhodné veličiny Z k jsou také Gaussovské a jsou nezávislé . Tento výsledek zobecňuje Karhunen-Loeve transformace . Důležitým příkladem centrovaného stochastického procesu na intervalu [0,1] je Wienerův proces a Karhunen-Loeveův teorém lze použít k získání kanonické ortogonální reprezentace. V tomto případě se expanze skládá ze sinusových funkcí. ${\mathbf {X}}_{t}$

Výše uvedené rozklady v jsou také známé jako Karhunen-Loeve rozklady nebo rozklad (empirická verze, tj. s koeficienty z původních numerických dat), jako analýza hlavních komponent , správný ortogonální rozklad nebo Hotellingova transformace .

Formulace

Zformulujme výsledek z hlediska komplexně hodnocených stochastických procesů. Výsledky mohou být aplikovány na procesy s reálnou hodnotou bez modifikace, přičemž je třeba mít na paměti, že komplexní konjugát reálného čísla je stejný jako on sám.

Pro náhodné prvky X a Y je skalární součin definován vzorcem

\langle {\mathbf {X}}|{\mathbf {Y}}\rangle =\jméno operátora {E}({\mathbf {X^{*}}}{\mathbf {Y}})

kde * označuje operaci komplexní konjugace .

Statistika druhého řádu

Bodový součin je dobře definovaný, pokud oba a mají konečné sekundové momenty, nebo ekvivalentně, pokud jsou oba integrovatelné se čtvercem . Všimněte si, že tečkový součin souvisí s kovariancí a korelací . Zejména pro náhodné proměnné s průměrem nula jsou kovariance a bodový součin stejné. Autokovarianční funkce $X$ $Y$ $K_{{\mathrm {XX}}}$

K_{{\mathrm {XX}}}(t,s)=\jméno operátora {Cov}[X(t),X(s)]=\langle {\mathbf {X}}_{t}|{\mathbf {X}}_{s}\rangle

{\displaystyle =\mathrm {E} \{[X(t)-\mu _{X}(t)]^{*}[X(s)-\mu _{X}(s)]\))

=\mathrm {E} \{X^{*}(t)X(s)\}-\mu _{X}^{*}(t)\mu _{X}(s)

=R_{\mathrm {XX} }(t,s)-\mu _{X}^{*}(t)\mu _{X}(s).

Pokud je proces { X t } t vycentrován, pak

\mu _{X}(t)=0

pro všechny t . Autokovariance K XX je tedy rovna autokorelaci R XX :

K_{\mathrm {XX} }(t,s)=R_{\mathrm {XX} }(t,s).

Všimněte si, že pokud je { X t } t vystředěno a t 1 , ≤ t 2 , …, ≤ t N jsou body na intervalu [ a , b ], proto

\sum _{{k,\ell }}\operatorname {Cov}_{({\mathbf {X}}}}(t_{k},t_{\ell })=\operatorname {Var}\left(\ součet _{{k=1}}^{N}{\mathbf {X}}_{k}\right)\geq 0.

Prohlášení věty

Věta . Uvažujme centrovaný stochastický proces indexovaný na intervalu s kovarianční funkcí . Předpokládejme, že kovarianční funkce je spojitá v množině proměnných . Pak je kladně definitní jádro a podle Mercerovy věty má integrální operátor v (blízko Lebesgueovy míry na ) ortonormální základ vlastních vektorů. Nechť jsou vlastní vektory odpovídající nenulovým vlastním číslům a $\{{\mathbf {X}}_{t}\}$ $t$ $[a,b]$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}(t,s)$ $t,s$ ${\mathrm {Cov}}_{{{\mathbf {X}}}}$ $T$ $L^{2}[a,b]$ $[a,b]$ $\{e_{i}\}$ $T$

{\mathbf {Z}}_{i}=\int _{a}^{b}{\mathbf {X}}_{t}e_{i}(t)dt.

Pak jsou centrované ortogonální náhodné proměnné a $Z_{i}$

{\mathbf {X}}_{t}=\sum _{{i=1}}^{\infty }e_{i}(t){\mathbf {Z}}_{i}

řada konverguje ve střední čtverci a také rovnoměrně v . kromě $t$

\operatorname {Var}({\mathbf {Z}}_{i})=\operatorname {E}({\mathbf {Z}}_{i}^{2})=\lambda _{i}.

kde je vlastní hodnota odpovídající vlastnímu vektoru . $\lambda _{i}$ $e_{i}$

Cauchyovy součty

Při formulaci věty lze integrál v definici chápat jako limitu průměru Cauchyho součtů náhodných veličin $Z_{i}$

\sum _{{k=0}}^{{\ell -1}}{\mathbf {X}}_({\xi _{k}}}e_{i}(\xi _{k})( t_{{k+1}}-t_{k}),

kde

a=t_{0}\leq \xi _{0}\leq t_{1}\leq \cdots \leq \xi _{{\ell -1}}\leq t_{n}=b

Speciální případ: Gaussovo rozdělení

Protože střední čtvercová mez společně Gaussových náhodných proměnných je Gaussovská a společně Gaussovské (centrované) náhodné proměnné jsou nezávislé právě tehdy, jsou-li ortogonální, můžeme také dojít k závěru:

Věta . Náhodné proměnné mají gaussovské rozdělení a jsou nezávislé, pokud je počáteční proces { X t } t také gaussovský. $Z_{i}$

V Gaussově případě, protože náhodné proměnné jsou nezávislé, můžeme si být jisti, že: $Z_{i}$

\lim _{{N\rightarrow \infty }}\součet _{{i=1}}^{N}e_{i}(t){\mathbf {Z}}_{i}(\omega )={ \mathbf {X}}_{t} (\omega )

téměř jistě.

Všimněte si, že zobecněním Mercerovy věty můžeme interval nahradit jinými kompaktními prostory a Lebesgueovu míru na Borelově míře podporovanou v . $[a,b]$ $C$ $[a,b]$ $C$

Wienerův proces

Wienerův proces v teorii náhodných procesů je matematický model Brownova pohybu nebo náhodné procházky se spojitým časem. Zde jej definujeme jako centrovaný Gaussův proces B ( t ) s kovarianční funkcí

{\mathrm {K}}_{{\mathrm {BB}}}(t,s)=\jméno operátora {Cov}(B(t),B(s))=\min(s,t).

Je snadné vidět, že kovarianční vlastní vektory jsou

e_{k}(t)={\sqrt {2}}\sin \left(k-{\frac {1}{2}}\right)\pi t

a odpovídající vlastní hodnoty

\lambda _{k}={\frac {4}{(2k-1)^{2}\pi ^{2}}}.

To nám umožňuje získat následující reprezentaci Wienerova procesu:

Věta . Existuje posloupnost { W i } i nezávislých Gaussových náhodných proměnných s nulovým středním a jednotkovým rozptylem tak, že

{\mathbf {B}}_{t}={\sqrt {2}}\sum _{{k=1}}^{\infty }{\mathbf {W}}_{k}{\frac {\ sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}.

Konvergence je stejnoměrná v t v normě L² taková, že

\operatorname {E}\left({\mathbf {B}}_{t}-{\sqrt {2}}\sum _{{k=1}}^{n}{\mathbf {W}}_{ k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\ pi }}\right)^{2}\rightarrow 0

jednotně v t .

Použití

Bylo navrženo, že projekt SETI by měl používat Karhunen-Loeveovy transformace k detekci signálů s velmi širokým spektrem. Podobně systémy adaptivní optiky někdy používají funkce Karhunen-Loeve k obnovení informací o fázi čela vlny. (Dai 1996, JOSA A).

Viz také

Odkazy

I. I. Gikhman, A. V. Skorokhod, Úvod do teorie náhodných procesů (nepřístupný odkaz) .- M.: Nauka, 1965.
B. Simon, Funkční integrace a kvantová fyzika , Academic Press, 1979
K. Karhunen, Kari, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung , Ann. Akad. sci. fennicae. Ser. AI Math.-Phys., 1947, no. 37, 1-79
M. Loev, Teorie pravděpodobnosti , - M.: IL, 1962.
G. Dai, Modální rekonstrukce čela vlny pomocí Zernikeových polynomů a Karhunen-Loeveových funkcí , JOSA A, 13, 6, 1996

Poznámky

↑ Úvod do digitálního zpracování obrazu, 1979 , str. 68.
↑ Teorie signálů, 1974 , s. 115.

Literatura

Yaroslavsky L.P. Úvod do digitálního zpracování obrazu. - M . : Sovětský rozhlas, 1979. - 312 s.
Franks L. Teorie signálů. - M . : Sovětský rozhlas, 1974. - 399 s.