Zákon velkých čísel

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 29. ledna 2022; kontroly vyžadují 3 úpravy .

Zákon velkých čísel ( LNA ) v teorii pravděpodobnosti je princip, který popisuje výsledek provedení stejného experimentu mnohokrát. Podle zákona se střední hodnota konečného vzorku z pevného rozdělení blíží matematickému očekávání tohoto rozdělení.

Zákon velkých čísel je důležitý, protože zaručuje stabilitu pro průměry některých náhodných událostí během dostatečně dlouhé série experimentů.

Je důležité mít na paměti, že zákon platí pouze tehdy, když se zvažuje velký počet soudních řízení.

Příklady

Uvažujme například hod šestistěnnou kostkou, na kterou může se stejnou pravděpodobností padnout jedno z čísel 1, 2, 3, 4, 5 nebo 6. Očekávání jednoho hodu je tedy

{\frac {1+2+3+4+5+6}{6}}=3{,}5.

Podle zákona velkých čísel se při velkém počtu hodů bude jejich průměrná hodnota pravděpodobně blížit 3,5, přičemž přesnost se bude zvyšovat s rostoucím počtem hodů.

Ze zákona velkých čísel vyplývá, že empirická pravděpodobnost úspěchu v sérii Bernoulliho pokusů konverguje k teoretické pravděpodobnosti. Pro Bernoulliho náhodnou proměnnou je průměrem teoretická pravděpodobnost úspěchu a průměrem takových proměnných (pokud jsou nezávislé a rovnoměrně rozložené) je relativní četnost. $n$

Například hodit správnou mincí je Bernoulliho test. Jedním hodem je teoretická pravděpodobnost získání hlav . Podle zákona velkých čísel by proto podíl „orlů“ s velkým počtem pokusů „měl být“ přibližně . Zejména podíl „hlav“ po hodech konverguje k , na . $1/2$ $1/2$ $n$ $1/2$ $n\to\infty$

I když se podíl hlav (a ocasů) blíží , je téměř jisté, že absolutní hodnota rozdílu mezi počtem hlav a ocasů se bude zvětšovat, jak se bude počet hodů neomezeně zvyšovat. To znamená, že se zvýšením počtu hodů se pravděpodobnost, že modul rozdílu bude malý, dostane k nule a poměr modulu rozdílu k celkovému počtu hodů téměř jistě směřuje k nule: $1/2$

|n_{\text{o}}-n_{\text{p}}|\ne \to 0,\quad {\frac {|n_{\text{o}}-n_{\text{p }}|}{n}}\na 0.

Historie

Italský matematik Gerolamo Cardano (1501-1576) byl vášnivým hazardním hráčem. „Vedlejším produktem“ jeho lásky ke kostkám byla kniha On Gambling ( Ital: De Ludo alea , 1563), obsahující formulaci zákona velkých čísel. Cardano v něm uvedl, že přesnost empirických statistik má tendenci se zlepšovat s počtem pokusů.

V roce 1713 Jacob Bernoulli nastínil pravidla pro výpočet pravděpodobnosti pro složité události a podal první verzi „zákona velkých čísel“, kde vysvětlil, proč se frekvence události v sérii testů nemění náhodně, ale v určitém smyslu inklinuje ke své teoretické limitní hodnotě (tedy pravděpodobnosti).

Je třeba také zmínit práci S. D. Poissona (1781-1840), který dokázal obecnější formu zákona velkých čísel než Jacob Bernoulli .

P. L. Čebyšev získal obecnou formulaci zákona velkých čísel: jsou-li matematická očekávání řady náhodných veličin a druhé mocniny těchto matematických očekávání souhrnně omezeny, pak aritmetický průměr těchto veličin konverguje v pravděpodobnosti k aritmetickému průměru. za jejich matematická očekávání.

A. A. Markov dokázal variantu zákona velkých čísel pro některé běžné typy závislých veličin.

Ve 20. století ve výzkumu Čebyševa a Markova pokračovali A. Ja. Khinchin a A. N. Kolmogorov . Ukázali, že pokud jsou náhodné veličiny nejen nezávislé, ale i rovnoměrně rozložené, pak je existence jejich matematického očekávání nezbytnou a postačující podmínkou pro použitelnost zákona velkých čísel.

Možnosti

Uvažujme posloupnost Lebesgueově integrovatelných náhodných proměnných , které jsou v souhrnu nezávislé a mají stejná distribuce, a tedy i stejná matematická očekávání . $X_{1},X_{2},\dots$ $\mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu$

Označme aritmetickým průměrem uvažovaných náhodných veličin: ${\overline {X}}_{n}$

{\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\ldots +X_{n}).

Konverguje k matematickému očekávání :

{\overline {X}}_{n}\to \mu

n\to \infty .

Nezávislost v agregátu náhodných veličin může být v obou verzích zákona nahrazena párovou nezávislostí [1] .

Níže jsou popsány dvě různé verze zákona velkých čísel. Říká se jim silný zákon velkých čísel a slabý zákon velkých čísel . Rozdíl mezi silnou a slabou formou souvisí s volbou konvergenční metody.

Slabý zákon

Slabý zákon velkých čísel ( Bernoulliho teorém , formulovaný J. Bernoulli , publikovaný v roce 1713 [2] ) říká, že výběrový průměr konverguje v pravděpodobnosti k matematickému očekávání [3] :

{\overline {X}}_{n}\xrightarrow {P} \mu

n\to \infty .

To znamená, že se provádí $\forall \varepsilon >0$

\lim _{n\to \infty }P{\big (}|{\overline {X}}_{n}-\mu |>\varepsilon {\big )}=0.

Interpretací tohoto výsledku zjistíme, že slabý zákon říká, že pro jakékoli nenulové specifikované meze, bez ohledu na to, jak malé jsou, za předpokladu dostatečně velkého vzorku, je pravděpodobnost, že se výběrový průměr bude blížit průměru, velmi vysoká . meze.

Jak již bylo zmíněno dříve, slabý zákon platí v případě nezávislých identicky rozdělených náhodných veličin s matematickým očekáváním . Lze jej však použít i v některých jiných případech. Například rozptyl může být odlišný pro každou náhodnou proměnnou ve vzorku, ale matematické očekávání může zůstat konstantní. Pokud jsou rozptyly omezené, pak platí také zákon, jak ukázal Chebyshev v roce 1867. Čebyševův důkaz funguje tak dlouho, dokud rozptyl průměrného počtu prvních hodnot nemá tendenci k nule na [4] . $n$ $n\to\infty$

Posílené právo

Silný zákon velkých čísel říká, že za určitých podmínek, s pravděpodobností jedna, dochází k neomezené konvergenci aritmetických průměrů posloupnosti náhodných veličin s nějakými konstantními hodnotami.

Dovolit být posloupnost náhodných proměnných a . $X_{1},X_{2},\dots$ ${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\ldots +X_{n})$

Říká se, že posloupnost splňuje silný zákon velkých čísel, pokud existuje taková posloupnost , že pravděpodobnost vztahu: , for je rovna 1. $X_{1},X_{2},\dots$ $\mu _{n}$ ${\overline {X}}_{n}-\mu _{n}\to 0$ $n\to\infty$

Jiná formulace, ekvivalentní předchozí, je následující: posloupnost splňuje silný zákon velkých čísel, pokud pravděpodobnost současného splnění všech nerovností $X_{1},X_{2},\dots$ $\forall \varepsilon >0$

|{\overline {X}}_{n}-\mu _{n}|\leqslant \varepsilon ,

|{\overline {X}}_{n+1}-\mu _{n+1}|\leqslant \varepsilon ,

\tečky

inklinuje k 1 při . $n\to\infty$

Je zde tedy uvažováno chování celé posloupnosti součtů jako celku, zatímco v obvyklém zákoně velkých čísel mluvíme pouze o jednotlivých součtech.

Pokud posloupnost splňuje silný zákon velkých čísel, pak splňuje i obvyklý zákon velkých čísel s totéž , tedy , , pro , . $X_{1},X_{2},\dots$ $\mu _{n}$ $P{\big (}|{\bar {X}}_{n}-\mu _{n}|\leqslant \varepsilon {\big )}\to 1$ $n\to\infty$ $\forall \varepsilon >0$

Opak nemusí být pravdou. Pokud jsou například náhodné proměnné nezávislé a každá nabývá dvou hodnot s určitou pravděpodobností , pak je pro ně obvyklý zákon velkých čísel splněn s , ale pro žádnou není splněn silný zákon velkých čísel. $X_{1},X_{2},\dots$ $n\geqslant 16$ $\pm {\sqrt {n/\log \log \log n))$ $1/2$ $\mu _{n}=0$ $\mu _{n}$

Kolmogorovova věta

V případě nezávislých členů jsou nejznámější podmínky použitelnosti silného zákona velkých čísel, stanoveného A. N. Kolmogorovem: dostatečné - pro veličiny s konečnými rozptyly a nutné a dostatečné - pro shodně rozdělené veličiny (které spočívá v existenci matematického očekávání veličin ). Kolmogorovova věta pro náhodné veličiny s konečnými rozptyly říká, že z podmínky $X_{i}$

$\sum \limits _{n=1}^{\infty }{\frac {D[X_{n}]}{n^{2))}<\infty$

(jeden)

použitelnost silného zákona velkých čísel s na posloupnost následuje . Z hlediska rozptylů se jako nejlepší ukazuje podmínka ( 1 ) v tom smyslu, že pro jakoukoli posloupnost kladných čísel s divergentní řadou lze sestrojit posloupnost nezávislých náhodných proměnných c , která nesplňuje silný zákon velkých čísel. . [5] $X_{1},X_{2},\dots$ $A_{n}=\mathbb {E} ({\overline {X}}_{n})$ $b_n$ ${\displaystyle \sum b_{n}/n^{2))$ $X_n$ $DX_{n}=b_{n}$

Rozdíly mezi slabým zákonem a silným zákonem

Slabý zákon říká, že pro daný velký průměr se pravděpodobně blíží hodnotě . Může se tedy vyskytovat nekonečně mnohokrát, i když libovolně zřídka. ( Nemusí to nutně platit pro všechny .) $n$ ${\overline {X}}_{n}$ $\mu$ $|{\overline {X}}_{n}-\mu |>\varepsilon$ $n$ $|{\overline {X}}_{n}-\mu |\neq 0$

Vynucený zákon ukazuje, co se téměř jistě nestane. To znamená, že s pravděpodobností 1 máme, že nerovnost platí pro dostatečně velkou . [6] $|{\overline {X}}_{n}-\mu |>\varepsilon$ $\forall \varepsilon >0$ $|{\overline {X}}_{n}-\mu |<\varepsilon$ $n$

Níže jsou uvedeny tři příklady symetrických rozdělení; v každém příkladu tato rozdělení nemají matematické očekávání, neplatí silný zákon velkých čísel (konvergence téměř všude), ale je splněn slabý zákon: průměr náhodných veličin konverguje v pravděpodobnosti na konstantu, střed symetrie jejich rozložení. [7] [8] [9]

Nechť je exponenciálně rozdělená náhodná veličina s parametrem 1. Náhodná veličina nemá žádné matematické očekávání dané Lebesgueovým integrálem, ale pomocí podmíněné konvergence a interpretace integrálu jako Dirichletova integrálu , což je nevlastní Riemannův integrál , můžeme říci: $X$ ${\frac {\sin(x)e^{x}}{x}}$ $\mathbb {E} \left({\frac {\sin(x)e^{x}}{x}}\right)=\int _{0}^{\infty }{\frac {\ sin(x)e^{x}}{x}}e^{-x}\,dx={\frac {\pi }{2}}.$
Dovolit být geometrické rozdělení s pravděpodobností . Náhodná proměnná nemá žádnou očekávanou hodnotu v obvyklém smyslu, protože nekonečná řada není absolutně konvergentní , ale pomocí podmíněné konvergence lze říci: $X$ $0{,}5$ ${\frac {2^{x}(-1)^{x}}{x}}$ $\mathbb {E} \left({\frac {2^{x}(-1)^{x}}{x}}\right)=\sum _{1}^{\infty }{\ frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2).$
Je-li distribuční funkce náhodné veličiny rovna $1-F(x)={\frac {e}{2x\ln(x))),\quad x\geqslant e,$ $F(x)={\frac {e}{-2x\ln(-x))),\quad x\leqslant -e,$ pak nemá žádné matematické očekávání, ale slabý zákon je splněn. [10] [11]

Jednotný zákon velkých čísel

Dovolit být nějaká funkce, která je definována a spojitá s ohledem na proměnnou . Pak pro jakoukoli pevnou posloupnost bude posloupnost nezávislých a identicky distribuovaných náhodných proměnných, takže výběrový průměr této posloupnosti konverguje s pravděpodobností k . $f(x,\theta )$ $\theta \in \Theta$ $\theta$ ${\displaystyle \{f(X_{1},\theta ),f(X_{2},\theta ),\tečky \))$ $\mathbb {E} [f(X,\theta )]$

Jednotný zákon velkých čísel popisuje podmínky, za kterých je konvergence stejnoměrná v . $\theta$

Pokud: [12] [13]

$\Theta$ kompaktní,
$f(x,\theta )$ je spojitá pro každého pro téměř všechny a měřitelná funkce u každého , $\theta \in \Theta$ $X$ $X$ $\theta$
existuje dominantní funkce taková, že a pro všechny , $d(x)$ $\mathbb {E} [d(X)]<\infty$ $\|f(x,\theta )\|\leqslant d(x)$ $\theta \in \Theta$

pak plynule v a $\mathbb {E} [f(X,\theta )]$ $\theta$

\sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta ) -\mathbb {E} [f(X,\theta )]\vpravo\|\xšipka vpravo {\text{n.  n.}} 0.

Borelův zákon velkých čísel

Borelův zákon velkých čísel, pojmenovaný po Émile Borel , říká, že pokud se experiment opakuje mnohokrát nezávisle za stejných podmínek, pak zlomek časů, kdy nastane nějaká specifikovaná událost, je přibližně stejný jako pravděpodobnost, že událost nastane v nějakém konkrétním soudu; čím větší počet opakování, tím lepší aproximace. Přesněji, pokud označuje danou událost - pravděpodobnost jejího výskytu a - kolikrát se vyskytne v prvních pokusech, pak s pravděpodobností 1 [14] $E$ $p$ $N_{n}(E)$ $E$ $n$

{\frac {N_{n}(E)}{n}}\to p,\quad n\to \infty .

Čebyševova nerovnost

Dovolit být náhodná proměnná s konečným matematickým očekáváním a konečným nenulovým rozptylem . Pak pro libovolné reálné číslo $X$ $\mu$ $\sigma ^{2}$ $k>0$

P{\big (}|X-\mu |\geqslant k\sigma {\big )}\leqslant {\frac {1}{k^{2))}.

Důkaz slabého zákona

Uvažujme nekonečnou posloupnost nezávislých a identicky distribuovaných náhodných proměnných s konečným matematickým očekáváním . Zajímá nás konvergence v pravděpodobnosti $X_{1},X_{2},\dots$ $\mathbb {E} (X_{1})=\mathbb {E} (X_{2})=\ldots =\mu <\infty$

{\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\ldots +X_{n}).

Teorém

{\overline {X}}_{n}\xrightarrow {P} \mu

n\to \infty .

Důkaz pomocí Čebyševovy nerovnosti, za předpokladu konečného rozptylu

Předpoklad konečného rozptylu je volitelný. Velký nebo nekonečný rozptyl konvergenci zpomaluje, ale LPA stejně drží. $D(X_{1})=D(X_{2})=\ldots =\sigma ^{2}<\infty$

Tento důkaz používá předpoklad konečného rozptylu (pro všechny ). Nezávislost náhodných proměnných neimplikuje mezi nimi korelaci, máme $\operatorname {D} (X_{i})=\sigma ^{2}$ $i$

\operatorname {D} ({\overline {X}}_{n})=\operatorname {D} {\big (}{\tfrac {1}{n}}(X_{1}+\ldots +X_{n}){\big )}={\frac {1}{n^{2}}}\jméno operátora {D} (X_{1}+\ldots +X_{n})={\frac { n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.

Matematické očekávání sekvence je střední hodnota výběrového průměru: $\mu$

\mathbb {E} ({\overline {X}}_{n})=\mu .

Pomocí Čebyševovy nerovnosti pro získáme ${\overline {X}}_{n}$

\operatorname {P} {\big (}|{\overline {X}}_{n}-\mu |\geqslant \varepsilon {\big )}\leqslant {\frac {\sigma ^{2} }{n\varepsilon ^{2}}}.

Tuto nerovnost používáme k získání následujícího:

\operatorname {P} {\big (}|{\overline {X}}_{n}-\mu |<\varepsilon {\big )}=1-\operatorname {P} {\big (} |{\overline {X}}_{n}-\mu |\geqslant \varepsilon {\big )}\geqslant 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}} .

Když výraz tíhne k 1. $n\to\infty$

Nyní, definicí konvergence v pravděpodobnosti, dostaneme:

{\overline {X}}_{n}\xrightarrow {P} \mu

v .

n\to\infty

Důkaz pomocí konvergence charakteristických funkcí

Podle Taylorova teorému pro komplexní funkce lze charakteristickou funkci libovolné náhodné proměnné s konečným průměrem zapsat jako $X$ $\mu$

\varphi _{X}(t)=1+it\mu +o(t),\quad t\to 0.

Všechny mají stejnou charakteristickou funkci, označme ji jako . $X_{1},X_{2},\dots$ $\varphi _{X}$

Mezi hlavní vlastnosti charakteristických funkcí vyčleňujeme dvě vlastnosti:

\varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}{\big (}{\tfrac {t}{n}}{\big )},

\varphi _{X+Y}(t)=\varphi _{X}(t)\,\varphi _{Y}(t),

kde a jsou nezávislí. $X$ $Y$

Tato pravidla lze použít k výpočtu charakteristické funkce z hlediska : ${\overline {X}}_{n}$ $\varphi _{X}$

\varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({\frac {t}{n}}\right)\right ]^{n}=\left[1+i\mu {\frac {t}{n}}+o\left({\frac {t}{n}}\right)\right]^{n}\ do e^{it\mu }

n\to \infty .

Limita je charakteristickou funkcí konstanty , a proto podle Lévyho věty o kontinuitě konverguje v distribuci k : ${\displaystyle e^{it\mu ))$ $\mu$ ${\overline {X}}_{n}$ $\mu$

{\overline {X}}_{n}\xrightarrow {\mathcal {D}} \mu

n\to \infty .

Protože je konstanta, vyplývá z toho, že konvergence v distribuci k a konvergence v pravděpodobnosti k jsou ekvivalentní. Proto $\mu$ $\mu$ $\mu$

{\overline {X}}_{n}\xrightarrow {\mathcal {P}} \mu

n\to \infty .

To ukazuje, že výběrový průměr konverguje v pravděpodobnosti k derivaci charakteristické funkce na počátku, pokud existuje.

Viz také

Poznámky

↑ Etemadi, N. Z. (1981). „Základní důkaz silného zákona velkých čísel“. Wahrscheinlichkeitstheorie verw Gebiete . 55 (1): 119-122. doi: 10.1007/BF01013465 .
↑ Paskhaver, 1974 , str. 34.
↑ Loève 1977, kapitola 1.4, str. čtrnáct.
↑ Jurij Prohorov . "Zákon velkých čísel" Archivováno 26. července 2018 na Wayback Machine . Encyklopedie matematiky .
↑ Yu. V. Prochorov. Velké množství posílilo právo . Matematická knihovna . Získáno 28. března 2018. Archivováno z originálu dne 28. března 2018. (neurčitý)
↑ Ross (2009).
↑ Lehmann, Erich L.; Romano, Joseph P. (2006-03-30). Slabý zákon konverguje k konstantnímu . ISBN 9780387276052 .
↑ Dguvl Hun Hong a Sung Ho Lee. "POZNÁMKA KE SLABÉMU ZÁKONU VELKÝCH ČÍSEL PRO VÝMĚNNÉ NÁHODNÉ PROMĚNNÉ" . Archivováno 1. července 2016 na Wayback Machine .
↑ „slabý zákon velkých čísel: důkaz pomocí charakteristických funkcí vs důkaz pomocí zkrácení VARIABLES“ Archivováno 22. března 2018 na Wayback Machine . Výměna zásobníku matematiky.
↑ Mukherjee, Sayan. „Zákon velkých čísel“ . Archivováno 9. března 2013 na Wayback Machine .
↑ J. Geyer, Charles. „Zákon velkých čísel“ Archivováno 13. června 2018 na Wayback Machine .
↑ Newey & McFadden 1994, Lemma 2.4.
↑ Jennrich, Robert I. (1969). „Asymptotické vlastnosti nelineárních odhadů nejmenších čtverců“. Letopisy matematické statistiky . 40 (2): 633-643. doi: 10.1214/aoms/1177697731 .
↑ Wen, L. Analytická technika k prokázání Borelova silného zákona velkých čísel . Dopoledne. Matematika. Měsíc, 1991.

Literatura

Chistyakov V. P. Kurz teorie pravděpodobnosti. — M .: Nauka, 1982.
Shiryaev A. N. Pravděpodobnost. — M .: Nauka, 1989.
Paskhaver je zákon velkých čísel a statistických zákonitostí. — M .: Statistika, 1974.
Bernoulliho věta / V. I. Bityutskov // Velká ruská encyklopedie : [ve 35 svazcích] / kap. vyd. Yu. S. Osipov . - M .: Velká ruská encyklopedie, 2004-2017.

Slovníky a encyklopedie	Velká Katalánština Skvělý norský Velký Rus Britannica (online)
V bibliografických katalozích	BNF : 11978788d GND : 4157077-7 J9U : 987007558155705171 LCCN : sh85075318 SUDOC : 027830632