Informace o Fisherovi

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 28. prosince 2019; kontroly vyžadují 9 úprav .

Fisherova informace je matematické očekávání druhé mocniny relativní rychlosti změny podmíněné hustoty pravděpodobnosti [1] . Tato funkce je pojmenována po Ronaldu Fisherovi , který ji popsal . $p(x|\theta)$

Definice

Nechť je hustota distribuce pro daný statistický model . Pak pokud je funkce definována $f(\theta,\;x_1,\tečky,\,x_n)$

I_{n}(\theta )=\mathbb {E} _{\theta }\left({\frac {\částečné L(\theta ,\;x_{1},\tečky ,\,x_{ n})}{\částečné \theta }}\vpravo)^{2},\;L=\součet _{i=1}^{n}\ln f(\theta ,x_{i})

kde je logaritmická pravděpodobnostní funkce a je matematické očekávání pro daný , pak se nazývá Fisherova informace pro daný statistický model s nezávislými testy . $L(\theta,\;x_1,\tečky,\,x_n)$ $\mathbb {E} _{\theta }$ $X$ $\theta$ $n$

Pokud jsou dvakrát rozlišitelné s ohledem na , a za určitých podmínek pravidelnosti, lze informace Fisher přepsat jako [2] $\ln f(x;\theta)$ $\theta$

I_n(\theta) = \mathbb{E}_\theta \left(\frac{\částečné L(\theta,\;X)}{\částečné \theta}\vpravo)^2 = - \mathbb{E} _\theta \left(\frac{\částečné^2 L(\theta,\;X)}{\částečné \theta^2}\vpravo)

Pro pravidelné vzory: (Toto je definice pravidelnosti). $\mathbb {E} _{\theta }\left({\frac {\částečné L(\theta ,\;x_{1},\tečky ,\,x_{n})}{\částečné \theta }}\right)=0$

V tomto případě, protože očekávání funkce příspěvku vzorku je nula, je zapsaná hodnota rovna jejímu rozptylu.

Fisherovo množství informací obsažených v jednom pozorování se nazývá:

I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\částečné \ln f(\theta ,\,x_{i})}{\částečné \ theta }}\vpravo)^{2}

U běžných modelů jsou si všichni rovni. $I_{i}(\theta )$

Pokud se vzorek skládá z jednoho prvku, pak se Fisherova informace zapíše následovně:

I(\theta )=\mathbb {E} _{\theta }\left({\frac {\částečné \ln f(\theta ,\,x)}{\částečné \theta }}\vpravo) ^{2}

Z podmínky pravidelnosti, jakož i ze skutečnosti, že v případě nezávislosti náhodných veličin je rozptyl součtu roven součtu rozptylů, vyplývá, že pro nezávislé testy . $n$ $I_{n}(\theta )=nI(\theta )$

Vlastnosti

Z výše uvedené vlastnosti rozptylů vyplývá, že v případě nezávislosti náhodných veličin (uvažovaných v jednom statistickém modelu) je Fisherova informace jejich součtu rovna součtu Fisherovy informace každé z nich. $\xi _{1}(\theta ,\,x),\tečky ,\,\xi _{n}(\theta ,\,x)$

Ukládání informací s dostatečnými statistikami

Obecně, jestliže je statistika vzorku X , pak $T = t(X)$

I_T(\theta)\leq I_X(\theta)

Kromě toho je rovnosti dosaženo tehdy a pouze tehdy, když T je dostatečná statistika .

Dostatečná statistika obsahuje tolik Fisherových informací jako celý vzorek X . To lze pro dostatečné statistiky ukázat pomocí Neumannova faktorizačního testu . Pokud jsou statistiky dostatečné pro parametr , pak existují funkce g a h takové, že: $T(X)$ $\theta$

f(X;\theta )=g(T(X),\theta )h(X)

Rovnost informací vyplývá z:

\frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right] = \frac{\partial}{\partial\theta} \ln \left[g(T(X );\theta)\vpravo]

což vyplývá z definice informací Fisher a nezávislost na . $h(X)$ $\theta$

Viz také

Další míry používané v teorii informace :

Poznámky

↑ Leman, 1991 , str. 112.
↑ Lehmann, E.L. ; Casella, G. Teorie bodového odhadu (neopr.) . — 2. vyd. - Springer, 1998. - ISBN 0-387-98502-6 . , ekv. (2.5.16).

Literatura

Leman E. Teorie bodového odhadu. — M .: Nauka, 1991. — 448 s. — ISBN 5-02-013941-6 .