Metoda momentů

Metoda momentů je metoda pro odhad neznámých parametrů rozdělení v matematické statistice a ekonometrii na základě předpokládaných vlastností momentů ( Pearson , 1894). Myšlenkou metody je nahradit skutečné poměry selektivními analogy.

Podstata metody

Nechť náhodná proměnná (vektor, matice atd.) X má nějaké rozdělení v závislosti na parametrech . Nechť funkce (nazývané momenty nebo momentové funkce ) , integrovatelné s ohledem na míru , splňují podmínky pro momenty $\mathbb {P} _{\theta }$ $\theta \in \Theta \subset {\mathbb {R}}^{k}$ $g_{i}:{\mathbb {R}}^{m}\to {\mathbb {R}}$ $\mathbb {P} _{\theta }$

{\mathbb {E}}\left[g_{i}(X,\theta )\right]=0~,~~i=1..k

Nechť je vzorek náhodné veličiny X. Předpokládá se, že i pro výběr jsou splněny vztahy podobné podmínkám pro momenty, totiž místo matematického očekávání v podmínkách pro momenty je nutné použít výběr prostředek: $X_{1},\ldots ,X_{n}$

\overline {g_{i}(X,\theta )}=0~,~~i=1..k

navíc v tomto zobrazení (když je nula vpravo od rovnosti) stačí místo průměrů použít pouhé součty.

Odhady získané řešením této soustavy rovnic (selektivní podmínky pro momenty) se nazývají odhady metody momentů . Název metody je dán tím, že funkcemi jsou nejčastěji funkce mocninného typu, matematická očekávání, od nichž se v teorii pravděpodobnosti a matematické statistice obvykle nazývají momenty. $g_i$

Pokud jsou momentové funkce spojité, pak jsou odhady metody momentů konzistentní .

Speciální případy

Některé klasické metody odhadu regresních modelů lze reprezentovat jako speciální případy metody momentů. Pokud například lineární regresní model splňuje podmínku , pak momentové podmínky vypadají takto: $y_{t}=x_{t}^{T}b+\varepsilon _{t}$ $E(x_{t}^{T}\varepsilon _{t})=0$

$X^{T}e=0~\šipka doprava ~X^{T}(y-Xb)=0~\šipka doprava ~X^{T}Xb=X^{T}y$

Proto se v tomto případě odhad metody momentů bude shodovat s odhadem metody nejmenších čtverců ${\klobouček {b}}_{{MM}}={\klobouček {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y$

LSM je tedy speciálním případem metody momentů, kdy je splněna podmínka ortogonality regresorů a náhodných chyb. $E(x_{t}^{T}\varepsilon _{t})=0$

Zvažte další případ, kdy existují nějaké proměnné z ortogonální k náhodným chybám lineárního regresního modelu, tj . Pak máme selektivní analog této podmínky: $E(z_{t}^{T}\varepsilon _{t})=0$

$Z^{T}e=0~\Šipka doprava Z^{T}(y-Xb)=0~\Šipka doprava ~Z^{T}Xb=Z^{T}y$

Proto se odhad metody momentů bude shodovat s odhadem metody instrumentálních proměnných : . ${\hat {b}}_{{MM}}={\hat {b}}_{{IV}}=(Z^{T}X)^{{-1}}Z^{T}y$

Metoda instrumentálních proměnných je tedy speciálním případem metody momentů, kdy je splněna podmínka ortogonality přístrojů a náhodných chyb modelu.

Zobecněná metoda momentů

Metodu momentů lze zobecnit na případ, kdy počet momentových podmínek překročí počet parametrů, které mají být odhadnuty. V tomto případě problém zjevně nemá jednoznačné řešení (v obecném případě). V tomto případě je vyřešen problém minimalizace určitého funkcionálu charakterizujícího integrální stupeň shody s podmínkami pro momenty.

Nechť je množina podmínek pro momenty, jejichž počet je větší než počet neznámých parametrů. Zobecněná metoda momentů (GMM, GMM - Generalized Method of Moments) je odhad, který minimalizuje pozitivní definitní kvadratický tvar podmínek vzorku pro momenty: $E(g(x,b))=0$

${\hat {b}}_{GMM}=\arg \min _{b}{\overline {g(x,b)}}^{T}W{\overline {g(x,b) }}$

kde W je nějaká symetrická pozitivně definitní matice.

Hmotnostní matice může být teoreticky libovolná (s přihlédnutím k omezení kladné určitosti), ale bylo prokázáno, že nejúčinnější jsou odhady GMM s váhovou maticí rovnou inverzní kovarianční matici momentových funkcí . Jedná se o tzv. efektivní GMM . Protože však tato kovarianční matice není v praxi známa, používá se následující postup. V prvním kroku se odhadnou parametry modelu pomocí GMM s maticí hmotnosti identity. Poté se podle vzorových dat a zjištěných hodnot parametrů odhadne kovarianční matice momentových funkcí a výsledný odhad se použije v efektivním GMM (jedná se o tzv. dostupný efektivní GMM). $W=V_{g}^{{-1}}$

Příklad

Nechť je vzorek z gama rozdělení s neznámými parametry a . Pak $X_{1},\ldots ,X_{n}\sim \Gamma (\alpha,\beta)$ $\alpha$ $\beta$

{\mathbb {E}}[X_{i}]=\alpha \beta ,\;{\mathbb {E}}\left[X_{i}^{2}\right]=\alpha (\alpha +1 )\beta ^{2},\quad i=1,\ldots ,n

Potom odhady metody momentů splňují soustavu rovnic:

{\begin{matrix}\overline {X}=&{\hat {\alpha }}_{{{\mathrm {MM}}}}{\hat {\beta }}_{({\mathrm {MM} }}}\\\overline {X^{2}}=&{\klobouček {\alpha }}_{({\mathrm {MM}}}}({\klobouček {\alpha }}_{{{\ mathrm {MM))))+1)\left({\hat {\beta }}_{({\mathrm {MM}}}}\right)^{2}\end{matrix}}~~\Rightarrow ~~{\hat {\alpha }}_{({\mathrm {MM}}}}={\frac {\left(\overline {X}\right)^{2}}{\overline {X^{ 2}}-\left(\overline {X}\right)^{2}}}~,~~{\hat {\beta }}_{({\mathrm {MM}}}}={\frac { \overline {X^{2}}-\left(\overline {X}\right)^{2}}{\overline {X}}}

Výhody a nevýhody metody

Při odhadu parametrů ze známé rodiny rozdělení pravděpodobnosti je tato metoda do určité míry zrušena metodou Fisherovy maximální věrohodnosti , protože odhad maximální věrohodnosti má vysokou pravděpodobnost, že se bude přibližovat skutečné hodnotě odhadované hodnoty.

V některých případech, jako výše v případě gama distribuce, však použití metody maximální věrohodnosti vyžaduje použití počítačů , zatímco metodu momentů lze rychle a snadno implementovat ručně.

Odhady získané metodou momentů lze použít jako první aproximaci pro metodu maximální věrohodnosti. Další zlepšení v odhadech lze získat pomocí Newton-Raphsonovy metody .