Informační kritérium

Informační kritérium je měřítkem relativní kvality ekonometrických (statistických) modelů používaných v ekonometrii (statistikách), přičemž se bere v úvahu míra „přiléhavosti“ modelu k datům s úpravou (penalizací) o počet použitých odhadovaných parametrů. . To znamená, že kritéria jsou založena na určitém kompromisu mezi přesností a složitostí modelu. Kritéria se liší v tom, jak této rovnováhy dosahují.

Informační povaha kritérií je spojena s konceptem informační entropie a Kullback-Leiblerovy vzdálenosti , na jehož základě bylo vyvinuto historicky první kritérium - Akaike kritérium (AIC) , navržené v roce 1974 Hirotsugu Akaikem [1] .

Informační kritéria se používají výhradně pro vzájemné porovnávání modelů, bez smysluplné interpretace hodnot těchto kritérií. Neumožňují testování modelů ve smyslu testování statistických hypotéz. Obvykle platí, že čím nižší jsou hodnoty kritérií, tím vyšší je relativní kvalita modelu.

Akaike Information Criteria (AIC)

Navrhl Hirotugu Akaike v roce 1971, popsal a studoval jej v roce 1973, 1974, 1983. Původně byla autorem navržená zkratka AIC dešifrována jako " informační kritérium " ("určité informační kritérium"), pozdější autoři ji však nazvali informačním kritériem Akaike . Počáteční výpočetní vzorec kritéria má tvar:

AIC=2k-2l

kde je hodnota logaritmické věrohodnostní funkce konstruovaného modelu, je počet použitých (odhadovaných) parametrů. $l$ $k$

Mnoho moderních autorů, stejně jako v mnoha ekonometrických softwarových produktech (například v EViews), používá mírně odlišný vzorec, který zahrnuje dělení velikostí vzorku , podle které byl model vytvořen: $n$

AIC=2k/n-2l/n

Tento přístup umožňuje porovnávat modely odhadnuté ze vzorků různých velikostí.

Čím menší je hodnota kritéria, tím lepší je model. Mnohá další kritéria jsou modifikacemi AIC.

Bayesian Information Criterion (BIC) nebo Schwartz Criterion (SC)

Bayesovské informační kritérium (BIC) navrhl Schwartz v roce 1978, takže se často nazývá také Schwarzovo kritérium (SC). Byl vyvinut na základě Bayesovského přístupu a je nejběžněji používanou modifikací AIC:

BIC=SC=k\ln n-2l

Jak je vidět ze vzorce, toto kritérium ukládá větší postih za zvýšení počtu parametrů ve srovnání s AIC, protože více než 2 již s 8 pozorováními $\ln n$

Další informační kritéria

Kritérium konzistentního AIC (CAIC) navržené v roce 1987 Bozdoganem:

CAIC=(1+\ln n)k-2l

Toto kritérium je asymptoticky ekvivalentní . Stejný autor v roce 1994 navrhl úpravy, které zvyšují koeficient s počtem parametrů (místo 2 - 3 nebo 4 pro a ). $BIC$ ${\displaystyle AIC_{3))$ ${\displaystyle AIC_{4))$

Opravený Akaike test (Corrected AIC- ), který se doporučuje pro použití na malých vzorcích (navržen v roce 1978 Sugiura): $AIC_{c}$

AIC_{c}=AIC+{\frac {2k(k+1)}{nk-1))

Hannan-Quinnův (HQ) test byl navržen autory v roce 1979

HQ=2k\ln \ln n/n-2l/n

Toto kritérium se spolu s AIC a BIC vydává při hodnocení modelů s diskrétními a omezeně závislými proměnnými v EViews.

Existují také modifikace AIC, které používají složitější funkce postihu, které závisí na informacích Fisher a dalších charakteristikách.

Informační kritéria ve zvláštních případech

Ve speciálním případě klasické normální lineární regrese je logaritmická pravděpodobnostní funkce rovna

l=-n/2(1+\ln 2\pi +\ln {\hat {\sigma }}^{2})

kde je konzistentní odhad (metoda maximální věrohodnosti) rozptylu náhodné chyby modelu, rovný poměru součtu čtverců reziduí k velikosti vzorku. ${\hat {\sigma }}^{2}$

Dosazením hodnoty logaritmické věrohodnosti do vzorce AIC (vydělené velikostí vzorku), jakož i bez zohlednění konstantních členů 1 a (protože neovlivňují výsledek při porovnávání modelů), získáme následující vzorec: $\ln 2\pi$

AIC=2k/n+\ln {\hat {\sigma }}^{2}

Vlastnosti

Použití různých kritérií může vést k výběru různých modelů. V mnoha pracích jsou tato kritéria srovnávána, ale neexistuje konečný závěr o preferenci toho či onoho kritéria. Softwarové produkty proto obvykle poskytují minimálně dvě kritéria (AIC, BIC), u některých modelů i třetí (HQ). Je známo, že u autoregresních modelů kritérium AIC nadhodnocuje pořadí modelu, to znamená, že odhad pořadí modelu na základě tohoto kritéria je neudržitelný. Důsledným kritériem pro výběr pořadí autoregresního modelu je BIC.

Odkazy

↑ Akaike, Hirotugu . Nový pohled na identifikaci statistického modelu (neopr.) // IEEE Transactions on Automatic Control. - 1974. - T. 19 , č. 6 . - S. 716-723 . - doi : 10.1109/TAC.1974.1100705 .

Literatura

Grasa, Antonio Aznar (1989) Výběr ekonometrického modelu: Nový přístup, Kluwer.
Greene, William H. (1997) Econometric Analysis, 3. vydání, Prentice-Hall.