Zobecněné nejmenší čtverce

Generalized Least Squares ( GLS , GLS )  je metoda  pro odhad parametrů regresních modelů , která je zobecněním klasické metody nejmenších čtverců . Zobecněná metoda nejmenších čtverců redukuje na minimalizaci „zobecněného součtu čtverců“ regresních reziduí - , kde  je vektor reziduí,  je symetrická kladně definitní matice váhy. Obvyklá metoda nejmenších čtverců je speciálním případem zobecněné, kdy je váhová matice úměrná té identitní.

Je třeba poznamenat, že speciální případ se obvykle nazývá zobecněná metoda nejmenších čtverců, kdy se jako váhová matice použije matice, která je inverzí kovarianční matice náhodných chyb modelu.

Podstata zobecněných nejmenších čtverců

Je známo, že symetrickou kladně definitní matici lze rozložit jako , kde P je nějaká nedegenerovaná čtvercová matice. Pak lze zobecněný součet čtverců reprezentovat jako součet čtverců transformovaných (pomocí P) reziduí . Pro lineární regresi to znamená, že hodnota je minimalizována:

kde , to je ve skutečnosti, podstata zobecněných nejmenších čtverců je redukována na lineární transformaci dat a aplikaci obvyklých nejmenších čtverců na tato data . Pokud je jako váhová matice použita inverzní kovarianční matice náhodných chyb (tj. ) , transformace P způsobí, že transformovaný model splní klasické (Gauss-Markovovy) předpoklady, takže odhady parametrů pomocí obyčejných nejmenších čtverců budou nejvíce efektivní ve třídě lineárních nezaujatých odhadů. A protože parametry původního a transformovaného modelu jsou stejné, vyplývá z toho tvrzení, že GLSM odhady jsou nejúčinnější ve třídě lineárních nezkreslených odhadů (Aitkenův teorém). Zobecněný vzorec nejmenších čtverců má tvar:

Kovarianční matice těchto odhadů je:

Cenově dostupná GLS (FGLS, proveditelná GLS)

Problém použití zobecněných nejmenších čtverců je v tom, že kovarianční matice náhodných chyb je neznámá. V praxi se proto používá dostupná varianta GLS, kdy se místo V používá nějaký její odhad. V tomto případě však také nastává problém: počet nezávislých prvků kovarianční matice je , kde je počet pozorování (například při 100 pozorováních je třeba odhadnout 5050 parametrů!). Tato možnost tedy neumožní získat kvalitativní odhady parametrů. V praxi se vytvářejí další předpoklady o struktuře kovarianční matice, to znamená, že se předpokládá, že prvky kovarianční matice závisí na malém počtu neznámých parametrů . Jejich počet by měl být mnohem menší než počet pozorování. Nejprve se použije obvyklá metoda nejmenších čtverců, získají se rezidua a poté se na jejich základě odhadnou uvedené parametry . Pomocí získaných odhadů se odhadne chybová kovarianční matice a použijí se zobecněné nejmenší čtverce s touto maticí. To je podstata přístupného GMS. Je prokázáno, že za určitých spíše obecných podmínek, pokud jsou odhady konzistentní, budou konzistentní i odhady dostupného CLSM.

Vážený OLS

Pokud je chybová kovarianční matice diagonální (existuje heteroskedasticita chyb, ale žádná autokorelace), pak zobecněný součet čtverců je ve skutečnosti váženým součtem čtverců, kde váhy jsou nepřímo úměrné odchylkám chyb. V tomto případě se hovoří o vážených nejmenších čtvercích (WLS, Weighted LS). Transformace P v tomto případě spočívá v dělení dat směrodatnou odchylkou náhodných chyb. Na data vážená tímto způsobem se aplikuje obvyklá metoda nejmenších čtverců.

Stejně jako v obecném případě jsou odchylky chyb neznámé a musí být odhadnuty ze stejných dat. Proto jsou učiněny některé zjednodušující předpoklady o struktuře heteroskedasticity.

Rozptyl chyby je úměrný druhé mocnině nějaké proměnné

V tomto případě jsou skutečnými diagonálními prvky veličiny úměrné této proměnné (označme ji Z ) . Navíc není pro hodnocení potřeba koeficient proporcionality. Ve skutečnosti je tedy postup v tomto případě následující: vydělte všechny proměnné Z (včetně konstanty, to znamená, že se objeví nová proměnná 1/Z ). Navíc Z může být jednou z proměnných samotného původního modelu (v tomto případě bude mít transformovaný model konstantu). K získání odhadů parametrů se na transformovaná data použije normální metoda nejmenších čtverců:

Homogenní skupiny pozorování

Nechť je n pozorování rozdělených do m homogenních skupin, v rámci kterých se předpokládá stejný rozptyl. V tomto případě je model nejprve vyhodnocen konvenčními metodami nejmenších čtverců a jsou nalezeny rezidua. Pro rezidua v každé skupině se odhadují rozptyly skupinových chyb jako poměr součtů čtverců reziduí k počtu pozorování ve skupině. Dále se data každé j-té skupiny pozorování vydělí a na takto transformovaná data se použije obvyklý LSM pro odhad parametrů.

GLM v případě autokorelace

Pokud se náhodné chyby řídí modelem AR(1) , pak bez zohlednění prvního pozorování bude transformace P následující: předchozí hodnoty vynásobené : jsou odečteny od aktuální hodnoty proměnných :

Tato transformace se nazývá autoregresní transformace . Pro první pozorování se použije Price-Winstenova korekce  - data prvního pozorování se vynásobí . Náhodná chyba transformovaného modelu je , což je považováno za bílý šum. Proto nám použití konvenčních nejmenších čtverců umožní získat kvalitativní odhady takového modelu.

Vzhledem k tomu, že autoregresní koeficient není znám, používají se různé postupy dostupných GLS.

Postup Cochrane-Orcutt

Krok 1. Vyhodnoťte původní model pomocí metody nejmenších čtverců a získejte rezidua modelu.

Krok 2. Odhad autokorelačního koeficientu reziduí modelu (formálně lze získat i jako OLS odhad autoregresního parametru v pomocné regresi reziduí )

Krok 3. Autoregresní transformace dat (pomocí autokorelačního koeficientu odhadnutého ve druhém kroku) a odhad parametrů transformovaného modelu konvenčními nejmenšími čtverci.

Odhady parametrů transformovaného modelu a jsou odhady parametrů původního modelu, kromě konstanty, která se obnoví vydělením konstanty transformovaného modelu 1-r . Postup lze opakovat od druhého kroku, dokud není dosaženo požadované přesnosti.

Postup Hildreth-Lou

V tomto postupu se přímo hledá hodnota autokorelačního koeficientu, který minimalizuje součet čtverců reziduí transformovaného modelu. Hodnoty r se totiž nastavují z možného intervalu (-1; 1) s určitým krokem. Pro každý z nich se provede autoregresní transformace, model se vyhodnotí obvyklými nejmenšími čtverci a zjistí se součet druhých mocnin reziduí. Je zvolen autokorelační koeficient, pro který je tento součet čtverců minimální. Dále se v blízkosti nalezeného bodu sestrojí mřížka s jemnějším stupněm a postup se znovu opakuje.

Durbinův postup

Transformovaný model vypadá takto:

Rozbalením závorek a posunutím proměnné závislé na zpoždění doprava dostaneme

Představme si notaci . Pak máme následující model

Tento model musí být odhadnut pomocí obvyklé metody nejmenších čtverců. Poté jsou koeficienty původního modelu obnoveny jako .

V tomto případě lze získaný odhad autokorelačního koeficientu použít pro autoregresní transformaci a aplikaci nejmenších čtverců pro tento transformovaný model pro získání přesnějších odhadů parametrů.

Viz také

• Metoda nejmenších čtverců

Literatura

• Magnus Ya. R., Katyshev P. K., Peresetsky A. A. Econometrics. Počáteční kurz . — 2004.