Metoda maximální věrohodnosti nebo metoda maximální věrohodnosti (MMP, ML, MLE - anglicky m aximum l ikelihood e stimation ) v matematické statistice je metoda pro odhad neznámého parametru pomocí maximalizace věrohodnostní funkce [1] . Založeno na předpokladu, že všechny informace o statistickém vzorku jsou obsaženy ve věrohodnostní funkci.
Metodu maximální věrohodnosti analyzoval, doporučoval a velmi popularizoval R. Fischer v letech 1912 až 1922 (ačkoli ji dříve používali Gauss , Laplace a další).
Odhad maximální věrohodnosti je oblíbená statistická technika, která se používá k vytvoření statistického modelu z dat a poskytnutí odhadu parametrů modelu.
Metoda maximální věrohodnosti odpovídá mnoha známým metodám odhadu v oblasti statistiky. Například vás zajímá takový antropometrický parametr, jako je výška obyvatel Ruska. Předpokládejme, že máte údaje o růstu určitého počtu lidí, nikoli celé populace. Navíc se předpokládá, že růst je normálně distribuovaná veličina s neznámým rozptylem a střední hodnotou . Průměr a rozptyl růstu ve vzorku jsou maximální pravděpodobnosti průměru a rozptylu celé populace.
Pro pevný soubor dat a základní pravděpodobnostní model získáme pomocí metody maximální věrohodnosti hodnoty parametrů modelu, které data „přibližují“ skutečným. Odhad maximální věrohodnosti poskytuje jedinečný a snadný způsob, jak určit řešení v případě normálního rozdělení.
Metoda odhadu maximální pravděpodobnosti se používá na širokou škálu statistických modelů, včetně:
Nechť je ukázka z distribuce , kde jsou neznámé parametry. Nechť je pravděpodobnostní funkce , kde . Bodový odhad
se nazývá maximální pravděpodobnostní odhad parametru . Odhad maximální pravděpodobnosti je tedy ten, který maximalizuje funkci pravděpodobnosti pro implementaci fixního vzorkování.
Často se místo pravděpodobnostní funkce používá log-pravděpodobnostní funkce . Protože funkce monotónně narůstá v celém definičním oboru, maximum libovolné funkce je maximem funkce a naopak. Takto,
,Pokud je pravděpodobnostní funkce diferencovatelná, pak nezbytnou podmínkou pro extrém je rovnost jeho gradientu na nulu :
Dostatečnou extrémní podmínku lze formulovat jako zápornou definitivnost hessovské matice druhých derivací:
Důležitá pro posouzení vlastností odhadů metody maximální věrohodnosti je tzv. informační matice , která se z definice rovná:
V optimálním bodě se informační matice shoduje s očekáváním Hessian, brané se znaménkem mínus:
kde je asymptotická informační matice.
Asymptotická účinnost znamená, že asymptotická kovarianční matice je spodní hranicí pro všechny konzistentní asymptoticky normální odhady.
Poslední rovnost lze přepsat jako:
kde , což ukazuje, že věrohodnostní funkce dosahuje svého maxima v bodě . Takto
.Takový odhad bude zkreslený: , odkud
Abychom našli jeho maximum, přirovnáme parciální derivace k nule :
kde
je průměr vzorku a je výběrový rozptyl .Předpokládejme, že měříme nějaké množství . Po provedení jednoho měření jsme dostali jeho hodnotu s chybou : . Zapišme hustotu pravděpodobnosti, že hodnota bude mít hodnotu :
.
Nyní předpokládejme, že jsme provedli několik takových měření a získali . Hustota pravděpodobnosti, že veličina nabude hodnot , bude:
.
Tato funkce se nazývá věrohodnostní funkce. Nejpravděpodobnější hodnota naměřené hodnoty je určena maximem věrohodnostní funkce. Pohodlnější je logovací funkce:
.
Rozlišujte logaritmickou pravděpodobnostní funkci s ohledem na :
.
Vyrovnejte se a získejte nějakou hodnotu :
.
Cramer formuloval následující větu:
Věta: Neexistuje žádná jiná metoda zpracování výsledků experimentu, která by poskytla lepší přiblížení pravdě než metoda maximální věrohodnosti.
Předpokládejme, že jsme provedli řadu měření a získali řadu hodnot , je přirozené napsat, že toto rozdělení bude mít Gaussovu formu :
.
Napišme logaritmickou věrohodnostní funkci: .
Vezměme si první derivaci:
.
Pokud , tak . Nyní vezměte druhou derivaci:
, kde
.
Říká se tomu první magická formule [2] .
V regresních modelech se používá metoda podmíněné maximální věrohodnosti (Conditional ML) . Podstatou metody je, že se nepoužívá úplné společné rozdělení všech proměnných (závislých i regresorů), ale pouze podmíněné rozdělení závislé proměnné podle faktorů, tedy ve skutečnosti rozdělení náhodných chyb regresního modelu. . Celková věrohodnostní funkce je součinem "podmíněné věrohodnostní funkce" a hustoty distribuce faktorů. Podmíněná MMP je ekvivalentní plné verzi MMP v případě, kdy rozložení faktorů nijak nezávisí na odhadovaných parametrech. Tato podmínka je často porušována v modelech časových řad, jako je autoregresní model . V tomto případě jsou regresory minulé hodnoty závislé proměnné, což znamená, že jejich hodnoty se také řídí stejným modelem AR, to znamená, že distribuce regresorů závisí na odhadovaných parametrech. V takových případech se budou výsledky použití metody podmíněné a plné maximální věrohodnosti lišit.
Slovníky a encyklopedie |
---|