Mocninně vážený průměr je druh střední hodnoty . Pro množinu kladných reálných čísel s parametrem a nezápornými váhami je definováno jako
.Pokud jsou váhy normalizovány na jedničku (to znamená, že jejich součet je roven jedné), pak výraz pro vážený mocninný průměr nabývá tvaru
.Informační entropii určitého systému lze definovat jako logaritmus počtu dostupných stavů systému (nebo jejich efektivní počet, pokud stavy nejsou stejně pravděpodobné). Vezměme v úvahu, že pravděpodobnosti , že systém bude ve stavu s číslem ( ), jsou normalizovány na . Pokud jsou stavy systému ekvipravděpodobné a mají pravděpodobnost , pak . V případě různých pravděpodobností stavů definujeme efektivní počet stavů jako vážený mocninný průměr hodnot s váhami a parametrem (kde ):
.Odtud dostaneme výraz pro entropii
,shodující se s výrazem pro Rényiho entropii [1] . Je snadné vidět, že v limitě na (nebo ) Renyiho entropie konverguje k Shannonově entropii (navzdory skutečnosti, že vážený mocninný průměr konverguje k váženému geometrickému průměru ). Podle definice Rényiho entropie musí být dodrženo další omezení (nebo ).
Znamenat | |
---|---|
Matematika | Střední mocnina ( vážená ) harmonický průměr vážený geometrický průměr vážený Průměrný vážený střední kvadratická Průměrný krychlový klouzavý průměr Aritmecko-geometrický průměr Funkce Průměr Kolmogorov znamená |
Geometrie | |
Teorie pravděpodobnosti a matematická statistika | |
Informační technologie | |
Věty | |
jiný |