Průměrné obrácené pořadí

Inverse Mean Rank (MRR) je statistické hodnocení reakcí procesu na požadavky, seřazené podle pravděpodobnosti a správnosti. Charakterizuje efektivitu vyhledávání informací . Inverzní pořadí v tomto případě znamená převrácenou hodnotu počtu (hodnocení) první správné odpovědi v seznamu odpovědí. Střední inverzní hodnocení je definováno jako průměr inverzního hodnocení za všechny dotazy Q: [1]

{\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank} }_{i}}}.\!

kde znamená pozici prvního relevantního dokumentu pro dotaz i . ${\text{rank}}_{i}$

Převrácená hodnota střední inverzní hodnosti odpovídá harmonickému průměru mezi řadami.

Příklad

Zvažte tři dotazy, které překládají ruská slova z jednotného čísla do genitivu množného čísla. Ve všech případech tohoto příkladu systém provede tři pokusy, přičemž první pokusy systém považuje za nejsprávnější:

Žádost	Odpovědi	Správná odpověď	Hodnost	obrácené pořadí
poker	poker, poker, poker	poker	3	1/3
hity	hit, hit , hit	udeřil	2	1/2
Turek	Turci , Turci, Turci	Turek	jeden	jeden

Z těchto příkladů vypočítáme střední inverzní pořadí jako (1/3 + 1/2 + 1)/3 = 11/18, což je přibližně 0,61.

Pokud žádná z odpovědí není správná, střední inverzní pořadí se považuje za 0. Všimněte si, že se bere v úvahu pouze první relevantní odpověď a následující relevantní odpovědi jsou ignorovány.

Viz také

Odkazy

D. R. Radev; H. Qi; H. Wu; W. Fan (2002). „Vyhodnocování webových systémů pro zodpovězení otázek“. Sborník příspěvků LREC .

Poznámky

↑ E. M. Voorhees (1999). „Sborník příspěvků z 8. konference o vyhledávání textu“. TREC-8 Zpráva o sledování odpovědí na otázky . str. 77-82.
↑ D. R. Radev, H. Qi, H. Wu, W. Fan (2002). Vyhodnocování webových systémů odpovědí na otázky . Sborník LREC.