Átlagos fordított rang
Az Inverse Mean Rank (MRR) egy folyamat kérésekre adott válaszainak statisztikai értékelése, valószínűség és helyesség szerint rendezve. Az információkeresés hatékonyságát jellemzi . Az inverz rang ebben az esetben a válaszlistában az első helyes válasz számának (rangsorának) reciprokát jelenti. Az átlagos inverz rang az összes lekérdezés inverz rangsorának átlaga. Q: [1]
ahol az i lekérdezés első releváns dokumentumának pozícióját jelenti .
Az átlagos inverz rang reciproka a rangok közötti harmonikus átlagnak felel meg .
Példa
Vegyünk három olyan lekérdezést, amelyek az orosz szavakat egyes számból genitivus többes számba fordítják. A rendszer ebben a példában minden esetben háromszor próbálkozik, az első próbálkozásokat tartja a rendszer a leghelyesebbnek:
| Kérés | Válaszok | Helyes válasz | Rang | fordított rangú |
|---|---|---|---|---|
| póker | póker, póker, póker | póker | 3 | 1/3 |
| találatokat | ütés, ütés , ütés | találat | 2 | 1/2 |
| török | Törökök , törökök, törökök | török | egy | egy |
Ezekből a példákból az átlagos inverz rangot a következőképpen számítjuk ki: (1/3 + 1/2 + 1)/3 = 11/18, ami körülbelül 0,61.
Ha egyik válasz sem helyes, az átlagos inverz rangot 0-nak kell tekinteni. Megjegyzendő, hogy csak az első releváns választ veszi figyelembe a rendszer, és a későbbi releváns válaszokat figyelmen kívül hagyja.
Lásd még
Linkek
- D. R. Radev; H. Qi; H. Wu; W. Fan (2002). „Web alapú kérdésmegválaszoló rendszerek értékelése”. Az LREC-k eljárásai .