Kérdés-felelet rendszer

Az oldal jelenlegi verzióját még nem ellenőrizték tapasztalt közreműködők, és jelentősen eltérhet a 2019. szeptember 6-án felülvizsgált verziótól ; az ellenőrzések 4 szerkesztést igényelnek .

A Question-answer system ( QA-system ; angolul  QA  - angol  Question-answering system ) egy olyan információs rendszer , amely természetes nyelven képes kérdéseket fogadni és megválaszolni , vagyis természetes nyelvi felülettel rendelkező rendszer.

Osztályozás

A kérdés-válasz rendszerek a következőkre oszthatók:

Építészet

Az első minőségbiztosítási rendszereket [1] az 1960 -as években fejlesztették ki, és a tartomány-specifikus szakértői rendszerek természetes nyelvi shelljei voltak . A modern rendszereket úgy tervezték, hogy természetes nyelvi feldolgozási (NLP) technológiák segítségével keressenek választ a dokumentumokban feltett kérdésekre.

A modern minőségbiztosítási rendszerek általában tartalmaznak egy speciális modult - kérdésosztályozót , amely meghatározza a kérdés típusát és ennek megfelelően a várt választ. Az elemzést követően a rendszer fokozatosan egyre bonyolultabb és finomabb NLP-módszereket alkalmaz a benyújtott dokumentumokra, eldobva a felesleges információkat. A legdurvább módszer, a dokumentumkeresés  , egy információkereső rendszert használ a szöveg azon részei kiválasztására, amelyek potenciálisan választ tartalmaznak. A szűrő ezután kiemeli a várt válaszhoz hasonló kifejezéseket (például a "Ki..." kérdésnél a szűrő olyan szövegrészeket ad vissza, amelyek emberek nevét tartalmazzák). És végül a válaszkiemelő modul e kifejezések között megtalálja a helyes választ.

Munkavázlat

Egy kérdés-felelet rendszer teljesítménye az alkalmazott szövegelemzési módszerek hatékonyságától és a szövegbázis minőségétől függ - ha nincs benne válasz a kérdésekre, akkor a minőségbiztosítási rendszer nem tud sokat találni. Minél nagyobb az adatbázis, annál jobb, de csak akkor, ha tartalmazza a szükséges információkat. A nagy adattárak (például az internet) sok redundáns információt tartalmaznak [2] . Ez a következő pontokhoz vezet:

  1. Mivel az információ különböző formákban jelenik meg, az információk teljessége magasabb. A minőségbiztosítási rendszer nagyobb valószínűséggel talál választ.
  2. A helyes információ gyakrabban ismétlődik, így a válaszkeresési hibák minimalizálhatók.
  3. Az információ-visszakeresés pontossága jelentősen függ a tárolókban lévő információk megbízhatóságától, valamint az információelemzési és válaszadási módszerek hatékonyságától.

Problémák

2002-ben kutatók egy csoportja kutatási tervet írt a kérdés-felelet rendszerekre [3] . A következő kérdések megvitatását javasolták:

Kérdéstípusok A különböző kérdésekre különböző módszerekre van szükség a válaszkereséshez. Ezért szükséges a lehetséges kérdéstípusok módszertani listáinak összeállítása vagy javítása. Kérdéskezelés Ugyanaz az információ többféleképpen kérhető. Hatékony módszereket kell alkotni a mondat szemantikájának (jelentésének) megértéséhez és feldolgozásához. Fontos, hogy a program felismerje a jelentésükben egyenértékű kérdéseket, függetlenül a használt stílustól , szavaktól, szintaktikai kapcsolatoktól és idiómáktól . Szeretném, ha a minőségbiztosítási rendszer a bonyolult kérdéseket több egyszerű kérdésre osztaná, és a kontextusérzékeny kifejezéseket helyesen értelmezné, esetleg a párbeszéd során tisztázza a felhasználóval. Kontextuális kérdések A kérdéseket meghatározott kontextusban teszik fel . A kontextus finomíthatja a lekérdezést, eltávolíthatja a kétértelműséget, vagy követheti a felhasználó gondolatmenetét egy sor kérdésen keresztül. A minőségbiztosítási rendszer tudásforrásai A kérdés megválaszolása előtt jó lenne érdeklődni a rendelkezésre álló szövegalapokról. Bármilyen szövegfeldolgozási módszert is alkalmazunk, nem találjuk meg a helyes választ, ha az nincs benne az adatbázisokban. A válaszok kiemelése Ennek az eljárásnak a helyes végrehajtása a kérdés összetettségétől, típusától, kontextusától, a rendelkezésre álló szövegek minőségétől, a keresési módszertől stb. függ - számos tényezőtől. Ezért a szövegfeldolgozási módszerek tanulmányozását óvatosan kell megközelíteni, és ez a probléma külön figyelmet érdemel. Válasz megfogalmazása A válasznak a lehető legtermészetesebbnek kell lennie. Bizonyos esetekben elég, ha egyszerűen kiemeljük a szövegből. Például, ha névre van szükség (személy neve, eszköz neve, betegség), értékre (valuta árfolyam, hosszúság, méret) vagy dátumra („Mikor született Rettegett Iván?”) - elegendő egy közvetlen válasz. . De néha bonyolult lekérdezésekkel kell megküzdenie, és itt speciális algoritmusokra van szükség a különböző dokumentumok válaszainak egyesítéséhez . Kérdések megválaszolása valós időben Olyan rendszert kell készíteni, amely a kérdés összetettségétől, kétértelműségétől, a dokumentumbázis nagyságától és kiterjedtségétől függetlenül néhány másodperc alatt választ talál a tárhelyekben. Többnyelvű lekérdezések Más nyelvű munkavégzésre és keresésre szolgáló rendszerek fejlesztése (beleértve az automatikus fordítást is ). interaktivitás A minőségbiztosítási rendszer által válaszként kínált információ gyakran hiányos. Lehet, hogy a rendszer rosszul azonosította a kérdés típusát, vagy félreértette. Ebben az esetben előfordulhat, hogy a felhasználó nem csak újrafogalmazza kérését, hanem egy párbeszéd segítségével "magyarázza" is a programmal. Érvelési mechanizmus (következtetés) Néhány felhasználó olyan választ szeretne, amely túlmutat a rendelkezésre álló szövegeken. Ehhez a minőségbiztosítási rendszert a legtöbb területen közös ismeretekkel kell kiegészíteni (lásd: Általános ontológiák a számítástechnikában ), valamint új ismeretek automatikus levezetésére szolgáló eszközöket. A minőségbiztosítási rendszerek felhasználói profiljai A felhasználóra vonatkozó információk, például érdeklődési terület, beszédmód és érvelés, alapértelmezett tények, jelentősen növelhetik a rendszer teljesítményét.

Útmutató a kérdés-felelet rendszerek fejlesztéséhez

A kérdés-felelet rendszerek első prototípusainak megjelenése óta terjedelemük jelentősen bővült [4] . Használják például az idővel kapcsolatos kérdések megválaszolásában, a földrajzi helymeghatározási kérdésekben, a definíciós kérdésekben, a bibliográfiai, többnyelvű kérdésekben, a multimédiával kapcsolatos kérdésekben (vizuális, hang- és videóinformáció). A kapcsolódó területeket tanulmányozzák, mint például az interaktív minőségbiztosítási rendszerek felépítése (az eredeti tisztázásához szükséges kérdések tisztázása), a válaszok újrafelhasználása és a tudás reprezentálása, a rendelkezésre álló információkból származó következtetések felhasználása a kérdések megválaszolásához stb., a feltehető kérdések előrejelzése, hangulat elemzés.

Kérdés-felelet rendszerek minőségének felmérése

A kérdés-válasz rendszereket folyamatosan tárgyalják a következő projektek keretében: TREC [5] , CLEF[6] , NTCIR [7] , ROMIP [8] .

Jegyzetek

  1. Hirschman, L. & Gaizauskas, R. (2001) Natural Language Question Answering. The View from Here Archivált 2012. január 29-én a Wayback Machine -nél . Natural Language Engineering (2001), 7:4:275-300 Cambridge University Press.
  2. Lin, J. (2002). A web mint forrás a kérdések megválaszolásához: perspektívák és kihívások. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC 2002).
  3. Burger, J., Cardie, C., Chaudhri, V., Gaizauskas, R., Harabagiu, S., Israel, D., Jacquemin, C., Lin, CY., Maiorano, S., Miller, G. , Moldovan, D., Ogden, B., Prager, J., Riloff, E., Singhal, A., Shrihari, R., Strzalkowski, T., Voorhees, E., Weishedel, R. Issues, Tasks and Program Structures to Roadmap Research in Question Answering (QA) Archivált 2012. április 25-én a Wayback Machine -nél .
  4. Maybury, MT szerkesztő. 2004. Új irányok a kérdések megválaszolásában. Archiválva : 2021. március 3. a Wayback Machine AAAI/MIT Pressnél.
  5. TREC verseny Archiválva : 2007. június 24. a Wayback Machine -nél 
  6. CLEF értékelő kampány Archivált 2007. június 23. a Wayback Machine -nél 
  7. NTCIR projekt archiválva 2007. július 1-én a Wayback Machine -nél 
  8. ROMIP . Letöltve: 2014. június 4. Az eredetiből archiválva : 2014. június 18..

Irodalom

Linkek

Minőségbiztosítási rendszerek és bemutatók Speciális minőségbiztosítási rendszerek