GATE (program)

A GATE-be integrált erőforráskészlet CREOLE  – Reusable Objects for Language Engineering néven ismert. Az erőforrásokat CREOLE tárolókban tárolják, amelyek XML fájlokat, Java-archívum kódokat és az erőforrásokhoz szükséges könyvtárakat tartalmaznak. A felhasznált erőforrások beépülő modulokba [8] vannak csoportosítva, amelyeket egy adott címen (URL vagy fájl:/URL) tárolnak. A beépülő modulok lehetnek alapvetőek (a GATE telepítése során töltődnek be) és egyediek, lehetnek helyi meghajtón vagy távoli szerveren. Amikor a fájl betöltődik a GATE-be, úgy néz ki, mint egy creole.xml beállításfájl. A CREOLE beépülő modulok a felületen keresztül kezelhetők a Fájl > CREOLE beépülő modulok kezelése > Új creole adattár hozzáadása paranccsal. A GATE beállítások (függvények) halmazaként jelenik meg, ahol a felhasználó összekapcsolja a CREOLE komponenseket: a felhasználó megadja a címek listáját, a GATE kivonja belőlük a megfelelő erőforrásokat (PR). Ha kiválaszt egy beépülő modult, a beállítási listája megjelenik a jobb oldali mezőben.

adattárak

Adattár. Dokumentumok/ügyek és folyamatok tárolásához szükséges későbbi felhasználáshoz. Az összes tárolótípus közül gyakran használják a Serial DataStore-t. tárolódoboz

• létrehozás (Datastores > Datastore létrehozása > Serial DataStore > adjon meg egy üres mappát cirill karakterek és szóközök nélkül az elérési útban),
• megnyitása korábban létrehozott (Open Datastore),
• dokumentumok és ügyek mentése bele (Adattár megnyitása > kattintson duplán egy dokumentumra/ügyre),
• a dokumentumban vagy korpuszban végzett változtatások mentése (Mentés az adattárába).

Az Applications szövegszerkesztő folyamatainak sorozata futtatható a DataStore alatt. Meg kell nyitnia a DataStore-t, meg kell nyitnia a tokot, majd az Alkalmazásokban válassza ki ezt az esetet. Amikor az Alkalmazást a DataStore-ból egy törzsön futtatja, minden dokumentum betöltődik, feldolgozódik, mentve és bezárásra kerül. Vagyis egyszerre csak egy dokumentum kerül feldolgozásra. Ez nem terheli túl a memóriát, de a folyamat lassabb, mintha az összes dokumentumot egyszerre dolgoznák fel.

Dokumentumjelölés a GATE Developerben

A dokumentumok egységes szabályok szerinti jelölése lehetővé teszi adatok keresését és kinyerését , ontológiák létrehozását .

A GATE-ben a dokumentumszerkesztő megnyitása után megjelennek az Annotation Sets és Annotations List (illetve a Gate verziójától függően a Annotations List) fülek, ahol a jobb oldali listában ellenőrizheti a megjeleníteni kívánt kommentárok típusait, illetve megjegyzéseket hozhat létre. . A Színváltoztatás funkció elérhető. Ha kijelöl egy szövegrészt, amelyhez megjegyzést kíván rendelni, megjelenik a Jegyzetszerkesztő ablak, amely a következő mezőket és vezérlőket tartalmazza:

1. Annotáció típusa (ha néhány típust már hozzáadtak, választhat a meglévők közül)
2. Attribútum neve (a következő attribútum üres mezői automatikusan megjelennek)
3. Attribútum értéke
4. Annotáció törlése gomb

A megjegyzések AnnotationSet-ekbe vannak csoportosítva. Ez egy praktikus funkció, amely lehetővé teszi több jelölési lehetőség tárolását egy dokumentumhoz, például szakértői és automatikus. A szakértői jelöléseket általában a Kulcs nevű megjegyzéskészletben tárolják. Az automatikus jelölés általában egy üres AnnotationSet-be van írva, amely alapértelmezés szerint minden dokumentumban megtalálható. A dokumentumokban nincs AnnotationSet Key, ezt létre kell hozni, a jegyzettípusok alatti mezőbe be kell írni a Key szót, majd az Új gombra kattintani.

ANNIE rendszer

A GATE rendelkezik egy ANNIE (A Nearly-New Information Extraction System) nevű mesterséges intelligencia rendszerrel , amely olyan erőforrásokat tartalmaz, amelyek tokenizálást (ANNIE English Tokenizer), POS-címkézést (ANNIE POS-Tagger) biztosítanak, és mondatokra osztják (ANNIE mondatosztó). , elnevezett entitás kivonás (ANNIE Gazetteer és ANNIE NE Transducer) és korreferenciaelemzés (ANNIE OrthoMatcher). Fejlesztők: Hamish Cunningham, Valentin Tablan, Diana Maynard, Kalina Bontcheva, Marin Dimitrov és mások. Az ANNIE fejlesztői a JAPE [9] véges automata algoritmusait és reguláris kifejezéseit használják .

Az ANNIE összetevői integrálva vannak az alkalmazásba, így az inicializáláshoz csak kattintson a megfelelő zöld ikonra a GATE eszköztáron, és válassza ki az alapértelmezett beállításokkal. Miután az összes erőforrás megjelenik a Feldolgozási erőforrások listában, kattintson duplán az ANNIE alkalmazás megnyitásához, amely az Alkalmazások listában található. Az ANNIE alkalmazás felülete ugyanaz, mint a többi alkalmazásé. A jobb oldalon az erőforrások rendezett listája található, amelyeket a dokumentum pontosan a listában megadott sorrendben hív meg. Az ANNIE alkalmazás a Corpus Pipeline osztályba tartozik, azaz szövegkorpuszon kell futnia. Az ANNIE rendszer működésének eredményeként számos megjegyzés kerül az alapértelmezett AnnotationSet-be, beleértve a Token (token), a Sentence (mondatok), a Lookup (szótári bejegyzések), a Személy, a Hely, a Szervezet. Ha a korpusz és a dokumentumok az ANNIE futtatása előtt a DataStore-ban voltak, az ANNIE egyenként lekéri a dokumentumokat, feldolgozza és visszahelyezi.

Összetevők listája:

1. A PR-lista rendelkezik egy Dokumentum-visszaállítás PR -erőforrással , amely feldolgozás előtt eltávolítja a jelöléseket a dokumentumból. Az erőforrás rendelkezik egy setsToKeep paraméterrel, amely felsorolja azon AnnotationSets neveket, amelyeket nem kell törölni. Ha van kézi jelölés a dokumentumban, akkor meg kell győződnie arról, hogy az ezt a jelölést tartalmazó AnnotationSet szerepel a listában, ellenkező esetben törlődik. Alapértelmezés szerint ott van megadva a Kulcskészlet.
2. Tokenizátor . A szöveget tokenekre osztja, nevezetesen számokra, írásjelekre, szavakra, szimbólumokra, szóközökre. Minden jogkivonathoz hozzá van rendelve a típusa, a Word (orth attribútum paraméterekkel: felsőkezdő, csupa nagybetűs, kisbetűs, vegyes nagybetűs), szám, szimbólum, írásjelek, szóköz token.
3. Közlöny . Megnevezett entitásokat határoz meg a listának megfelelően, azaz egy szöveges fájlt (sima szöveg), amely a megnevezett entitásokat soronként felsorolja. Minden lista más megnevezett entitást tartalmaz: városokat, szervezeteket, a hét napjait stb. csak az egyik adott nyelvhez. A lists.def fájl hozzáférést biztosít a megnevezett entitások listájához. Beállíthatja a megjegyzés típusát a megnevezett entitások egyedi listájához. Minden listának ugyanabban a könyvtárban kell lennie, mint a lists.def indexfájlnak.
4. Mondatosztó . A szöveget mondatokra osztja. Az osztó a Közlönyben található rövidítések listáját használja, hogy megkülönböztesse a mondat végét a többi írásjeltől. Minden megszólaláshoz hozzá van rendelve a „mondat” annotáció, amelyen belül található a „Split” megjegyzés „belső” és „külső” értékkel a kérdő, felkiáltó és megerősítő mondatok megkülönböztetésére.
5. RegEx mondatosztó . Alternatív módszer a szöveg mondatokra osztására JAPE reguláris kifejezések használatával.
6. A Speech Tagger része . Minden szót és karaktert jegyzetekkel lát el. Van egy lista a használt címkékről. A Wall Street Journal korpuszán alapuló szókincset és számos szabályt használ. A szabályok és a szókincs manuálisan módosítható.
7. Szemantikus címkéző . A szemantikus annotáció a JAPE feloldószabályok (reguláris kifejezések) segítségével történik, amelyek az előző megjegyzési lépésekben kapott címkéket használják.
8. Ortográfiai összefüggés (OrthoMatcher vagy 'NameMatcher'). Kapcsolattípust ad hozzá az elnevezett entitáscímkék és a szemantikai címkék közé. Nem talál új elnevezett entitásokat, de besorolhatatlan típust tud rendelni egy tulajdonnévhez a szóegyezések alapján.
9. Pronominális koreferencia . Csatlakozva a PR-hez az ANNIE bővítmény kiegészítő erőforrásaként. Találhat idézett szöveget, közvetlen beszédet, névmásokat (főnevek helyettesítése, anafora ), ismétléseket. Előzetes megjegyzést igényel címkék szerint: Token (angol Tokenizer), Mondat (mondatosztó), Split (mondatosztó), Hely (NE Transducer, OrthoMatcher), Személy (NE Transducer, OrthoMatcher), Szervezet (NE Transducer, OrthoMatcher). Az elemzés a JAPE konverter szabályai (reguláris kifejezések) felhasználásával történik, egy állapotgépet építenek a közvetlen beszéd jeleinek és idézeteinek (egy- és kettős idézőjelek stb.) keresésére, az "it, its, magát” és „Én, én, én, magam”.

Szövegfeldolgozás eredményeinek tesztelése

A GATE beépített eszközökkel rendelkezik a szövegfeldolgozás eredményeinek tesztelésére:

• Az AnnotationDiff eszköz összehasonlítást végez ugyanazon a dokumentumon (összehasonlítás gomb a GATE panelen).

Paraméterek: Kulcskészlet (AnnotationSet neve 1-es jelöléssel), Válaszkészlet (AnnotationSet neve 2-es jelöléssel), Típus (egyszerre csak egy típus tesztelhető), Jellemzők (összehasonlított attribútumok). Az összehasonlítás (Összehasonlítás) elindítása után az AnnotationDiff megjegyzéspárokat ad ki, színnel megjelölve a pár típusát. Típusok: Helyes (teljes egyezés), Hiányzó (helyes megjegyzés nem található), Hamis/Hamis pozitív (extra megjegyzés található), Részben helyes (részben átlépi a megjegyzés határait). A különböző típusú párok számának megfelelően a szabványos Precision, Recall és F metrikák kiszámítása történik.

• A Corpus Quality Assurance (CQA) a korpuszon lévő minőségi mutatók kiszámítására szolgál.

A Corpus Quality Assurance fül megnyílik a kívánt korpusz ablakban. A CQA adatokat gyűjt a készletekről, megjegyzésekről és attribútumokról. Be kell állítani a paramétereket, meg kell választani az értékelés típusait (például F1.0-score szigorú, engedékeny és átlagos). Futtassa az összehasonlítást. A Dokumentumstatisztika lapon megtekintheti a dokumentumok statisztikáit, valamint azonnal megnyithatja a kiválasztott dokumentumot, vagy megtekintheti a hozzá tartozó AnnotationDiff-et. A teszteredmények HTML-be exportálhatók.

GATE Mimir

A GATE Mímir egy nyílt forráskódú keresőmotor, amelyet a SourceForge-on tárolnak, és a GNU Lesser General Public License 3.0 alatt terjesztik. A GATE Mímir támogatja a nyelvi és szemantikai információk indexelését és keresését hatalmas nyelvi adatbázisokkal rendelkező alkalmazásokból. A GATE Mímir lehetőséget biztosít a szövegre, a megjegyzésekre, a szemantikai ontológiákra és a szemantikai metaadatokra vonatkozó információk keresésére a szöveg, a szerkezeti információk és a SPARQL tetszőleges kombinációi segítségével. A fejlesztők nem kész csomagolt terméket biztosítanak, hanem felajánlják a források letöltését és a saját fájlok összeállítását. A GATE Mímir felhasználói kézikönyv [10] , használati példák [11] találhatók , a legújabb kiadási verziókhoz egy teljes forrásfa archívuma elérhető [12] .

Lásd még

• Információ kinyerése
• természetes nyelvi feldolgozás
• Ontológia (számítástechnika)
• Számítógépes nyelvészet
• nyílt forráskód
• Jáva
• Gépi tanulás

Jegyzetek

1. ↑ tao , p. 5.
2. ↑ Grimes, 2009 .
3. ↑ TwitIE, 2013 .
4. ↑ tao , p. 6.
5. ↑ BiomedicalGate, 2013 .
6. ↑ Projektek .
7. ↑ GATE Felhasználói kézikönyv , p. 93.
8. ↑ A GATE bővítmények listája .
9. ↑ A JAPE-ről szóló rész .
10. ↑ Mimir .
11. ↑ MimirPéldák .
12. ↑ Mímir forrás .

Irodalom

• Hamish Cunningham, Diana Maynard, Kalina Bontcheva és mások. Nyelvi feldolgozási összetevők fejlesztése a GATE 7-es verziójával (felhasználói útmutató  ) . The University of Shelf (2013).
• Seth Grimes. Nyílt forráskódú szövegelemzés  . – 2009.
• K. Bontcheva, L. Derczynski, A. Funk, M. A. Greenwood, D. Maynard és N. Aswani. TwitIE: Open-Source Information Extraction Pipeline for Microblog Text  //  Association for Computational Linguistics. — 2013.
• Hamish Cunningham, Valentin Tablan, Angus Roberts, Kalina Bontcheva. Hozzon ki többet az orvosbiológiai dokumentumokból a GATE teljes életciklusú nyílt forráskódú szövegelemzésével   // PLoS Comput Biol 9(2): folyóirat . - USA, 2013. - Iss. 9. (2) bekezdése alapján .
• Cunningham H., Maynard D., Bontcheva K. és Tablan V. GATE: A Framework and Graphical Development Environment for Robust NLP Tools and Applications (In proc. of the Association for Computational Linguistics, 2002 40th Anniversary Meeting of the Association for Computational Linguistics  )  // University of Shelf. – 2009.
• Konchady Manu. Építési keresőalkalmazások: Lucene, LingPipe és Gate . - Oakton, Virginia, USA: Mustru Publishing, 2008. - 447 p. — ISBN 978-0-61520-425-3 .
• Graham Wilcock. Bevezetés a nyelvi annotációba és a szövegelemzésbe . - Princeton, NJ: Morgan & Claypool Publishers, 2009. - 159 p. — ISBN 9781598297386 .
• Valentin Tablan, Ian Roberts. Mimir felhasználói kézikönyv  (angol) . The University of Shelf (2013).

Linkek

• A GATE-ről szóló cikkek listája
• A GATE bővítmények listája
• A GATE-t használó projektek listája leírással
• GATE felhasználói kézikönyv. Dokumentum formátumok
• A GATE felhasználói kézikönyv JAPE-ról szóló része
• Mimir lekérdezési példák
• GATE Mímir forráskódja
• NLPub. Integrált csomagok