Tudáskinyerés

Kibontás strukturált forrásokból RDF-ben

1:1 leképezés relációs adatbázis táblákból/nézetekből RDF entitásokhoz/attribútumokhoz/értékekhez

Egy relációs adatbázis (RDB, angol  relációs adatbázis ) reprezentációjának felépítésekor a kiindulópont gyakran egy entitás-relációs diagram ( eng.  entity-relationship diagram , ERD). Általában minden entitást adatbázistáblaként ábrázolnak, minden entitástulajdonság oszlopmá válik a táblában, és az entitások közötti kapcsolatot idegen kulcsok mutatják. Minden tábla jellemzően egy adott entitásosztályt határoz meg, és minden oszlop az adott entitás egy-egy tulajdonságát határozza meg. A táblázat minden sora egy entitás egy példányát írja le, amelyet egy mesterkulcs egyedileg azonosít. A táblázat sorai együtt írják le az entitáskészletet. Ugyanannak az entitáskészletnek az RDF egyenértékű reprezentációjában:

• A táblázat minden oszlopa egy tulajdonság (vagyis egy predikátum)
• Egy oszlopban minden érték attribútum tulajdonság (vagyis objektum)
• Minden sorkulcs egy entitásazonosítót (vagyis tárgyat) jelöl.
• Minden sor egy entitás egy példányát jelöli
• Minden sor (entitáspéldány) az RDF-ben közös tárgyú (entitásazonosító) sorok gyűjteményeként jelenik meg.

Tehát az RDF szemantikán alapuló ekvivalens reprezentáció kifejezéséhez az alapvető algoritmus a következő lenne:

1. hozzon létre egy RDF Schema (RDFS) osztályt minden táblához
2. konvertálja az összes mesterkulcsot és idegen kulcsot IRI -azonosítókká
3. minden oszlophoz rendeljen egy IRI predikátumot
4. rendelje hozzá az rdf: type predikátumot minden sorhoz az RDFS osztály IRI azonosítójával társítva
5. Minden olyan oszlophoz, amely nem része sem a fő kulcsnak, sem az idegen kulcsnak, létrehozunk egy hármast, amely tartalmazza a fő kulcs IRI-jét tárgyként (tárgyként), az oszlop IRI-jét predikátumként , és az oszlop értékét. oszlopot tárgyként.

Az alapvető vagy közvetlen leképezésre vonatkozó korai utalás megtalálható Tim Berners-Lee ER modell és az RDF modell összehasonlításában [4] .

Komplex relációs adatbázis-leképezések RDF-ben

A fent említett 1:1 leképezés a régi adatokat közvetlenül RDF-ként ábrázolja, és további finomításokkal javítható az RDF kimenet hasznossága az adott felhasználási esetnek megfelelően. Általános szabály, hogy az entitás -relációs  diagram (ERD) relációs táblákká való átalakítása során az információ elveszik (a részletes leírást az " Object-relational mismatch " cikkben találja ), és visszafejtéssel kell visszaállítani . Koncepcionálisan a kitermelési megközelítések két irányból származhatnak. Az első irány egy OWL sémát próbál kivonni vagy betanítani (gépi tanulás segítségével) egy adott adatbázissémából. A korai megközelítések meghatározott számú, kézzel készített leképezési szabályt használtak az 1:1-es leképezés javítására [5] [6] [7] . Kidolgozottabb módszerek heurisztikus vagy tanulási algoritmusokat használtak sematikus információk generálására (a módszerek átfedésben vannak az ontológiatanulással ). Míg egyes megközelítések megpróbálnak információt kinyerni az SQL sémában rejlő struktúrából [8] (például idegen kulcsok elemzésével), más megközelítések a táblák tartalmát és értékeit elemzik, hogy fogalmi hierarchiákat hozzanak létre [9] (pl. , a kevés értékű oszlopok kategóriákká válhatnak). A második irány megkísérli leképezni a sémát és annak tartalmát egy létező tartományontológiára (lásd még " Ontológia leképezés "). Gyakran azonban nem létezik megfelelő tartományontológia, és először létre kell hozni.

XML

Mivel az XML egy fa szerkezetű, könnyen ábrázolható bármilyen adat RDF formátumban, amely grafikonként strukturált. Az XML2 RDF egy példa arra a megközelítésre, amely üres RDF csomópontokat használ, és az XML elemeket és attribútumokat RDF tulajdonságokká alakítja. Az eset azonban bonyolultabb, mint a relációs adatbázisok esetében. A relációs táblákban a főkulcs ideális jelölt a megkülönböztetett hármasok témaköréhez. Egy XML elem azonban - kontextustól függően - alanymá, predikátummá vagy tripla objektummá konvertálható. Az XSLT szabványos transzformációs nyelvként használható az XML kézi RDF-re konvertálásához.

A módszerek/eszközök áttekintése

Kivonat természetes nyelvi forrásból

Az üzleti dokumentumokban található információk legnagyobb része (körülbelül 80%-a [11] ) természetes nyelven van kódolva, ezért nem strukturált. Mivel a strukturálatlan adatok meglehetősen nehéz feladat az ismeretek kinyeréséhez, bonyolultabb módszerekre van szükség, amelyek általában rosszabb eredményeket adnak, mint a strukturált adatok. A hatalmas mennyiségű kinyert tudás megszerzésének képessége azonban kompenzálja a kinyerés növekvő bonyolultságát és minőségének romlását. Továbbá a természetes nyelvű források olyan információforrások, amelyekben az adatokat strukturálatlan szöveges adatként adják meg. Ha az adott szöveget beillesztjük egy jelölő dokumentumba (például HTML dokumentumba), ezek a rendszerek általában automatikusan eltávolítják a jelölőelemeket.

Hagyományos információkinyerés

A hagyományos információ - kinyerés ( IE [12] ) [13] egy   természetes nyelvi feldolgozási technológia, amely információt nyer ki a természetes nyelvű szövegekből, és megfelelően strukturálja azokat. A modellben a feldolgozás megkezdése előtt meg kell határozni a kinyerendő információk típusait, ezért a hagyományos információkinyerés teljes folyamata a vizsgált tárgyterülettől függ. A FROM ( eng. IE ) a következő öt részfeladatra oszlik.  

• Elnevezett entitás felismerése ( eng.  Named entity discovery , NER)
• Coreferencia felbontás ( CO  )
• Sablonelem -konstrukció ( TE  ) (vagy attribútumok hozzáadása entitásokhoz)
• Az entitások közötti kapcsolatok azonosítása (BC, eng.  Template relation construction , TR)
• Az esemény teljes leírásának elkészítése (PPO, eng.  Template scenario production , ST)

A megnevezett entitás felismerés feladata a szövegben található összes megnevezett entitás felismerése és kategorizálása (elnevezett entitások hozzárendelése előre meghatározott kategóriákhoz). Nyelvtani alapú módszerek vagy statisztikai modellek alkalmazásával működik.

A referenciafelbontás egyenértékű entitásokat hoz létre, amelyeket a NER algoritmus felismert a szövegben. Az ekvivalenciarelációnak két összefüggő fajtája van. Az első reláció két különböző entitás (pl. IBM Europe és IBM) közötti kapcsolatra, a második pedig egy entitás és annak anaforikus hivatkozása (pl. az IBM és az IBM) közötti kapcsolatra utal. Mindkét faj felismerhető a koreferencia felbontással .

A sablonelemek felépítése során az IE rendszer beállítja a NER és CO rendszerek által felismert entitások leíró tulajdonságait. Ezek a tulajdonságok olyan közös tulajdonságoknak felelnek meg, mint a "piros" vagy a "nagy".

Az egyes entitások közötti kapcsolatok azonosítása létrehozza a sablon elemei között fennálló kapcsolatokat. Ezek a kapcsolatok többféle típusúak lehetnek, például „work-for” vagy „place-in”, azzal a megkötéssel, hogy mind a hatókör, mind a tartomány megfeleljen az entitásoknak.

A szövegben végrehajtott események teljes leírását a rendszer a NER és CO rendszerek által felismert entitások szerint ismeri fel és strukturálja, a kapcsolatokat pedig a BC rendszer ismeri fel.

Információ kinyerése ontológiák alapján

Az ontológia alapú információ-kinyerés ( OBIE  ) [11] az információkinyerés olyan részterülete, amely legalább egy ontológiát használ a természetes nyelvű szövegekből történő információkinyerés folyamatának kezelésére. Az OBIE rendszer hagyományos információkinyerési technikákat használ a használt ontológiák fogalmainak , entitásainak és kapcsolatainak felismerésére a szövegben, amely a folyamat után ontológiává strukturálódik. Így a bemeneti ontológiák modellt alkotnak a visszakeresett információból.

Ontológia tanulás

Az ontológiatanulás ( OL ) az  ontológiák automatikus vagy félautomata létrehozása, beleértve a releváns objektumtartomány-kifejezések kinyerését a természetes nyelvű szövegből. Mivel az ontológiák kézi felépítése rendkívül munka- és időigényes, erős ösztönzés van a folyamat automatizálására.

Szemantikus annotáció

A szemantikus annotáció ( SA ) [14] során a természetes nyelvű szöveget metaadatok kísérik (amelyek gyakran az RDF -ben  [ , az Attribútumokban szereplő erőforrásleíró keretrendszerben jelennek meg ), amelyeknek a gépek számára érthetővé kell tenniük a benne foglalt elemek szemantikáját . Ebben a folyamatban, amely általában félautomata, a tudást abban az értelemben veszik vissza, hogy kapcsolat jön létre a lexikai elemek és például az ontológiák fogalmai között. Így olyan tudáshoz jutunk, amely felfedi az entitás jelentését a feldolgozott kontextusban, és ezért meghatározza a szöveg jelentését a gép által felfogott információban logikus következtetések levonásának képességével. A szemantikai megjegyzés általában a következő két részfeladatra oszlik.  

1. Terminológia kinyerése
2. Megnevezett entitások összekapcsolása

A terminológia kinyerési szintjén a lexikális kifejezéseket a szövegből vonják ki. Ennek érdekében a lexikális elemző először meghatározza a szóhatárokat és kivonja a rövidítéseket. A fogalmaknak megfelelő kifejezéseket ezután a rendszer kivonja a szövegből egy tartomány-specifikus szókincs segítségével az entitások összekapcsolásához.

Az entitások összekapcsolásakor [15] kapcsolat jön létre a forrásszövegből kinyert lexikai tagok és egy ontológia vagy tudásbázis, például a DBpedia fogalmai között . Ehhez a jelölt fogalmakat bizonyos elemértékek szerint azonosítják egy szótár segítségével. Végül elemezzük a kifejezések kontextusát, hogy meghatározzuk a legmegfelelőbb egyértelműsítést, és hozzárendeljük a megfelelő fogalmat a kifejezéshez.

Azt jelenti,

A természetes nyelvű szövegekből tudást kinyerő eszközök kategorizálására a következő kritériumok használhatók.

Az alábbi táblázat a természetes nyelvi forrásokból való tudás kinyerésének néhány eszközét ismerteti.

Knowledge Discovery

A tudásfelfedezés azt a folyamatot írja le, amikor nagy mennyiségű adatban automatikusan keresnek olyan modelleket, amelyek az adatokkal kapcsolatos tudásnak tekinthetők [33] . Ezt gyakran úgy írják le, mint a tudás kinyerését a bemenetből . A tudásfeltárást adatelemzésre fejlesztették ki, és szorosan kapcsolódik mind a módszertanhoz, mind a terminológiához [34] .

Az adatbányászat legismertebb ága a  tudásfeltárás, más néven tudásfelfedezés az adatbázisokban . A tudásfeltárás sok más formájához hasonlóan ez az elemzés is a bemeneti adatok absztrakcióit hozza létre. A folyamat eredményeként megszerzett ismeretek további adatokká válhatnak , amelyek további felhasználásra, keresésre használhatók fel. A tudásfeltárási folyamat kimenetének gyakran nincs gyakorlati értéke, ezért az aktív tudásfelfedezés , más néven " Domain data analysis " [35] célja, hogy felfedezze és (gyakorlati jelentőségű) kinyerje az aktív tudást, és következtetéseket ebből a tudásból.

A tudásfeltárás másik ígéretes alkalmazása a szoftvermodernizálás a gyengeségek észlelése és a szabványoknak való megfelelés területén van, amely magában foglalja a meglévő szoftverek megértését. Ez a folyamat a visszafejtés fogalmához kapcsolódik . Jellemzően a meglévő szoftverekből szerzett ismereteket modellek formájában mutatják be, amelyekre szükség esetén konkrét lekérdezéseket lehet tenni. Az entitás-kapcsolat modell egy általános formátum, amely a tudást reprezentálja, és a meglévő szoftverekből származik. Az Object Management Group konzorcium kidolgozott egy specifikációt a Knowledge Discovery Metamodel ( KDM) számára, amely egy ontológiát határoz meg a szoftver-erőforrásokhoz és azok kapcsolataihoz, amelyek célja a tudás felfedezése a meglévő kódban. Az ismert szoftverrendszerekből származó tudás felfedezése, más néven szoftverbányászat , szorosan összefügg az adatbányászattal , mivel a meglévő szoftverfelfedezések nagy jelentőséggel bírnak a kockázatkezelés és a kereskedelmi érték szempontjából , amelyek kulcselemei az elemzésnek. és szoftverrendszerek fejlesztése. Az egyes adatkészletek elemzése helyett a szoftverbányászat olyan metaadatokra összpontosít, mint a termelési folyamat (pl. adatfolyam, vezérlési folyamat, hívásminta), architektúra, adatbázissémák és üzleti szabályok/kifejezések/folyamatok.  

Adatbevitel

• Adatbázis
  • Relációs adatok
  • Adatbázis
  • Dokumentumtárolás
  • Adattár
• Szoftver
  • Forrás
  • Konfigurációs fájlok
  • Összeállítási szkriptek
• Szöveg
  • Fogalom kinyerése
• Grafikonok
  • Molekulák intelligens elemzése
• Sorozatok
  • Adatfolyam bányászat
  • Concept Drift
• web

Kimeneti formátumok

• Adatmodell
• metaadatokat
• Metamodellek
• Ontológia
• Tudásábrázolás
• Címke (metaadatok)
• Üzleti szabályok
• Tudásfelfedezési metamodell
• Jelölés és üzleti folyamatmodell
• Köztes ábrázolás
• Erőforrás leírási környezet
• Szoftvermetrikák

Lásd még

• klaszteranalízis
• Adatrégészet

Jegyzetek

1. ↑ RDB2RDF munkacsoport, Weboldal: http://www.w3.org/2001/sw/rdb2rdf/ , alapszabály: http://www.w3.org/2009/08/rdb2rdf-charter , R2RML: RDB to RDF Mapping Nyelv: http://www.w3.org/TR/r2rml/
2. ↑ LOD2 EU  (nem elérhető link) Teljesíthető 3.1.1 Tudáskinyerés strukturált forrásokból
3. ↑ Calais 4. kiadás, 2009 .
4. ↑ 1 2 Berners-Lee, 1998 .
5. ↑ Hu, Qu, 2007 , p. 225-238.
6. ↑ Ghawi, Cullot, 2007 .
7. ↑ Li, Du, Wang, 2005 , p. 209-220.
8. ↑ Tirmizi, Miranker, Sequeda, 2008 .
9. ↑ Cerbah, 2008 .
10. ↑ RDQL = RDF lekérdezési nyelv
11. ↑ 1 2 Wimalasuriya, Dou, 2010 , p. 306-323.
12. ↑ Nem tévesztendő össze az MS IE-vel = Microsoft Internet Explorer!
13. ↑ Cunningham, 2005 , p. 665–677.
14. ↑ Erdmann, Maedche, Schnurr, Staab, 2000 .
15. ↑ Rao, McNamee, Dredze, 2011 , p. 93-115.
16. ↑ Rocket Software Inc. (2012). „technológia az intelligencia szövegből való kinyerésére”
17. ↑ Orchestral8 (2012): "AlchemyAPI áttekintése"
18. ↑ A Sheffieldi Egyetem (2011). "ANNIE: egy szinte új információgyűjtő rendszer"
19. ↑ Mendes, Jakob, Garcia-Sílva, Bizer, 2011 , p. tizennyolc.
20. ↑ Gangemi, Presutti, Recupero et al., 2016 .
21. ↑ Adrian, Maus, Dengel, 2009 .
22. ↑ SRA International Inc. (2012). NetOwl Extractor
23. ↑ Fortuna, Grobelnik, Mladenic, 2007 , p. 309–318.
24. ↑ Missikoff, Navigli, Velardi, 2002 , p. 60-63.
25. ↑ McDowell, Cafarella, 2006 , p. 428-444.
26. ↑ Yildiz, Miksch, 2007 , p. 660-673.
27. ↑ Dill, Eiron, Gibson et al., 2003 , p. 178-186.
28. ↑ Uren, Cimiano, Iria et al., 2006 , p. 14-28.
29. ↑ Cimiano, Völker, 2005 .
30. ↑ Maedche, Volz, 2001 .
31. ↑ Gépi összekapcsolás. "Csatlakozunk a Linked Open Data felhőhöz"
32. ↑ Inxight ThingFinder és ThingFinder Professional (lefelé irányuló kapcsolat) . Inxight Federal Systems (2008). Letöltve: 2012. június 18. Az eredetiből archiválva : 2012. június 29. (határozatlan) 
33. ↑ Frawley, Piatetsky-Shapiro, Matheus, 1992 , p. 57-70.
34. ↑ Fayyad, Piatetsky-Shapiro, Smyth, 1996 , p. 37-54.
35. ↑ Cao, 2010 , p. 755–769.

Irodalom

• Cao L. Domainvezérelt adatbányászat: kihívások és kilátások // IEEE Trans. a tudás- és adatmérnöki szakon. - 2010. - T. 22 , sz. 6 . - doi : 10.1109/tkde.2010.32 .
• Élet a linkelt adatfelhőben  // www.opencalais.com. - 2009. Archiválva : 2009. november 24. Kivonat: A Wikipédiának van egy DBpedia nevű megfelelője. A DBpedia ugyanazokkal a strukturált információkkal rendelkezik, mint a Wikipédia, de géppel olvasható formátumba konvertálva.
• Benjamin Adrian, Heiko Maus, Andreas Dengel. iDocument: Ontológiák használata információ kinyerésére szövegből. – 2009.
• William J. Frawley, Gregory Piatetsky-Shapiro, Christopher J. Matheus. Tudásfeltárás az adatbázisokban: áttekintés  // AI Magazine. - 1992. - T. 13 , 3. sz . - S. 57-70 . Az eredetiből archiválva: 2016. március 4.
• Usama M. Fayyad, Gregory Piatetsky-Shapiro, Padhraic Smyth. Az adatbányászattól a tudásfeltárásig az adatbázisokban  // AI Magazine. - 1996. - T. 17 , 3. sz . - S. 37-54 . Az eredetiből archiválva: 2016. május 4.
• Tim Berners Lee. Relációs adatbázisok a szemantikus weben . – 1998.
• Farid Cerbah. Erősen strukturált szemantikai adattárak tanulása relációs adatbázisokból // A szemantikus web: kutatás és alkalmazások . - Berlin / Heidelberg: Springer, 2008. - T. 5021. - (Lecture Notes in Computer Science). Archiválva : 2011. július 20. a Wayback Machine -nél
• Syed Hamid Tirmizi, Daniel P. Miranker, Juan Sequeda. SQL alkalmazások fordítása a szemantikus webre // Adatbázis- és szakértői rendszeralkalmazások . - 2008. - T. 5181/2008. — (Számítástechnikai előadásjegyzetek).
• Wei Hu, Yuzhong Q. Egyszerű leképezések felfedezése relációs adatbázissémák és ontológiák között // Proc. 6. Nemzetközi Szemantikus Web Konferencia (ISWC 2007), 2. Ázsiai Szemantikus Web Konferencia (ASWC 2007) . - Busan, Korea, 2007. november 11-15., 2007. - T. 4825. - S. 225-238. — (Számítástechnikai előadásjegyzetek).
• Ghawi R., Cullot N. Database-to-Ontology Mapping Generation for Semantic Interoperability // Third International Workshop on Database Interoperability (InterDB 2007). . – 2007.
• Man Li, Xiaoyong Du, Shan Wang. Félautomata ontológiaszerzési módszer a szemantikus webhez // WAIM. - Springer, 2005. - T. 3739. - S. 209-220. — (Számítástechnikai előadásjegyzetek). - doi : 10.1007/11563952_19 .
• Aldo Gangemi, Valentina Presutti, Diego Reforgiato Recupero, Andrea Giovanni Nuzzolese, Francesco Draicchio, Misael Mongiovì. Szemantikus webes gépi olvasás FRED segítségével // Szemantikus webnapló. - 2016. - doi : 10.3233/SW-160240 .
• Philipp Cimiano, Johanna Volker. Text2Onto – Keretrendszer az ontológiatanuláshoz és az adatvezérelt változások felfedezéséhez // A természetes nyelv információs rendszerekben történő alkalmazásai 10. nemzetközi konferenciájának anyaga. - 2005. - T. 3513. - S. 227 - 238.
• Hamish Cunningham. Automatikus információnyerés // Nyelvi és Nyelvészeti Enciklopédia . - 2005. - S. 665 - 677.
• Stephen Dill, Nadav Eiron, David Gibson, Daniel Gruhl, R. Guha, Anant Jhingran, Tapas Kanungo, Sridhar Rajagopalan, Andrew Tomkins, John A. Tomlin, Jason Y. Zien. SemTag and Seeker: Bootstraping the Semantic Web via Automated Semantic Annotation // Proceedings of the 12. international Conference on World Wide Web . - 2003. - S. 178 - 186.
• Erdmann M., Maedche A., Schnurr H.-P., Staab S. Manual to Semi-automatic szemantic Annotation: About Ontology-based Text Annotation Tools // Proceedings of the COLING. – 2000.
• Blaz Fortuna, Marko Grobelnik, Dunja Mladenic. OntoGen: Semi-automatic Ontology Editor // Proceedings of the 2007 Conference on Human interface, Part 2 . - 2007. - S. 309 - 318.
• Alexander Maedche, Raphael Volz. The Ontology Extraction & Maintenance Framework Text-To-Onto // Az IEEE International Conference on Data Mining konferencia anyaga . – 2001.
• Luke K. McDowell, Michael Cafarella. Ontológia-vezérelt információ-kinyerés OntoSyphon segítségével // A szemantikus web 5. nemzetközi konferenciájának anyaga . - 2006. - S. 428 - 444.
• Pablo N. Mendes, Max Jakob, Andrés Garcia-Sílva, Christian Bizer. DBpedia Spotlight: Shedding Light on the Web of Documents // Proceedings of the 7th International Conference on Semantic Systems . - 2011. - S. 1 - 8. 2012. április 5-i archív példány a Wayback Machine -nál
• Michele Missikoff, Roberto Navigli, Paola Velardi. Integrált megközelítés a webontológia tanulásához és tervezéséhez  // Számítógép. - 2002. - T. 35 , sz. 11 . - S. 60 - 63 .
• Delip Rao, Paul McNamee, Mark Dredze. Entitások összekapcsolása: Kivonatolt entitások keresése a tudásbázisban // Többforrású, többnyelvű információ kinyerése és összegzése . — 2011.  (elérhetetlen link)
• Victoria Uren, Philipp Cimiano, José Iria, Siegfried Handschuh, Maria Vargas-Vera, Enrico Motta, Fabio Ciravegna. Szemantikus megjegyzés a tudásmenedzsmenthez: Követelmények és felmérés a technika  állásáról // Web Semantics: Science, Services and Agents on the World Wide Web. - 2006. - V. 4 , sz. 1 . - S. 14 - 28 .  (nem elérhető link)
• Daya C. Wimalasuriya, Dejing Dou. Ontológia alapú információkinyerés: Bevezetés és felmérés a jelenlegi megközelítésekről  // Journal of Information Science. - 2010. - T. 36 , sz. 3 . - S. 306 - 323 .
• Burcu Yildiz, Silvia Miksch. ontoX - A Method for Ontology-Driven Information Extraction // A Számítástudomány és alkalmazásai 2007-es nemzetközi konferencia előadásai . - 2007. - T. 3. - S. 660 - 673.