Természetes nyelvi feldolgozás

A Natural Language Processing ( NLP ) a mesterséges intelligencia és a matematikai nyelvészet általános területe . A természetes nyelvű szövegek számítógépes elemzésének és szintézisének problémáit tanulmányozza . A mesterséges intelligenciával kapcsolatban az elemzés a nyelv megértését, a szintézis pedig az írástudó szöveg generálását jelenti .

Feladatok és korlátozások

Elméletileg egy természetes nyelvű interfész felépítése a számítógépek számára nagyon vonzó cél. Az olyan korai rendszerek, mint az SHRDLU , amelyek korlátozott "blokkok világával" dolgoztak, és korlátozott szókincset használtak, rendkívül jól néztek ki, és inspirálták alkotóikat. Az optimizmus azonban gyorsan elhalványult, amikor ezek a rendszerek szembesültek a való világ összetettségével és kétértelműségével.

Néha a természetes nyelv megértését is figyelembe veszik[ ki? ] A mesterséges intelligencia egy teljes feladat, mert egy élő nyelv felismeréséhez a minket körülvevő világ rendszerének hatalmas ismerete és a vele való interakció képessége szükséges. A „ megért ” szó jelentésének meghatározása a mesterséges intelligencia egyik fő feladata. .

Megértési nehézségek

Oroszul

A megértés minősége sok tényezőtől függ: nyelvtől, nemzeti kultúrától, magától a beszélgetőpartnertől stb. Íme néhány példa azokra a nehézségekre, amelyekkel a szövegértési rendszerek szembesülnek.

• Az anaforák megnyitásának nehézségei (a névmások használatánál a jelentés felismerése): a "A banánt a majmoknak adtuk, mert éhesek" és a "A banánt a majmoknak adtuk, mert túlérettek" mondatok szintaktikai felépítése hasonló. Az egyikben a névmás a majmokra, a másikban a banánra vonatkozik. A helyes megértés attól függ, hogy a számítógép tud-e arról, hogy milyenek lehetnek a banánok és a majmok.
• A szabad szórend a mondat egészen más értelmezéséhez vezethet: „A lét határozza meg a tudatot” – mi mit határoz meg?
• Az orosz nyelvben a szabad sorrendet ellensúlyozza a fejlett morfológia , a funkciószavak és az írásjelek , de a legtöbb esetben ez további problémát jelent a számítógép számára.
• A neologizmusok megtalálhatók a beszédben , például az "Ötven rubel" ige - azaz küldjön 50 rubelt. A rendszernek képesnek kell lennie arra, hogy megkülönböztesse az ilyen eseteket a gépelési hibáktól , és helyesen értelmezze azokat.
• A homonimák helyes értelmezése  egy másik probléma. A beszédfelismerésben többek között felmerül a fonetikus homonimák problémája. A "Szürke farkas találkozott egy vörös rókával egy mély erdőben " kifejezésben a kiemelt szavak ugyanúgy hallatszanak, és anélkül, hogy tudnánk, ki a süket és ki a vörös, nem teheti meg (azon túl, hogy a róka lehet vörös és az erdő lehet süket, az erdő vörös is (jellemző, jelen esetben az erdőben a lombozat uralkodó színét jelöli), míg a róka lehet süket, ami az előzőből adódó további problémát okoz, bár részben kompenzálja a morfológia - a melléknevek ebben a mondatban egyértelműen eltérő neműek).

Feladatok osztályozása

Népszerű problémák: [1] [2] [3]

1. Beszédfelismerés
2. Szövegelemzés
   • Információ kinyerése
   • Információszerzés
   • Mondatelemzés
   • Szöveges hangulatelemzés
   • Kérdés-felelet rendszerek
3. Szöveggenerálás
4. beszédszintézis

Elemzési és szintézis feladatai a komplexumban:

• Gépi fordítás
• Automatikus összegzés , megjegyzés vagy szöveg egyszerűsítése

Általános besorolás:

1. Szöveg kategorizálása
2. Karaktersorozatok osztályozása
   1. Elnevezésű entitásfelismerés
   2. A szó beszédrészeinek meghatározása
3. Kifejezés felismerés
4. Információ kinyerése szövegből
5. Szintaxis annotáció
6. Szemantikai annotáció
7. Szöveggenerálás
   1. Szöveggenerálás felismert beszéd alapján
   2. Gépi fordítás
   3. A szöveg általánosítása

Szoftver

• AlchemyAPI
• Expert System SpA
• Szövegmérnöki általános architektúra (GATE)
• Moduláris hangfelismerési keretrendszer
• MontyLingua
• Natural Language Toolkit (NLTK)

Lásd még

• Matematikai nyelvészet
• Információszerzés
• Virtuális beszélgetőpartner
• Robot (program)

Jegyzetek

1. ↑ Shervin Minaee, Nal Kalchbrenner, Erik Cambria, Narjes Nikzad, Meysam Chenaghlu. Deep Learning Based Text Classification: A Comprehensive Review  // arXiv:2004.03705 [cs, stat]. — 2020-04-05. Archiválva az eredetiből: 2020. június 24.
2. ↑ Tom Young, Devamanyu Hazarika, Soujanya Poria, Erik Cambria. A mélytanuláson alapuló természetes nyelvi feldolgozás legújabb trendjei  // arXiv:1708.02709 [cs]. — 2018-11-24. Archiválva : 2020. május 6.
3. ↑ Prof. Jason Eisner. Automatikus szövegfeldolgozási tanfolyam  (angol)  ? . Letöltve: 2020. május 7. Az eredetiből archiválva : 2020. május 13.  (határozatlan)

Linkek

• Technológia szemantikai objektumok kinyerésére a beszédből a Yandex Yandex SpeechKitből

Szótárak és enciklopédiák	Nagy katalán nagy kínai Britannica (online) Universalis
Bibliográfiai katalógusokban	J9U : 987007536703305171 LCCN : sh88002425 NDL : 00562347 NKC : ph427562