Tematikus modellezés

A témamodellezés a szöveges dokumentumok gyűjteményének modelljének felépítésének módja, amely meghatározza, hogy az egyes dokumentumok mely témákhoz tartoznak [1] .

A szöveges dokumentumok gyűjteményének témamodellje ( angol témamodell ) meghatározza, hogy az egyes dokumentumok mely témákhoz tartoznak, és mely szavak (kifejezések) alkotják az egyes témákat [2] .

A terminusok teréből a talált témák terébe való átmenet segít a terminusok szinonimáinak és poliszémiájának feloldásában, valamint olyan problémák hatékonyabb megoldásában, mint a dokumentumgyűjtemények, hírfolyamok tematikus keresése , osztályozása , összegzése , annotálása.

A témamodellezés, mint egyfajta statisztikai modell a dokumentumok gyűjteményében talált rejtett témák megtalálására, utat talált olyan területeken, mint a gépi tanulás és a természetes nyelvi feldolgozás . A kutatók különféle témamodelleket használnak szövegek, dokumentumok szövegarchívumainak elemzésére, dokumentumhalmazok témaváltozásainak elemzésére . Intuitív módon megértve, hogy a dokumentum egy bizonyos témára vonatkozik, az egy témának szentelt dokumentumokban néhány szó gyakrabban található, mint mások. Például: a „kutya” és a „csont” gyakrabban fordul elő a kutyákról szóló dokumentumokban, a „macska” és a „tej” a cicákról szóló dokumentumokban, az „és” és „ben” elöljárószó mindkét témakörben előfordul. Általában egy dokumentum több témával foglalkozik, eltérő arányban, így egy olyan dokumentumban, amelyben a téma 10%-a macskák, 90%-a pedig kutyák, feltételezhető, hogy 9-szer több szó van a kutyákról. A témamodellezés ezt az intuíciót egy olyan matematikai struktúrában tükrözi, amely egy dokumentumgyűjtemény tanulmányozása és az egyes dokumentumokban található szavak gyakorisági jellemzőinek tanulmányozása alapján arra a következtetésre jut, hogy az egyes dokumentumok a témák egy bizonyos egyensúlyát alkotják.

A modern alkalmazásokban a legelterjedtebbek a Bayes-hálózatokon alapuló megközelítések – az irányított gráfokon alapuló valószínűségi modellek . A valószínűségi témamodellek az öntanulási elmélet viszonylag fiatal kutatási területei [ . Az egyik első javasolt valószínűségi látens szemantikai analízis (PLSA), amely a maximum likelihood elvén alapul, a klasszikus klaszterezési módszerek alternatívájaként, távolságfüggvények számításán alapul. A PLSA nyomán javasolták a látens Dirichlet allokációs módszert és annak számos általánosítását [3] .

A valószínűségi témamodellek "puha" klaszterezést hajtanak végre, lehetővé téve, hogy egy dokumentum vagy kifejezés egyszerre több témához kapcsolódjon, különböző valószínűséggel. A valószínűségi témamodellek minden egyes témát egy kifejezéskészleten belüli diszkrét eloszlással írnak le , az egyes dokumentumokat pedig egy témacsoporton belüli diszkrét eloszlással. Feltételezzük, hogy egy dokumentumgyűjtemény az ilyen eloszlások keverékéből véletlenszerűen és függetlenül választott kifejezések sorozata, és a feladat a keverék összetevőinek visszaállítása a mintából [4] .

Bár a témamodellezést hagyományosan a természetes nyelvi feldolgozásban írják le és alkalmazzák, más területekre is eljutott, például a bioinformatikába .

Történelem

A témamodellezés első leírása Ragawan, Papadimitriou, Tomaki és Vempola 1998-as cikkében jelent meg [5] . Thomas Hofmann 1999-ben [6] javasolta a valószínűségi látens szemantikai indexelést (PLSI). Az egyik leggyakoribb aktuális modell a látens Dirichlet elhelyezés (LDA), ez a modell a valószínűségi szemantikai indexelés általánosítása, és David Blei , Andrew Ng és Michael Jordan ( angolul Michael I. Jordan ) [fejlesztette ki 2002-ben . Más témamodellek általában az LDA kiterjesztései, például a pachinko elhelyezés javítja az LDA-t azáltal, hogy további korrelációs együtthatókat vezet be minden egyes témát alkotó szóhoz.

Esettanulmányok

Templeton áttekintette a humán tudományok témamodellezésével kapcsolatos munkát, szinkron és diakrón megközelítések alá csoportosítva [8] . A szinkron megközelítések bizonyos időpontokban kiemelik a témákat, például Jockers egy témamodellt használt annak feltárására, hogy miről írtak a bloggerek a 2010-es Digitális Humántudományi Napon [9] .

Diakronikus megközelítések, beleértve Block és Newman definícióját a témák időbeli dinamikájáról a Pennsylvania Gazette 1728-1800-ban [10] . Griffiths és Stavers témamodellezést használt a PNAS folyóirat-ismertetőkhöz , meghatározva a téma népszerűségének változását 1991 és 2001 között [11] . Blevin tematikus modellt készített Martha Ballads naplójához [12] . A Mimno témamodellezés segítségével 24 klasszikus és régészeti folyóiratot elemzett 150 év alatt, hogy meghatározza a témák népszerűségének változásait, és azt, hogy a folyóiratok mennyit változtak ez idő alatt [13] .

Témamodellező algoritmusok

David Blay „Bevezetés a témamodellezésbe” című könyve a legnépszerűbb algoritmusnak tekinti a Latent Dirichlet Allocation [14] . A gyakorlatban a kutatók a maximum likelihood módszer egyik heurisztikáját alkalmazzák, a szinguláris érték dekompozíciós (SVD) módszereket, a momentumok módszerét , a nemnegatív faktorizációs mátrixon (NMF) alapuló algoritmust, a valószínűségi témamodelleket, a valószínűségi látens szemantikai elemzést. , látens Dirichlet elhelyezés. Vorontsov K.V. munkájában a fő témamodellezési algoritmusok variációit veszik figyelembe: robusztus témamodell, témaosztályozási modellek, dinamikus témamodellek, hierarchikus témamodellek, többnyelvű témamodellek, szövegmodellek mint szavak sorozata, multimodális témamodellek [2 ] .

A valószínűségi témamodellek a következő feltevéseken alapulnak [15] [16] [17] [18] :

A gyűjteményben lévő dokumentumok sorrendje nem számít
A szavak sorrendje egy dokumentumban nem számít, a dokumentum egy zacskó szavak.
A legtöbb dokumentumban gyakran előforduló szavak nem fontosak a téma meghatározásához
Egy dokumentumgyűjtemény ábrázolható dokumentum-szópárok válogatásaként , , $(d,w)$ $d\-ben D$ $w\in {\mathit {W}}_{d}$
Minden témakört egy ismeretlen eloszlás ír le a szavak halmazán $t\in T$ $p({\mathit {W}}|t)$ $w\in {\mathit {W}}$
Minden dokumentumot egy ismeretlen disztribúció ír le egy adott témakörben $d\-ben D$ $p(t|d)$ $t\in T$
Feltételes függetlenség hipotézise $p(w|t,d)=p(w|t)$

Témamodell felépítése azt jelenti, hogy mátrixokat keresünk és gyűjtéssel . A bonyolultabb valószínűségi témamodellekben ezen feltételezések egy részét reálisabbak váltják fel. $\Phi =||p(w|t)||$ $\Theta =||p(t|d)||$ ${\mathit {D}}$

Valószínűségi látens szemantikai elemzés

A valószínűségi látens szemantikai elemzést (PLSA) Thomas Hofmann javasolta 1999-ben. A dokumentum-szópár előfordulásának valószínűségi modellje három ekvivalens módon írható fel:

p(d,w)=\sum _{{t\in T}}p(t)p(w|t)p(d|t)=\sum _{{t\in T}}p(d) p(w|t)p(t|d)=\sum _{{t\in T}}p(w)p(t|w)p(d|t)

hol van a témakör; $T$

p(t)

— a témakörök eleve ismeretlen megoszlása a teljes gyűjteményben;

p(d)

a priori eloszlás egy dokumentumkészleten, empirikus becslés , ahol az összes dokumentum teljes hossza;

p(d)=n_{d}/n

n=\összeg _{d}n_{d}

p(w)

a priori eloszlás a szavak halmazán, empirikus becslés , ahol egy szó előfordulásának száma az összes dokumentumban;

p(w)=n_{w}/n

n_{w}

w

A kívánt feltételes eloszlásokat a Bayes-képlet segítségével fejezzük ki : $p(w|t), p(t|d)$ $p(t|w),p(d|t)$

$p(w|t)={\frac {p(t|w)p(w)}{\sum _{{w'}}p(t|w')p(w')}});\qquad p (t|d)={\frac {p(d|t)p(t)}{\sum _{{t'}}p(d|t')p(t')}}.$

A témamodell paramétereinek dokumentumgyűjteményből történő azonosításához a maximum likelihood elvet alkalmazzuk , ami a funkcionális maximalizálás problémájához vezet [19].

$\sum _{d\in D}\sum _{w\in d}n_{dw}\ln \sum _{t\in \mathrm {T} }\varphi _{wt}\theta _{ td}\to \max _{\Phi ,\Theta },$

normalizálási korlátok mellett

$\sum _{w}p(w|t)=1,\;\sum _{t}p(t|d)=1,\;\sum _{t}p(t)=1,$

ahol a szó előfordulásának száma a dokumentumban . Ennek az optimalizálási problémának a megoldására általában az EM algoritmust használják . $n_{{dw}}$ $w$ $d$

A PLSA fő hátrányai:

A paraméterek száma lineárisan növekszik a gyűjteményben lévő dokumentumok számával, ami a modell túlillesztéséhez vezethet.
Ha új dokumentumot adunk a gyűjteményhez, az eloszlás nem számítható ki ugyanazokkal a képletekkel, mint más dokumentumok esetében a teljes modell újraépítése nélkül. $d$ $p(t|d)$

Dirichlet látens elhelyezése

A látens Dirichlet allokációt (LDA) David Bley javasolta 2003-ban.

Ez a módszer kiküszöböli a PLSA fő hátrányait.

Az LDA módszer ugyanazon a valószínűségi modellen alapul

$p(d,w)=\sum _{{t\in T}}p(d)p(w|t)p(t|d),$

további feltételezésekkel:

a dokumentumvektorokat ugyanazzal a valószínűségi eloszlással állítják elő normalizált -dimenziós vektorokon; célszerű ezt az eloszlást a Dirichlet-eloszlások parametrikus családjából venni ; $\theta _{d}={\bigl (}p(t|d):t\in T{\bigr )}$ $|T|$ ${\mathrm {Dir}}(\theta ,\alpha ),\;\alpha \in {\mathbb {R}}^{{|T|}}$
a témavektorokat ugyanazzal a valószínűségi eloszlással generáljuk normalizált dimenzióvektorokon ; célszerű ezt az eloszlást a Dirichlet-eloszlások parametrikus családjából átvenni . $\phi _{t}={\bigl (}p(w|t):w\in W{\bigr )}$ $|W|$ ${\mathrm {Dir}}(\theta ,\beta ),\;\beta \in {\mathbb {R}}^{{|W|}}$

A Gibbs-mintavételt , a variációs Bayes-i következtetést vagy a várakozási terjedési módszert használják az LDA-modell paramétereinek azonosítására egy dokumentumgyűjteményből .(Elvárás terjedése).

Lásd még

szemantikai
Dirichlet

Jegyzetek

↑ Korsunov, 2012 .
↑ 1 2 Voroncov, 2013 .
↑ Ali10, 2010 .
↑ Voroncov 2012. 12 .
↑ Papadimitriou, 1998 .
↑ Hofmann, 1999 .
↑ Blay 2003, 2003 .
↑ Templeton, 2011 .
↑ Jokerek, 2010 .
↑ Newman Block, 2006 .
↑ Griffiths, 2004 .
↑ Blevin, 2010 .
↑ Mimno, 2012 .
↑ Blay 2012, 2012 .
↑ Korshunov, 2012 , p. 229.
↑ Voroncov, 2013 , p. 6.
↑ Voroncov 13, 2013 , p. 5.
↑ VorontsovML, 2013 , p. 5.
↑ K. V. Voroncov. Valószínűségi tematikus modellezés (orosz) ? . Hozzáférés időpontja: 2013. október 26. Az eredetiből archiválva : 2014. július 24. (határozatlan)

Irodalom

Korshunov Anton, Gomzin Andrej. Természetes nyelvű szövegek tematikus modellezése // Az Orosz Tudományos Akadémia Rendszerprogramozási Intézetének közleményei: folyóirat. — 2012.
Voroncov K.V. Valószínűségi tematikus modellezés // www.machinelearning.ru : web. — 2013.
Voroncov K.V., Potapenko A.A. Valószínűségi tematikus modellek szabályszerűsége, robusztussága és ritkasága // Számítógépes kutatás és modellezés : folyóirat. - 2012. - S. 693-706 .
Voroncov K.V. Valószínűségi témamodellek additív szabályozása Előadás // www.machinelearning.ru : web. — 2013.
Voroncov K.V. Szöveges dokumentumok gyűjteményének valószínűségi tematikus modelljei Bemutató // www.machinelearning.ru : web. — 2013.
Mark Stavers, Tom Griffiths. Valószínűségi tematikus modell. // A látens szemantikai elemzés kézikönyve / T. Landauer, D. McNamara, S. Dennis, W. Kintsch. - Psychology Press, 2007. - ISBN 978-0-8058-5418-3 . Archivált : 2013. június 24. a Wayback Machine -nél
Daud Ali, Li Juanzi, Zhou Lizhu, Muhammad Faqir. Tudásfeltárás irányított valószínűségi témamodelleken keresztül: felmérés. In Proceedings of Frontiers of Computer Science in China. // www.researchgate.net : web. – 2010.
Christos Papadimitriou, Prabhakar Raghavan, Hisao Tamaki, Santosh Vempala. Látens szemantikus indexelés: valószínűségi elemzés // Proceedings of ACM PODS. - 1998. Archiválva : 2013. május 9.
Thomas Hoffman. Valószínűségi látens szemantikai indexelés // Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in Information Retrieval. - 1999. Archiválva : 2010. december 14.
David M. Blei, Andrew Y. Ng, Michael I. Jordan. Látens Dirichlet allokáció // Journal of Machine Learning Research. - 2003. Archiválva : 2012. május 1.
David Blei. Bevezetés a valószínűségi témamodellekbe // Az ACM kommunikációja . - 2012. - S. 77–84 . Archiválva az eredetiből 2017. február 15-én.
David Blei, JD Lafferty. Témamodellek : web. - 2009. Archiválva : 2013. május 31.
David Blei, JD Lafferty. Bevezetés a valószínűségi témamodellekbe // Annals of Applied Statistics. - 2007. - S. 17-35 . - doi : 10.1214/07-AOAS114 . Archiválva az eredetiből 2017. február 15-én.
David Mimno. Számítógépes történetírás: Adatbányászat a klasszikusok évszázadában folyóiratok // Journal on Computing and Cultural Heritage: folyóirat. - 2012. - doi : 10.1145/2160165.2160168 .
Matthew L. Jockers. Ki a DH-blogtársad: A DH-bloggerek napjának párosítása témamodellezéssel : web. – 2010.
E. Mix. A digitális humán tudományok megértése : web. – 2011.
C. Templeton. Témamodellezés a bölcsészettudományban: áttekintés. // Maryland Institute for Technology in the Humanities Blog : web. – 2011.
T. Gifits, M. Stivers. Tudományos témák keresése // Proceedings of the National Academy of Sciences: folyóirat. - 2004. - doi : 10.1073/pnas.0307752101 . — PMID 14872004 .
T. Young, A Torget és R. Mihalcea. Témamodellezés történelmi újságokban // Az 5. ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences és Humán tudományok anyaga. The Association for Computational Linguistics, Madison: folyóirat. - 2011. - S. 96-104 . Az eredetiből archiválva : 2014. március 27.
S. Block. Többet tenni a digitalizálással – Bevezetés a témamodellezésbe korai amerikai forrásokban // Common-place The Interactive Journal of Early American Life: Journal. – 2006.
D. Newman, S. Block. Probabilistic Topical Expansion in 18th Century Newspapers // Journal of the American Society for Information Science and Technology: Journal. - 2006. - doi : 10.1002/asi.20342 .
C. Blevin. Martha Ballards naplójának tematikus modellezése // történelemírás : web. – 2010.

Linkek

Előadás: Témamodellezés – K. V. Voroncov // Adatelemzés iskolája (videoelőadások).
2. előadás: Témamodellezés - K. V. Vorontsov // Adatelemzés iskolája (videóelőadások).
Tematikus modellezés . (határozatlan)
Dokumentumgyűjtemények témamodellezéshez . (határozatlan)
Teljesen ritka témamodellek (fordítás) / Fully Sparse Topic Models . (határozatlan)
Felmérés a valószínűségi témamodellekről . (határozatlan)
Témamodellek egy szöveggyűjteményhez . (határozatlan)
A gépi tanulás bayesi módszerei (előadás, D. P. Vetrov, D. A. Kropotov) . (határozatlan)
Heatlton, Clay Témamodellezés a bölcsészettudományban. Általános áttekintés. . Maryland Technológiai Bölcsészettudományi Intézet. (határozatlan)
Témamodellezés alkalmazása hírelemzéshez és ismertetőkhöz. Videó Alice Oh Google Tech Talk prezentációjáról a téma modellezéséről latens Dirichlet allokációval
Modellezéstudomány: A tudományos kutatás dinamikus tematikus modellezése. Videó David M. Blei Google Tech Talk előadásáról
Automatizált témamodell a politikatudományban. Videó Brandon Stewart előadásáról a Tools for Text Workshopon , 2010 . június 14 - én
Előadás: Témamodellezés - David Blay 2009 Video előadás Princetoni Egyetemen
Valószínűségi témamodellek rendszeresítése az értelmezhetőség növelése és a témák számának meghatározása érdekében Párbeszéd 2014
Szerény témamodellek kiemelkedő szófelfedezéssel

Szoftver és szoftverkönyvtárak

Malet (program)
Stanford Egyetem témamodellező eszköztár
GenSim - "téma szimuláció emberek számára"
LDA C# LDA az Infer.NET-ben

természetes nyelvi feldolgozás
Általános meghatározások	Szövegkorpusz beszédkorpusz Hagyd abba a szavakat zsák szavakat AI teljesség N-gramm Biggram titkosítás trigram
Szövegelemzés	Szöveg szegmentálása Részleges jelölés Felületi elemzés Összetett szövegszerkesztés Kollokációk kibontása eredő Lemmatizálás Elnevezett entitás felismerés Koreferencia felbontás Szöveges hangulatelemzés Fogalom kinyerése elemzése A lexikális poliszémia feloldása terminológia kivonat Információ kinyerése Nyelvi azonosítás Esetmeghatározás
Hivatkozás	Mondatok kibontása Absztrakt generáció Több dokumentumra való hivatkozás Szöveg egyszerűsítés
Gépi fordítás	automatizált Hibrid nyelvközi Szabály alapú Példák alapján Szótár alapú Átalakulás alapján idegi Statisztikai Szinkron
Azonosítás és adatgyűjtés	Beszédfelismerés beszédszintézis Optikai karakter felismerés Szöveggenerálás
Tematikus modell	Pachinko elhelyezés Látens Dirichlet elhelyezés Látens szemantikai elemzés
Peer review	Az esszék automatizált értékelése Concordancer Prediktív szövegbevitel Nyelvtan-ellenőrző Helyesírás-ellenőrző Szintaxis találgatás
Természetes nyelvű felület	virtuális asszisztens Virtuális beszélgetőpartner Kérdés-felelet rendszer Hang interfész Interaktív irodalom