Probabilistic Semantic Frames

RNDr. Jiří Materna, Ph.D.

Doctoral thesis

Abstract:

V komunitě počítačových lingvistů během několika posledních dekád výrazně vzrostla popularita takzvaných sémantických rámců. Sémantické rámce jsou datové struktury zachycující význam lexikálních jednotek pomocí množiny sémantických rolí. Na sémantické rámce lze nahlížet také jako na formální reprezentaci prototypických situací, které jsou příslušnými lexikálními jednotkami evokovány. Lingvisté tyto rámce obvykle používají pro popis vztahu mezi syntaxí a sémantikou. V praktických aplikacích počítačového zpracování přirozeného jazyka mohou být využívány například k desambiguaci slovních významů, pro reprezentaci znalostí nebo k řešení víceznačností při syntaktické analýze přirozených jazyků. Slovníky sémantických rámců jsou dnes vytvářeny převážně ručně nebo poloautomaticky školenými lingvisty. Mezi ručně vytvářené slovníky patří například známá databáze sémantických rámců FrameNet, slovník anglických valenčních rámců VerbNet nebo české slovesné valenční slovníky Vallex a VerbaLex. Tyto a další lexikální zdroje mají celou řadu slibných aplikací, ale trpí několika nevýhodami. Nejpodstatnější nevýhodou je jejich ruční způsob tvorby, který vyžaduje časově náročnou a drahou práci lingvistů. Pokrytí takových slovníků je pak často malé nebo omezené na nějakou specifickou doménu. Vzhledem k tomu, že jde o velmi nežádoucí vlastnosti, tato disertační práce popisuje způsob, jak vytvářet slovníky sémantických rámců automaticky. Základní myšlenka spočívá v generování množiny sémantických rámců maximalizací aposteriorní pravděpodobnosti pravděpodobnostního modelu na syntakticky značkovaném korpusu. Sémantická role je potom reprezentována jako pravděpodobnostní rozdělení přes své realizace v trénovacím korpusu a sémantický rámec jako n-tice sémantických rolí spojených s nějakou gramatickou relací. Pro každou lexikální jednotku je identifikováno pravděpodobnostní rozdělení přes všechny sémantické rámce. Pravděpodobnost rámce tak odpovídá relativní četnosti jeho použití v korpusu. Metoda vytváření takovýchto pravděpodobnostních sémantických rámců je podobná vytváření latentních témat v přístupu nazvaném Latent Dirichlet Allocation. To je důvod, proč jsou pravděpodobnostní sémantické rámce navržené v této práci pojmenovány LDA-Frames. Nejpřímočařejší aplikací je použití LDA-Frames pro automatické hledání sémantických vzorů lexikálních jednotek, které mohou být využity k analýze jazyka, případně k tvorbě slovníků. Vhodnost využití pro tyto účely je ilustrována na porovnání s ručně vytvořeným slovníkem slovesných vzorů z projektu CPA (Corpus Pattern Analysis). Druhou aplikací, která demonstruje sílu LDA-Frames v této práci, je měření sémantické podobnosti mezi lexikálními jednotkami. Je zde ukázáno, že thesaurus vytvořený pomocí navržených pravděpodobnostních sémantických rámců kvalitou překonává konkurenční přístup využívající nástroj Sketch Engine. Disertační práce je strukturována do dvou částí. V první části jsou představeny základy lexikální sémantiky a nejnovější výsledky z oblasti sémantických rámců. Druhá část je zaměřena na popis nutných teoretických základů pro popis LDA-Frames, jejich definici a evaluaci. Základní model je zde doplněn o několik rozšíření. Jedná se zejména o neparametrickou verzi a o paralelní výpočetní model. Poslední sekce druhé části jsou věnovány ilustraci použití LDA-Frames v praktickém počítačovém zpracování přirozeného jazyka.

Abstract:

During recent decades, semantic frames, sometimes called semantic or thematic grids, have been becoming increasingly popular within the community of computational linguists. Semantic frames are conceptual structures capturing semantic roles valid for a set of lexical units, which can alternatively be seen as a formal representation of prototypical situations evoked by lexical units. Linguists use them for their ability to describe an interface between the syntax and the semantics. In practical natural language processing applications, they can be used, for instance, for the word sense disambiguation task, knowledge representation, or in order to resolve ambiguities in the syntactic analysis of natural languages. Nowadays, lexicons of semantic frames are mainly created manually or semi-automatically by highly trained linguists. Manually created lexicons involve, for example, a well-known lexicon of semantic frames FrameNet, a lexicon of verb valencies known as VerbNet, or Czech valency lexicons Vallex and VerbaLex. These and other frame-based lexical resources have many promising applications, but suffer from several disadvantages. Most importantly, their creation requires manual work of trained linguists, which is very time-consuming and expensive. The coverage of the resources is then usually small or limited to specific domains. In order to avoid the problems, this thesis proposes a method of creating semantic frames automatically. The basic idea is to generate a set of semantic frames and roles by maximizing the posterior probability of a probabilistic model on a syntactically parsed training corpus. A semantic role in the model is represented as a probability distribution over all its realizations in the corpus, and a semantic frame as a tuple of semantic roles, each of them connected with some grammatical relation. For every lexical unit from the corpus, a probability distribution over all semantic frames is generated. The probability of a frame corresponds to the relative frequency of its usage in the corpus for a given lexical unit. The method of constructing semantic roles is similar to inferring latent topics in Latent Dirichlet Allocation, thus, the probabilistic semantic frames proposed in this work are called LDA-Frames. The most straightforward application is its use as a corpus-driven lexicon of semantic patterns that can be exploited by linguists for the language analysis, or by lexicographers for creating lexicons. The appropriateness of using LDA-Frames for these purposes is shown in the comparison with a manually created verb pattern lexicon from the Corpus Pattern Analysis project. The second application, which demonstrates the power of LDA-Frames in this thesis, is the measurement of a semantic similarity between lexical units. It will be shown that the thesaurus built using the information from the probabilistic semantic frames outperforms a competitive approach based on the Sketch Engine. This thesis is structured into two parts. The first part introduces basic concepts of lexical semantics and explores the state of the art in the field of semantic frames in computational linguistics. The second part is dedicated to describing all the necessary theoretical background, as well as the idea of LDA-Frames with its detailed description and evaluation. The basic model is provided along with several extensions, namely a non-parametric version and a parallelized computational model. The last sections of the thesis illustrate the usability of LDA-Frames in practical natural language processing applications.

Keywords

LDA-Frames, probabilistic semantic frames, semantic frames, NLP

Language used: English

Date on which the thesis was submitted / produced: 29. 4. 2014

Thesis defence

• Date of defence: 5. 11. 2014
• Supervisor: prof. PhDr. Karel Pala, CSc.
• Reader: prof. Ing. Václav Matoušek, CSc., Dr. Maciej Piasecki, RNDr. Martin Holub, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics