Syntactic analysis of natural languages based on context free grammar backbone

Mgr. Vladimír Kadlec, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

Syntaktická analýza přirozených jazyků založená na bez-kontextové gramatice Cílem této práce je vytvořit nástroj pro robustní syntaktickou analýzu přiroze-ných jazyků. Analýza vět v přirozeném jazyce je v tomto nástroji založena na bezkontextové gramatice pro daný jazyk. Vnitřní reprezentace odvozovacích stromů by měla umožnit na tyto stromy aplikovat kontextové omezovací podmínky, například shoda pádu ve jmenné skupině. Tento obecně NP-úplný problém vyžaduje opatrnou implementaci. Dále bychom měli umožnit efektivní práci se stromy, které již byly ,,ořezány`` těmito podmínkami, a také být schopni vybrat n nejpravděpodobnějších stromů podle pravděpodobností pravidel získaných z korpusu stromů. Náš systém je jazykově nezávislý, nicméně je optimalizován pro rozsáhlé a velmi nejednoznačné gramatiky pro češtinu (tisíce odvozovacích pravidel). Očekáváme, že tento nástroj může být úspěšně použit pro porovnání různých algoritmů pro syntaktickou analýzu pomocí bezkontextových gramatik. Toto porovnání je klíčové pro počítačové lingvisty, kteří hodlají implementovat rychlý a efektivní syntaktický analyzátor pro daný jazyk.

Abstract:

Syntactic analysis of natural languages based on context free grammar backbone The objective of the thesis is to create tool for robust syntactic analysis of natural language. The analysis of natural language sentences is in this tool based on context free grammar for given language. The internal representation of derivation trees should allow applying contextual constraints, e.g. agreement fulfillment. In general this is NP-complete problem and so it needs careful implementation. We should be able to work effectively with trees, where these constraints were applied. We can also select $n$ most probable trees based on frequency characteristics obtained from tree-banks. The system is language-independent, however it is optimized for very large and highly ambiguous grammars for Czech (thousands of rules). We also expect this tool can be used for comparing and evaluating different CFG-parsing algorithms. This is crucial for computational linguists, who are going to implement fast syntactic analyzer for given natural language.

Keywords

NLP, parsing, syntactic analysis, czech

Language used: English

Date on which the thesis was submitted / produced: 21. 4. 2008

Thesis defence

• Date of defence: 21. 4. 2008

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Informatics