Automatic Syntactic Analysis for Real-World Applications

RNDr. Vojtěch Kovář, Ph.D.

Doctoral thesis

Abstract:

Syntaktická analýza (parsing) přirozených jazyků je podoblastí zpracování přirozeného jazyka (natural language processing, NLP) často označovanou za nutný základ pro jakékoli pokročilejší zpracování jazyka a skutečné strojové porozumění. Cílem syntaktické analýzy je odhalit strukturu věty, jazykové jednotky nesoucí význam a vztahy mezi nimi – je tedy těžké představit si skutečné porozumění jazyku bez této informace. V současných „inteligentních“ aplikacích se ale syntaktická analýza téměř nevyužívá a bývá nahrazena čistě statistickými metodami.Dokonce se v oblasti NLP běžně setkáme s názorem, že syntaktická analýza není pro praktické aplikace zajímavá. V textu analyzujeme současný stav oblasti automatické syntaktické analýzy přirozených jazyků a identifikujeme konkrétní problémy, kterými je třeba se zabývat. Na základě této analýzy navrhujeme další vhodné směry vývoje – diskutujeme používanou metodologii, praxi vyhodnocování, manuální anotaci dat a přístupy k návrhu a implementaci nástrojů pro automatickou syntaktickou analýzu. Dále popisujeme výsledky naší práce v rámci těchto nových směrů, zahrnující nový formát manuální syntaktické anotace a dva aplikačně orientované syntaktické analyzátory. Ukážeme vícero využití těchto nástrojů, čímž podpoříme dříve specifikovanou metodologii. Součástí práce je vyhodnocení praktických výstupů a diskuse problémů.

Abstract:

Syntactic analysis (parsing) of natural languages is a subfield of natural language processing (NLP) that is often claimed to be a “corner stone” of the area, a necessary base for any advanced language processing and real understanding. Syntactic analysis deals with revealing the sentence struc­ture, language units bearing meaning and relationships among them; it is hard to imagine real language understanding without this information. On the other hand, in current practical ”intelligent” applications, syntactic processing is often substituted by purely stochastic methods. There are even visible opinions in the NLP community claiming that syntactic analysis is not really needed in practical applications. In this work, we analyse the current status of the field and identify the par­ ticular problems that it is suffering from. Based on this analysis, we pro­ pose next directions that the research of parsing should accommodate. We discuss methodology and evaluation, manual annotation procedures and approaches to design and implementation of the natural language parsing tools. Then, we describe results of our research within these directions. They in­ clude a new format for manual syntactic annotation and two application oriented tools for automatic syntactic analysis. Many application usages of these tools are reported which supports our methodology considera­ tions. Evaluation of the practical outputs of the work is provided, and evaluation methodology problems are discussed.

Keywords

syntactic analysis, Czech, parser, SET, application, bushbank, EFA, punctuation detection, word sketch, terminology, authorship, authorship verification, grammar checking, collocation extraction, treebank, sketch grammar, information extraction

Language used: English

Date on which the thesis was submitted / produced: 30. 4. 2014

Thesis defence

• Date of defence: 26. 8. 2014
• Supervisor: doc. RNDr. Aleš Horák, Ph.D.
• Reader: doc. RNDr. Vladimír Petkevič, CSc., Prof. John A. Carroll

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics