Automatic question answering for flective languages

Mgr. Marek Medveď

Advanced ('rigorózní') thesis

Abstract:

Jednou z najväčších výziev z oblasti informatiky a umelej inteligencie je problém automatickej odpovede na otázku (anglicky Question Answering, skratka QA), pričom otázka nie je limitovaná žiadnou oblasťou. Tento problém má dlhú históriu a za posledných desať rokov prešiel veľkým rozvojom. Špecifickým rysom QA systémov s otvorenou doménou je, že sa nekladú žiadne obmedzenia na obsah kladenej otázky. Tieto systémy preto môžme považovať za vyhľadávacie systémy novej generácie. Jediným obmedzením týchto systémov je len zdroj informácii, s ktorými samotný systém pracuje. Existujú dva hlavné zdroje týchto informácií a to znalostná báza alebo textové dokumenty. Pre účel automatickej odpovede na otázku je potrebné oba tieto zdroje predspracovať. To sa deje za pomoci nástrojov na dolovanie informácií z textu, ktoré umožňujú extrahovať všetky dostupné informácie z textu, na základe ktorých prebieha následné hľadanie vhodnej odpovede na zadanú otázku. Väčšina QA systémov vyhynutých v poslednej dobe, ktoré operujú nad jedným zo zmienených zdrojov dát, je založených na jednom z celosvetovo najpoužívanejších jazykov, ako je napríklad angličtina. Výhodou týchto jazykov je, že sú dostupné buď veľké znalostné bázy alebo textové korpusy, ktoré poskytujú neoceniteľné štatistické dáta extrahované z obrovských textov. Na druhú stranu tieto systémy nie sú plne adaptovateľné na zvyšné jazyky bez viditeľnej straty v presnosti odpovede. V týchto tézach dizertačnej práce sa pojednáva o návrhu a vývoji techník založených na syntaxy, od ktorých sa očakáva ich pozitívny dopad na presnosť QA systému, ktorý bude pracovať s flektívnymi jazykmi (ako napríklad slovanské jazyky). Systém bude obsahovať štyri hlavné časti, ktoré sa objavujú vo väčšine súčasných QA systémov, a to sú modul na spracovanie otázky, modul na výber vhodného dokumentu, modul na výber vhodnej odpovede a modul na extrakciu vhodnej časti zvolenej odpovede. Naším cieľom je implementovať vytvorenú syntakticky motivovanú techniku do modulu na výber vhodnej odpovede a do modulu na extrakciu vhodnej časti zvolenej odpovede. Konečný prototyp QA systému bude obsahovať najnovšie technológie z tejto oblasti, ktoré budú doplnené syntaktickými rysmi daného jazyka. Vo výslednej dizertačnej práci taktiež doložíme dôkaz dopadu tejto významnej informácie na výsledný výkon prototypu. Výsledný prototyp bude vyhodnotený na databáze SQAD (Simple Question-Answering Database), ktorá je vyvíjaná zároveň s týmto projektom. Očakávaná veľkosť tejto databázy je 9000 párov otázok a odpovedí, ktoré boli získané z českej Wikipédie.

Abstract:

Open domain question-answering (QA) problem is one of the most challenging in the computer science and artificial intelligence field. QA has had a long history and has seen considerable advancement over the past decade. Open domain question answering systems do not pose any limit on the content of the question, they rather aim to serve as "next generation" search systems. The capabilities of QA systems are, of course, limited by their actual information source - either a (form of a) knowledge base or a (set of) text document(s), which first need to be processed by text mining techniques to obtain all available information from the text to be able to provide all candidate answers. Most of the recent open domain QA systems in both categories are based on resources of the mainstream languages, usually English, which offers the best coverage of questioned topics - either in the form of large curated knowledge bases or huge corpora offering invaluable statistics on multiword contexts. This also means that the capabilities of such systems are not fully transferable to non-mainstream languages without a substantial decrease in accuracy. In this thesis proposal, we design and develop syntax based techniques that are expected to improve performance of a QA system with flective languages (non-mainstream ones such as languages from the Slavonic family), following the common structure of state-of-the-art QA systems consisting of four major parts: the question processor, document selector, answer selector and answer extractor. We aim to implement the designed syntax based techniques in the answer selection and answer extraction modules. The final QA system prototype will implement state-of-the-art techniques supplemented by syntactic information features. In the thesis, we will provide an evidence of syntactic information significance inside the system prototype. The QA system prototype will be evaluated on Simple Question-Answering Database, or SQAD, that is being developed alongside the project. The SQAD dataset will be extended to more than 9,000 question-answer pairs extracted from the Czech Wikipedia.

Keywords

Question Answering, flective languages, syntactic information

Language used: English

Date on which the thesis was submitted / produced: 19. 9. 2017

Thesis defence

• Date of defence: 28. 5. 2018
• Reader: doc. Mgr. Pavel Rychlý, Ph.D., doc. RNDr. Pavel Smrž, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Artificial Intelligence and Natural Language Processing