Automatic question answering for flective languages

RNDr. Marek Medveď

Doctoral thesis

Abstract:

Oblasť automatickej odpovede na otázku je vedná disciplína v rámci získavania informácií a spracovania prirodzeného jazyka. Hlavným zámerom tejto disciplíny je vytvorenie systému, ktorý dokáže automaticky poskytnúť odpoveď na otázku zadanú ľudským agentom v prirodzenom jazyku. Táto práca predstavuje nástroj na automatické odpovedanie na otázky s názvom "Automatic Question Answering" (AQA), ktorý sa zameriava na flektívne jazyky. Systém AQA združuje štyri hlavné procesy: predspracovanie vstupnej otázky, výber vhodného dokumentu , výber kandidátnej vety a extrakcia finálnej odpovede. Každý z týchto komponentov využíva najmodernejšie algoritmy pre danú úlohu. Pomocou neurónových sietí typu LSTM a štandardných nástrojov pre spracovanie prirodzeného jazyka, nástroj na predspracovanie otázky je schopný zistiť a extrahovať nutné informácie zo zadanej otázky. Tieto poznatky sú následne spracované nástrojom na výber vhodného dokumentu, ktorý za pomoci TF-IDF metódy, vylepšenej o váženie významných slov, zvolí dokument obsahujúci danú informáciu. Nakoniec za pomoci nástroja na výber vhodnej vety a nástroja na extrakciu odpovede sa vytvorí konečná odpoveď. Nástroj na výber vhodnej vety najprv zvolí jdenu vetu z dokumentu, ktorá s najväčšou pravdepodobnosťou obsahuje hľadanú informáciu a následne nástroj na extrakciu finálnej odpovede vyberie rozsah slov, ktorý dokáže dostatočne zodpovedať zadanú otázku a zároveň je čo najkratší. Celý systém je vyhodnotený na českej dátovej sade s názvom "Simple Question Answering Database" (SQAD), ktorá bola vyvinutá súčasne so systémom AQA a slúži primárne na trénovanie a testovanie jednotlivých modulov. Databáza SQAD je prvá česká dátová sada vytvorená špecificky pre oblasť automatickej odpovede na otázky. Najnovšia verzia obsahuje 16 025 záznamov a je najväčšou českou databázou v tejto oblasti (v rámci práce bol vytvorený samostatný nástroj na vytváranie a anotovanie nových záznamov). Finála úspešnosť celého AQA systému dosiahla úspešnosť 81 %. Modularita systému dokonca umožňuje vylepšovať a vyhodnocovať každú čast samostatne. Nástroj na výber správeho dokumentu v našom testovaní dosiahol úspešnosti viac ako 90 %, nástroj na výber vhodnej odpovede úspešne vybral správnu odpoveď v skoro 92 % prípadov a nástroj na extrakciu poskytol správnu odpoveď v skoro 91 % prípadov. Celý systém AQA je taktiež prístupný k vyskúšaniu na stránkach NLP laboratória Fakulty informatiky Masarykovej univerzity.

Abstract:

Question answering (QA) is a computer science discipline within the fields of information retrieval and natural language processing (NLP), which is concerned with building systems that automatically answer questions posed by humans in a natural language. This work presents a Question Answering pipeline built for flective languages called Automatic Question Answering (AQA). This pipeline comprises four major components: the Question Processor, Document Selector, Answer Selector, and Answer Extractor, where each module incorporates and state-of-the-art algorithm for a specific task. Using a Long Short Therm (LSTM) neural network and standard Natural Language Processing (NLP) tools, the Question Processor is able to extract all necessary information regarding the input question. Provided features are then used by Document Selector, which incorporates the TF-IDF scoring mechanism enhanced by our weighting strategy. The final answer is then established by combining the last two modules. First, the Answer Selection module, based on Transformers and reinforced by context features, selects the most probable answer sentence. Then the Answer Extraction module extracts the shortest and still informative span as a final answer. In the end, the final pipeline is tested against the Simple Question Answering Database (SQAD) that was developed for training and testing purposes of the AQA system. It is the first Czech dataset developed specifically for QA task. The latest version consists of 16 025 records, which makes it the largest Czech dataset (expandable through the web interface developed as part of the SQAD). Reaching the 81%, the AQA pipeline shows excellent performance on the end-to-end Question Answering task. Its modularity also offers the great performance of each module that can be evaluated separately. Overall the Document Selector reaches more than 90% accuracy on the document selection task, the Answer Selector selects the correct answer sentence in nearly 92% of cases, and the Answer Extractor provides the correct final answer in almost 91% of cases. The final AQA pipeline is available for demonstration purposes on the FI-NLP web pages.

Keywords

question answering, context question answering, Automatic Question Answering (AQA), AQA, Simple Question Answering Database, SQAD, LSTM, BERT, word embeddings, sentence embeddings, named entity, question type analysis, document selection, answer selection, answer extraction

Language used: English

Date on which the thesis was submitted / produced: 10. 1. 2023

Thesis defence

• Date of defence: 14. 6. 2023
• Supervisor: doc. RNDr. Aleš Horák, Ph.D.
• Reader: doc. Ing. Zdeněk Žabokrtský, Ph.D., prof. Marko Tadić

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Computing Technology and Methodology