Retrieving Answers from Normative Documents via Conversational Interfaces

Ing. Ivo Pisařovic

Disertační práce

Získávání odpovědí z normativních dokumentů prostřednictvím konverzačních rozhraní

Anotace:

Velké organizace mají interní dokumenty, které jim pomáhají řídit procesy, jako např. založení bankovního účtu nebo přihlášení ke studiu. Čtení takových normativních dokumentů je pro běžné uživatele často nepříjemné. Organizace proto používají systémy pro automatické zodpovídání dotazů (QA). Bylo však zjištěno, že QA systémy neposkytují dostačující výsledky při hledání odpovědí v normativních dokumentech. V této dizertaci je navržena nová metoda pro zlepšení výsledků QA, která se zaměřuje na úpravu vstupních dokumentů a otázek uživatelů, aby lépe vyhovovaly existujícímu QA systému. Tato metoda efektivně využívá striktní strukturu typickou pro normativní dokumenty a používá dialogy pro odstranění nejednoznačností v otázkách uživatelů. Na vybraných dokumentech došlo ke zvýšení metriky recall z 34 % na 91 %. Díky odstranění nejednoznačností došlo také ke zvýšení metriky precision o 45 %. Kvůli absenci vhodného datasetu pro otestování této metody byl vytvořen a publikován nový dataset obsahující 1767 otázek a 12 normativních dokumentů. V závěru analýza uživatelské zkušenosti (UX) srovnává standardní způsoby hledání informací s konverzačním rozhraním zahrnutým v nové metodě a uvádí obecné vzory chování.

Abstract:

Large organizations have internal documents to support processes like bank account opening or study applications. Reading such normative documents is often difficult for ordinary users. Organizations thus employ Question Answering (QA) systems to automate answering frequent questions. However, it was found that current QA systems do not provide satisfactory results when finding answers in normative documents. In the dissertation, a novel method to improve the performance of QA is proposed, which focuses on adapting input documents and users’ questions to better fit an existing QA system. The method efficiently exploits the strict document structure that is typical of normative documents, and it uses multi-turn dialogues to clarify a user’s question if it is ambiguous. The recall was increased from 34% to 91% for selected normative documents. Moreover, the precision was increased by 45% thanks to the disambiguation dialogues. Due to the lack of a suitable dataset for the evaluation of the new method, a novel dataset consisting of 1767 questions and answers from 12 normative documents was created and published. Finally, the user experience analysis compared the standard ways of searching for information with the conversational interface employed by the proposed method, and presented common behavioural patterns.

Klíčová slova

systémy odpovídající na dotazy, konverzační uživatelské rozhraní, získávání informací, zpracování přirozeného jazyka, interaktivní systémy odpovídající na dotazy, chatbot, normativní dokumenty, vyhledávání v dokumentech, zpracování dokumentů

Keywords

chatbot, normative documents, document search, document processing, natural language processing, information retrieval, question answering, interactive question answering, conversational user interface

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 29. 4. 2021

Obhajoba závěrečné práce

• Vedoucí: doc. Ing. František Dařena, Ph.D.

Mendelova univerzita v Brně

Provozně ekonomická fakulta

Doktorský studijní program / obor:
Systémové inženýrství a informatika / Ekonomická informatika