Multimodal Document Understanding through Visual Question Answering

Bc. Šárka Ščavnická

Master's thesis

Anotácia:

Služby na spracovania dokumentov sú čoraz populárnejšie vo viacerých odvetviach, čo vedie k rastúcemu počtu výskumov použitia umelej inteligencie pri spracovaní dokumentov, táto oblasť je známa ako Document Intelligence. Táto práca sa zameriava na zodpovedanie otázok, ktoré sa týkajú dokumentov a ich vizuálnej stránky, skrátene známe pod pojmom DVQA (document visual question answering). Ide o podoblasť Document Intelligence, ktorá si získava pozornosť pre svoju univerzálnosť. Obmedzená dostupnosť zdrojov pre iné jazyky než angličtina však obmedzuje použiteľnosť DVQA. Na prekonanie tohto problému sme vytvorili nový dataset s názvom Czech Inovice Visual Question Answering (CIVQA). Tento dataset pokrýva 15 entít, ktoré možno nájsť na finančných dokumentoch a sú kľúčové pre splatnosť faktúry. Pomocou datasetu CIVQA sme vytvorili prvé modely DVQA, ktoré sú schopné pracovať s českými dokumentami. Naším cieľom je vytvoriť robustné modely DVQA, ktoré dokážu dozpovedať na nové a neznáme otázky. Dataset CIVQA a experimenty s ním ponúkajú nové príležitosti pre Document Intelligence v Českej republike s potenciálnymi aplikáciami vo výskume a komerčnej oblasti.

Abstract:

Applications of document processing become increasingly popular across multiple industries, resulting in a growing amount of research on the applications of artificial intelligence in document processing, known as Document Intelligence. This paper focuses on Document Visual Question Answering, shortly known as DVQA, a subtask of Document Intelligence that is gaining attention for its universality. However, the limited availability of data sources for languages outside English restrains the applicability of DVQA in non-English languages. To overcome this problem, we have created a new dataset called Czech Inovice Visual Question Answering (CIVQA). This dataset covers 15 entities, which can be located on financial documents and are crucial for the payability of the invoice. With the help of the CIVQA dataset, we have created the first DVQA models, which are able to handle Czech documents. We aim to create robust DVQA models that can generalise on unknown entities and questions. The CIVQA dataset and experiment observations offer new opportunities for Document Intelligence in the Czech Republic, with potential applications in research and commercial fields.

Keywords

Document Intelligence, Question Answering, Visual Question Answering, Document Visual Question Answering, Czech Invoice Visual Question Answering Dataset

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 15. 12. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 8. 2. 2024
• Vedúci: Mgr. Michal Štefánik
• Oponent: Edoardo Signoroni

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Big data