Utilisation of language representations for Information Retrieval

Bc. Petr Mička

Bakalářská práce

Anotace:

Práce je zaměřena na zlepšení kvality systémů na vyhledávání informací. Experimentuje s reprezentacemi jazyka za pomoci neuronových modelů, tzn. jako embeddingy slov nebo váhy pozornosti modelů z rodiny Transformerů. Experimentujeme s kombinováním těchto reprezentací se standardními, ale ortogonálními reprezentacemi založenými na početnosti slov, jako je TF-IDF. Naše experimenty ukazují, že vyhledávací systémy užívající reprezentací moderních neuronových sítí mohou porazit TF-IDF v kvalitě vyhledávání a v kombinaci s TF-IDF se mohol dál zpřesnit.

Abstract:

Our work aims to create a well-performing information retrieval system utilising neural language representation models as word embeddings and attention maps of selected models of Transformers family. We also experiment with combining neural LM approaches with well-established, yet orthogonal method of TF-IDF. We show that our novel information retrieval systems can beat standard TF-IDF in quality of search and, in ensemble with TF-IDF, can deliver additional quality gains.

Keywords

Attention, Information Retrieval, NLP, Neural Networks, Transformers, Word embeddings

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 25. 5. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 2. 7. 2021
• Vedoucí: Mgr. Michal Štefánik
• Oponent: Mgr. Dávid Lupták

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka