Utilisation of language representations for Information Retrieval

Bc. Petr Mička

Bachelor's thesis

Abstract:

Práce je zaměřena na zlepšení kvality systémů na vyhledávání informací. Experimentuje s reprezentacemi jazyka za pomoci neuronových modelů, tzn. jako embeddingy slov nebo váhy pozornosti modelů z rodiny Transformerů. Experimentujeme s kombinováním těchto reprezentací se standardními, ale ortogonálními reprezentacemi založenými na početnosti slov, jako je TF-IDF. Naše experimenty ukazují, že vyhledávací systémy užívající reprezentací moderních neuronových sítí mohou porazit TF-IDF v kvalitě vyhledávání a v kombinaci s TF-IDF se mohol dál zpřesnit.

Abstract:

Our work aims to create a well-performing information retrieval system utilising neural language representation models as word embeddings and attention maps of selected models of Transformers family. We also experiment with combining neural LM approaches with well-established, yet orthogonal method of TF-IDF. We show that our novel information retrieval systems can beat standard TF-IDF in quality of search and, in ensemble with TF-IDF, can deliver additional quality gains.

Keywords

Attention, Information Retrieval, NLP, Neural Networks, Transformers, Word embeddings

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2021

Thesis defence

• Date of defence: 2. 7. 2021
• Supervisor: Mgr. Michal Štefánik
• Reader: Mgr. Dávid Lupták

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing