Interpretable Representations for Fast and Accurate Retrieval of Mathematical Information

RNDr. Vít Novotný

Doctoral thesis

Abstract:

Matematici sní o digitální knihovně s veškerou světovou matematickou literaturou. Matematické vyhledávání vzniklo v reakci na tento sen a zaobírá se technikami pro vyhledávání matematických textů v digitálních matematických knihovnách. Matematické vyhledávače využívají pokročilé reprezentace matematiky pro zajištění rychlého a přesného vyhledávání. Zřídkakdy se však zaměřují na interpretovatelnost svých reprezentací, čímž činí výsledky svého vyhledávání hůře vysvětlitelnými. Ve své práci se zaměřuji na reprezentace a techniky, které mohou zvýšit interpretovatelnost matematického vyhledávání: slovní embedingy a techniky pro hledání sémantické shody a agregaci výsledků. Cílem mé práce je určit, jestli tyto reprezentace a techniky mohou zvýšit přesnost matematického vyhledávání při zachování praktické rychlosti. Ukazuji, že techniky pro hledání sémantické shody na základě slovních embedingů a techniky pro agregaci výsledků mohou zvýšit přesnost matematického vyhledávání a mohou dosáhnout stejné rychlosti jako neinterpretovatelné techniky. Ilustruji také praktické výhody interpretovatelnosti.

Abstract:

Mathematicians dream of a digital library of all peer-reviewed math literature ever published. Math information retrieval emerged when it became clear that standard information retrieval techniques used for text documents were inadequate to retrieve math documents from digital mathematical libraries. Math information retrieval systems use advanced representations of math to ensure fast and accurate retrieval. However, they rarely focus on the interpretability of their representations, which makes the retrieval results difficult to explain to users. In my thesis, I focus on representations and techniques that can make math information retrieval systems more interpretable: token embeddings, semantic matching techniques, and learning-to-rank techniques. The aim of my thesis is to determine whether these techniques can also make math information retrieval systems more accurate and keep them reasonably fast. I show that semantic matching techniques based on token embeddings and learning-to-rank techniques can improve the accuracy of math information retrieval systems and can achieve the same speed as non-interpretable systems. I also show the tangible benefits of interpretability.

Keywords

math information retrieval, digital mathematical libraries, math representations, semantic matching, learning to rank, language modeling, token embeddings, interpretability

Language used: English

Date on which the thesis was submitted / produced: 1. 11. 2021

Thesis defence

• Date of defence: 17. 2. 2022
• Supervisor: doc. RNDr. Petr Sojka, Ph.D.
• Reader: prof. Douglas W Oard, prof. RNDr. Tomáš Skopal, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Fundamentals of Computer Science