Document Representations for Fast and Accurate Retrieval of Mathematical Information

Mgr. Vít Novotný

Advanced ('rigorózní') thesis

Abstract:

Ve studii z roku 2012 předpověděla americká společnost International Data Corporation, že do roku 2020 dosáhne objem nestrukturovaných digitálních informací 40 zettabajtů. Podle pravidla formulovaného brokerskou společností Merrill Lynch bude 80 až 90 % těchto informací nestrukturovaných. Navzdory tomu uživatelé od digitálních knihoven očekávají rychlý přístup k digitálním informacím, které uspokojí jejich momentální informační potřebu. V digitálních knihovnách jsou nestrukturované digitální informace uchovávány ve formě dokumentů. Kromě archivace se od digitálních knihoven obvykle očekává i splnění principů FAIR, které požadují, aby byly dokumenty vyhledatelné, přístupné, interoperabilní a znovupoužitelné. V praktickém slova smyslu je dokument vyhledatelný pouze tehdy, když má vhodnou reprezentaci, která umožňuje rychlé, interpretovatelné a přesné vyhledávání ve vyhledávači. První principy vyhledávání dokumentů formuloval Mooers v roce 1950. Od té doby výzkumníci objevili množství dokumentových reprezentací, které umožňují rychlé, interpretovatelné a přesné vyhledávání textových dokumentů. Již v roce 2008 bylo 65 % klíčových matematických časopisů dostupných v digitální podobě. Schopnost přistupovat nejen k textu, ale i k matematickým vědomostem v článcích matematických časopisů by byla užitečná jak pro systémy automatického dokazování matematických vět, tak pro výzkumníky v technických oborech. V porovnání s vyhledáváním textových dokumentů je vyhledávání matematických dokumentů mladší (2008) a také výrazně obtížnější kvůli silné strukturovanosti matematiky a komplementaritě textu a matematiky. Vývoj dokumentových reprezentací, které by umožnily rychlé, interpretovatelné a přesné vyhledávání matematických dokumentů ve vyhledávači, je stále otevřený výzkumný problém. Nejmodernější vyhledávače matematických dokumentů používají komplexní dokumentové reprezentace a vyhledávací algoritmy, které obětují rychlost a interpretovatelnost na oltář přesnosti. Nejnovější výsledky ale naznačují, že lze dosáhnout vysoké přesnosti při zachování rychlosti a interpretovatelnosti. Ve své práci prozkoumám, jestli nejmodernější vyhledávače matematických dokumentů mohou využívat rychlé a interpretovatelné dokumentové reprezentace. Nejmodernější vyhledávače matematických dokumentů používají samostatné reprezentace textu a matematiky, což znemožňuje zachytit vztahy mezi matematickými vzorci a okolním textem. Nejnovější výsledky ale naznačují, že rychlé a interpretovatelné dokumentové reprezentace mohou společně zachycovat text i matematiku. Ve své práci prozkoumám, jestli nejmodernější vyhledávače matematických dokumentů mohou využívat dokumentové reprezentace, které společně zachycují text a matematiku.

Abstract:

In 2012, a study conducted by the International Data Corporation predicted that by the year 2020, the total amount of digital information resources will have reached the 40 zettabyte mark. According to a rule formulated by Merrill Lynch, 80 to 90% of these resources will be unstructured. Despite this, users expect digital libraries to provide them with fast access to the digital information resources that will satisfy their information need. In digital libraries, unstructured information is stored in the form of documents. Rather than just store documents, digital libraries are usually required to satisfy the FAIR principles by making the documents findable, accessible, interoperable, and reusable. In a practical sense, a document is only findable if it has a proper representation that enables fast, interpretable, and accurate information retrieval in a search engine. First principles of information retrieval were formulated by Mooers in 1950, and since then, researchers have discovered document representations that enable fast, interpretable, and accurate textual information retrieval in a search engine. In 2008, 65% of mathematical core journals had already been digitized. The ability to access not only the full texts but also the mathematical knowledge in the mathematical articles would be of great benefit to automated theorem solvers and to researchers in STEM fields. Compared to textual information retrieval, math information retrieval is much younger (2008) and also much more difficult due to the deeply structured nature of mathematical formulae and due to the complementary nature of text and mathematics. The development of document representations that would enable fast, interpretable, and accurate math information retrieval in a search engine remains an open problem. State-of-the-art math information retrieval search engines use complex document representations and search algorithms that trade off speed and interpretability for accuracy. However, recent research indicates that high accuracy can be achieved with fast and interpretable document representations. In my work, I will investigate whether new state of the art in math information retrieval can use fast and interpretable document representations. State-of-the-art math information retrieval search engines use separate representations for text and mathematics, which prevents the search engines from capturing the semantic relationship between mathematical formulae and the surrounding text. Recent research indicates that fast and interpretable document representations can jointly model text and mathematics. In my work, I will investigate whether new state of the art in math information retrieval can use document representations that jointly model text and mathematics.

Keywords

information retrieval, math information retrieval, digital mathematical libraries, DML, soft cosine measure, SCM, STEM, automated theorem proving

Language used: English

Date on which the thesis was submitted / produced: 21. 2. 2020

Thesis defence

• Date of defence: 25. 5. 2020
• Reader: prof. RNDr. Tomáš Skopal, Ph.D., prof. Ing. Pavel Zezula, CSc.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Computer systems, communication and security / Computer systems, communication and security