System for advanced search in metadata from NLP tools

Bc. Norbert Bodnár

Bachelor's thesis

Abstract:

Táto práca popisuje vývoj webovej aplikácie Kramerius+. Hlavným cieľom systému Kramerius+ je obohatiť digitálne publikácie uložené v systéme Kramerius, ktorý poháňa digitálne knižnice, dodatočnými metadátami získanými spracovaním textového obsahu jednotlivých stránok nástrojmi pre spracovanie prirodzeného jazyka UDPipe a NameTag. Tieto metadáta sú následne použité pre indexovanie obsahu jednotlivých stránok spôsobom, ktorý umožní užívateľom vyhľadávať v týchto publikáciach s pokročilými možnosťami pre vyhľadávanie. Hlavnou funkcionalitou je vyhľadávanie na základe lemmy. Toto má za následok veľmi presné výsledky vyhľadávania. Kramerius+ ponúka tiež ďalšie pokročilé možnosti vyhľadávania, ako napríklad vyhľadávanie na základe morfologických vlastností, ako rod, číslo, pád či osoba, alebo vyhľadávanie na základe kategórie rozpoznaných entít. Praktickým výstupom tejto práce je plne funkčná aplikácia s RESTovým rozhraním, ktoré môže byť použité pre obohatenie a indexovanie publikácií zo špecifickej inštancie Krameria. Indexovaný obsah je následne dostupný cez rozhranie Solru.

Abstract:

This thesis aims to describe the implementation of the backend web application Kramerius+. The main goal of Kramerius+ is to enrich digital publications stored in Kramerius, which is the system that powers digital libraries, with additional metadata acquired from processing the content of each page by natural language processing tools UDPipe and NameTag. These metadata are then used to index the content of each page in a way that allows users to search the publications with advanced options. The main functionality is searching using lemma. This results in very precise search results. Additionally, Kramerius+ also provides more advanced options, such as searching on syntactic/morphological features, such as gender, number, case or person, or searching based on a recognized named entity category. The practical outcome of this thesis is a fully functional backend application with REST API, that can be used to enrich and index publications from a specified instance of Kramerius. The indexed content can then be searched using the API of Solr.

Keywords

searching, index, Solr, lemma, named entity, UDPipe, NameTag, linguistic search, spring boot, Kramerius, Kramerius+

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2021

Thesis defence

• Date of defence: 28. 6. 2021
• Supervisor: doc. RNDr. Tomáš Pitner, Ph.D.
• Reader: Mgr. Peter Halmo

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Applied Informatics / Applied Informatics