Big data processing with Spring Batch

Bc. Filip Kollár

Bakalářská práce

Anotace:

Hlavním cílem této práce je popsat, jak byl použit framework Spring Batch k přeimplementaci a vylepšení aplikace Kramerius+. Aplikace Kramerius+ je rozšiřujícím modulem aplikace Kramerius, která slouží jako systém pro digitální knihovny. Kramerius+ je aplikace, která využívá externí nástroje pro zpracování přirozeného jazyka k obohacení a exportu publikací obsahujících velké množství textových dat. Kramerius+ ukládá obohacená data pro lepší možnosti vyhledávání uvnitř textu. Praktickým výsledkem této práce je přepracovaní aplikace Kramerius+, která disponuje REST API, s využitím frameworku Spring Batch. Práce představuje tento framework a ukazuje jeho použití v aplikaci Kramerius+. Kramerius+ je vyvíjen industriálním partnerem Fakulty informatiky - společností InQool a.s., ve spolupráci s Knihovnou Akademie věd České republiky, Národní digitální knihovnou České republiky a Moravskou zemskou knihovnou v Brně.

Abstract:

The main goal of this thesis is to describe how Spring Batch was used to reimplement and improve Kramerius+. Kramerius+ application builds upon a web application Kramerius a system powering digital libraries. Kramerius+ is an application that uses external natural language processing tools to enrich and export publications that contain large amounts of text data. Kramerius+ stores the enriched data to be used for better searching capabilities inside the text. The practical outcome of this thesis is refactoring Kramerius+, an application with a REST API, to use the Spring Batch framework. The thesis showcases the framework and how it is used in Kramerius+. Kramerius+ is developed by an industrial partner of the Faculty of Computer Science - InQool a.s, in cooperation with the Library of the Czech Academy of Sciences, the National Digital Library of the Czech Republic, and the Moravian Library in Brno.

Keywords

Kramerius, Kramerius+, TEI, ALTO, Publication, UPPipe, NameTag, Spring Batch, Spring Boot, Job, Step, Batch, XML, message broker, text data, metadata

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 18. 5. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 27. 6. 2023
• Vedoucí: prof. RNDr. Tomáš Pitner, Ph.D.
• Oponent: Mgr. Tibor Szabó

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Programování a vývoj aplikací / Programování a vývoj aplikací