Paralelizace časově náročných operací korpusového manažeru

Bc. Radoslav Rábara

Diplomová práce

Parallelization of the corpus manager's time-consuming operations

Anotace:

Korpusový manažér Manatee dokáže spracovávať korpusy obsahujúce desiatky miliard slov. Pre takto veľké korpusy sú niektoré operácie s výsledkami vyhľadávania značne časovo náročné. Práca skúma možnosti paralelného spracovania vybraných operácií a to na viacerých jadrách jedného počítača i na zoskupení samostatných počítačov. Práca obsahuje i implementovaný systém pre paralelné vyhodnocovanie vybraných operácií (triedenie a frekvenčná distribúcia) s vyhodnotením škálovateľnosti systému a porovnaním so systémom MapReduce.

Abstract:

The Manatee corpus manager can process large corpora containing billions of words. Some operations with search results from such large corpora can be time-consuming. This thesis provides and describes a system that enables computation of the selected operations in parallel. The system is evaluated on a single computer, and on a cluster of computers. The evaluation contains evaluation of the scalability, and comparions with the Manatee system and a MapReduce system that provides a platform for distributed computing.

Keywords

Manatee, text corpora, Go, text compression, compression of integers, time-consuming operations, parallelization, MapReduce, Glow, distributed computing, data format, cluster, scalability

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 30. 5. 2016

Obhajoba závěrečné práce

• Obhajoba proběhla 27. 6. 2016
• Vedoucí: doc. Mgr. Pavel Rychlý, Ph.D.
• Oponent: RNDr. Miloš Jakubíček, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika