Randomized deduplication of natural language text

Bc. Ján Kapko

Bakalářská práce

Anotace:

Táto bakalárska práca skúma, implementuje a vyhodnocuje použitie pravdepodobnostných a deterministických dátových štruktúr pre algoritmy typu shingling, ktoré sa používajú na odstraňovanie duplicitných textov v oblasti spracovania prirodzeného jazyka. Hlavným cieľom je znížiť pamäťové nároky týchto algoritmov. Práca poskytuje prehľad existujúcich nástrojov a prístupov. Vybraný existujúci algoritmus je implementovaný s použitím pravdepodobnostnej aj deterministickej dátovej štruktúry, pričom sa meria pamäťová náročnosť a rýchlosť spracovania na korpusoch reálnych aj syntetických textov. Dochádzame k záveru, že použitie pravdepodobnostnej dátovej štruktúry výrazne znižuje spotrebu pamäte, no zároveň vedie k pomalšiemu spracovaniu a vyššej pravdepodobnosti chýb.

Abstract:

This thesis explores, implements and evaluates the use of probabilistic and non-probabilistic data structures for shingling algorithms used in natural language text deduplication, the main aim being to reduce the algorithms’ memory usage. We provide a summary of existing tools and approaches. We take an existing algorithm and implement it using a probabilistic and a non-probabilistic data structure, measuring the memory usage and processing speed on corpora of real-world and synthetic text. We conclude that using the probabilistic data structure greatly reduces the memory usage while introducing slower process- ing speeds and increasing probability of errors.

Keywords

NLP, Text Deduplication, Algorithms, Data Structures, Bloom Filter, Hashing

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2025
• Vedoucí: RNDr. Ondřej Herman
• Oponent: RNDr. Vít Suchomel, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika