Randomized deduplication of natural language text

Bc. Ján Kapko

Bachelor's thesis

Abstract:

Táto bakalárska práca skúma, implementuje a vyhodnocuje použitie pravdepodobnostných a deterministických dátových štruktúr pre algoritmy typu shingling, ktoré sa používajú na odstraňovanie duplicitných textov v oblasti spracovania prirodzeného jazyka. Hlavným cieľom je znížiť pamäťové nároky týchto algoritmov. Práca poskytuje prehľad existujúcich nástrojov a prístupov. Vybraný existujúci algoritmus je implementovaný s použitím pravdepodobnostnej aj deterministickej dátovej štruktúry, pričom sa meria pamäťová náročnosť a rýchlosť spracovania na korpusoch reálnych aj syntetických textov. Dochádzame k záveru, že použitie pravdepodobnostnej dátovej štruktúry výrazne znižuje spotrebu pamäte, no zároveň vedie k pomalšiemu spracovaniu a vyššej pravdepodobnosti chýb.

Abstract:

This thesis explores, implements and evaluates the use of probabilistic and non-probabilistic data structures for shingling algorithms used in natural language text deduplication, the main aim being to reduce the algorithms’ memory usage. We provide a summary of existing tools and approaches. We take an existing algorithm and implement it using a probabilistic and a non-probabilistic data structure, measuring the memory usage and processing speed on corpora of real-world and synthetic text. We conclude that using the probabilistic data structure greatly reduces the memory usage while introducing slower process- ing speeds and increasing probability of errors.

Keywords

NLP, Text Deduplication, Algorithms, Data Structures, Bloom Filter, Hashing

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2025

Thesis defence

• Date of defence: 23. 6. 2025
• Supervisor: RNDr. Ondřej Herman
• Reader: RNDr. Vít Suchomel, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics