Deduplikace dat a jejich využití

Bc. Pavel Klečanský

Diplomová práce

Data deduplication and useage options

Anotace:

Diplomová práce se zabývá popisem problematiky deduplikace a spojování záznamu. Teoretická část zahrnuje celý proces deduplikace, od čištění dat až po klasifikaci. Práce také popisuje algoritmy, jako jsou Jaro-Winklerova vzdálenost, Levenshteinova vzdálenost, Damerau-Levenshteinova vzdálenost, Jaccardův index a podobnost Q-gramů. V praktické části práce je vytvořena knihovna, která umožňuje provádění spojování záznamů mezi dvěma zdroji dat a deduplikaci jednoho zdroje dat. Knihovna je implementována v jazyce Java a realizuje celý proces deduplikace a spojování záznamů pomocí vybraných algoritmů popsaných v teoretické části.

Abstract:

The thesis deals with the description of deduplication and record linkage. The theoretical part covers the whole workflow of deduplication, from data cleaning to classification. The thesis also describes algorithms such as Jaro-Winkler distance, Levenshtein distance, DamerauLevenshtein distance, Jaccard index and Q-gram similarity. In the practical part of the thesis, a library is developed to perform record linkage between two data sources and deduplication of one data source. The library is implemented in Java and implements the entire workflow of deduplication and record linkage using the selected algorithms described in the theoretical part.

Klíčová slova

deduplikace, spojování záznamů, porovnávání dat, klasifikace, kvalita dat

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 17. 5. 2024

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Monika Borkovcová, Ph.D.

Univerzita Pardubice

Fakulta elektrotechniky a informatiky

Magisterský studijní program / obor:
Informační technologie / Informační technologie