Deduplikace klientských dat

Marek Chytrý

Diplomová práce

Deduplication client data

Anotace:

Práce se zabývá problematikou kvality a čištění dat. V teoretické části jsou nejprve ukázány vlastnosti kvality dat a jsou zde naznačeny oblasti, kterých se tyto vlastnosti v IT i mimo ně týkají. Následně jsou popisovány možnosti ukládání dat v informačních systémech opět z pohledu kvality a její možné dopady na efektivnost užití těchto dat. V další části jsou charakterizovány různé přístupy ke kvalitě dat z úrovně managementu, při pohledu na celou společnost atd. V neposlední řadě jsou zmiňovány další možnosti řízení kvality dat přes různé standardy, normy atd. Druhá část teoretické práce se věnuje tématu čištění dat. V rámci této části jsou definovány různé druhy chyb a špatných záznamů, které chceme odstranit / opravit. Je zde popsán postup čištění dat, který je nutné provést, aby čištění dat bylo co nejefektivnější.V praktické části je pak popsána implementace konkrétní metody čištění dat, a to deduplikace. Praktická část obsahuje nejen skript pro deduplikaci, ale i další přípravné skripty a pomocné čistící skripty, které připravují data pro čištění i samotnou deduplikaci.V závěru práce je vyhodnocena úspěšnost jak čistících skriptů, tak deduplikačního skriptu.

Abstract:

The thesis includes quality and data cleansng issues. Firstly, characteristics of data quality are described in the theoretical part. There are also indicated some areas not only in IT that these characteristics relate to. Further, there are also described the possibilities of storing data in information systems again in terms of quality and their potential impacts. The next section shows different approaches to data quality from the management view, company view etc. There are also mentioned other possibilities of data quality management through a variety of standards, norms etc.The second part of the theoretical work focuses on data cleaning issue. In this part there are defined different types of errors and bad records that we want to remove / repair. There is also described a necessary process of data cleaning that enables us to get as efficient data cleaning as possible.The practical part describes the implementation of a particular method of data cleaning, i.e. deduplication. The practical part includes not only the script for deduplication but other preparatory and auxiliary cleaning scripts as well. These scripts prepare data for cleaning and deduplication. In the section of conclusion, the cleaning and the deduplication scripts are evaluated.

Klíčová slova

klient, čištění, databáze, deduplikace dat, kvalita dat, kvalita

Keywords

quality, data quality, client, database, cleaning, data deduplication

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 22. 11. 2016

Obhajoba závěrečné práce

• Vedoucí: Ing. Jan Tyrychtr, Ph.D.

Česká zemědělská univerzita v Praze

Provozně ekonomická fakulta

Magisterský studijní program / obor:
Systémové inženýrství a informatika / Informatika