Aplikace komprese nad datovým skladem od Teradaty

Josef Bednář

Diplomová práce

Teradata: Application of MVC and BLC on data warehouse.

Anotace:

Téma práce bylo zvoleno v rámci snahy společnosti o lepší optimalizaci datového skladu. Z důvodu změny ETL procesu, kde se hlavní část zpracování přesunulo pod databázový systém Teradaty bylo vhodné provést optimalizaci jak výkonovou tak i kapacitní. V první části práce je popsán koncept Teradata a její architektura. Většímu prostoru v práci dostaly Statistiky, které spadají pod výkoností optimalizaci systému. Hlavní část pak pojednává o kompresích, kterých má Teradata k dispozici několik druhů. V praktické části je přímo provedena aplikace Multi-value komprese na základě získaného nástroje. Pro správnou funkčnost generovaných skriptů byla nutná jejich úprava a zároveň bylo provedeno i reportování chyb a komunikace s vývojovým týmem. V závěru došlo k nasazení komprese na vývojové prostředí a porovnání s odhadem. V rámci blokové komprese byly vytipovány vhodné tabulky, provedena zkušební aplikace komprese a závěrečné doporučení.

Abstract:

The topic of the thesis has been chosen based on efforts of an unnamed company for better data warehouse optimisation. Since the ETL process at the company has been changed, which led to the migration to Teradata database system, it would be appropriate to perform both the operation optimisation, as well as capacity optimisation. The first part of the thesis describes the Teradata concept and its architecture. This part particularly focuses on the Statistics which belong to the system operation optimisation. The main part of the thesis subsequently deals with Compression. Teradata uses several types of compression. The practical part brings the application of Multi Value Compression which has been performed via an appropriate tool. In order for the generated scripts to work correctly, they had to be adjusted. Additionally, defect reporting was performed and the communication with the development team also took place. The results of the table compression is compared with the estimations. The compression was applied on the production environment. The BLC process consisted of appropriate tables identification and compression testing. Based on the results of the testing, recommendations have been established.

Klíčová slova

BLC, EDW, KOMPRESE, TERADATA, MVC, STATISTIKY

Keywords

MVC, EDW, STATISTICS, BLC, TERADATA

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 5. 10. 2015

Obhajoba závěrečné práce

• Obhajoba proběhla 30. 1. 2017
• Vedoucí: Jan Pour
• Oponent: Libor Gála

Vysoká škola ekonomická v Praze

Magisterský studijní program / obor:
Aplikovaná informatika / Informační systémy a technologie