Využití programovacího jazyka Biml pro optimalizaci vývoje ETL

David Mareš

Diplomová práce

The Use of Biml Programming Language for ETL Development Optimization

Anotace:

Tato práce se zabývá využitím programovacího jazyka Biml při tvorbě aplikace pro automatické generování ETL řešení pro přenos dat mezi zdrojovou a cílovou databází na základě metadat definovaných uživatelem jako jednoduchého řešení při práci na často triviálních a opakujících se úlohách přenosu dat.Hlavním výstupem této práce je vytvořená aplikace a její popis a následné testování na fiktivním případu z praxe. Sekundárním výstupem práce je pak analýza procesu ETL a možností a výhod poskytovaných programovacím jazykem Biml s využitím pomocných C# BimlScript nuggetů, především pak pro optimalizaci práce při vývoji v oblasti přenosu dat a ETL.Samotná práce se skládá ze dvou hlavních částí, z nichž se ta první věnuje obecné analýze ETL procesu a možnostem, jak jej optimalizovat pomocí programovacího jazyka Biml s využitím C# BimlScript nuggetů. Druhá část práce se pak zabývá již samotnou aplikací, tedy nejdříve vývojem a popisem jejích jednotlivých stavebních bloků, jak z pohledu databáze, tak i samotné aplikace, a následně jejím použitím v testovacím provozu na zmíněném fiktivním případu z praxe.

Abstract:

This thesis focuses on using Biml programming language in creation of an application for automatic generation of ETL solution for data transfer from a source database into a destination database based on user-defined metadata. This application was created as a simple solution for oftentimes trivial and repetitive data transfer tasks. The main output of this thesis is the application itself and its description and subsequent testing on a fictitious use case. The secondary output of this thesis is an analysis of the ETL process and the possibilities and benefits provided by the Biml programming language using C# BimlScript nuggets, especially for work optimization in the field of data transfer and ETL.The work itself consists of two main parts. The first part is focused on the general analysis of the ETL process and the possibilities to optimize it using the Biml programming language using C# BimlScript nuggets. The second part of the thesis then focuses on the application itself, firstly on development and description of its individual building blocks, from both the database’s and the application’s points of view, and secondly on its testing on a fictitious use case.

Klíčová slova

Business Intelligence Markup Language (Biml), Business Intelligence (BI), SSIS, metadata, databáze, znovupoužitelnost kódu, přenos dat (ETL), BimlScript

Keywords

Business Intelligence Markup Language (Biml), BimlScript, Business Intelligence (BI), data transfer (ETL), SSIS, metadata, database, code reuse

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 1. 12. 2017

Obhajoba závěrečné práce

• Obhajoba proběhla 31. 5. 2018
• Vedoucí: Ota Novotný
• Oponent: Jan Pour

Vysoká škola ekonomická v Praze

Magisterský studijní program / obor:
Aplikovaná informatika / Informační systémy a technologie