Logika nahrávání dat do datového skladu a srovnání s historickým řešením

Jan Vaněk

Master's thesis

Architecture of data warehouses and their historical evolution

Abstract:

Cílem práce je provést čtenáře vývojem architektury, využíváním technik a nástrojů potřebných při tvorbě nového řešení Business Intelligence ve společnosti DHL s.r.o. Práce bude obsahovat i srovnání s dvěma předchozími systémy, které byly společností vytvořeny mezi roky 2008 a 2014. Cíle bude dosaženo pomoci shromáždění informací jak z ověřených internetových zdrojů, tak především z vědomostí a znalostí, které popsali zaměstnanci interní i externí, kteří se na vývoji zmíněného systému podíleli. Práce obsahuje jak teoretickou část, ve které se jednotlivé techniky a nástroje popíšou, tak praktickou část, znázorňující vývoj systému od počátku až k uvedení do produkčního prostředí, a to především z pohledu autora, jakožto jednoho z hlavních vývojářů zmíněného systému.Přínosem této práce je jasný analytický postup vývoje BI systému. Takováto studie může být využita jako zdroj informací pro interní zaměstnance, či nově příchozí zaměstnance, kteří se se systémem budou muset seznámit, či pro jednotlivce a firmy, kteří budou BI systém chtít sami vytvořit a nemají žádný standardizovaný postup. Díky srovnání s historickými řešeními se může čtenář vyvarovat určitých chyb spojených s vývojem či zvolit nové techniky a platformy pro vývoj.Jak již bylo nastíněno, samotná práce započne představením základních principů BI a Data warehousu (DWH), techniky a nástroje MS SQL, principů ETL a linkovaných serverů, využití Continuous Development a nástroje Azure DevOps, nástroje Power BI. Práce popíše, co to je Adastra Framework a jak se využívá a představí informace o historických řešení BI v DHL s.r.o. (Service Reporter 1 a Service Reporter 2). Praktická část bude obsahovat postup vývoje systému od počátku až do uvedení do produkce, včetně všech technik, nástrojů, standardů, ale i úskalí a překážek spojených s vývojem. Nakonec je provedeno srovnání všech 3 systémů (SR1, SR2 a SR3) a jsou popsány výhody i nevýhody nejmodernějšího provedení. Je zde také uvedena i krátká kapitola věnující se možným aplikacím a nástrojům, které by se mohly využít při aktualizace stávajícího systému, či při vývoji nového.

Abstract:

The aim of the theses is to guide the reader through the process of development of architecture, usage of various techniques and tools used for the creation of the new Business Intelligence system in DHL s.r.o. The thesis will include a comparison of the new system with two Historical versions, which were developer between the years 2008 and 2014. The aim will be reached by gathering all the necessary information from certified internet sources, from the internal knowledge and the know-how documented by all internal and external workers who cooperated on the development of the said system. The thesis consists of 2 parts. The first part is theoretical, in which all techniques and tools are thoroughly described. The second part is practical, in which the author guides the reader through the whole process of development from the beginning to the release through production environment. Most of the practical part will be done through the eyes of the author since he is one of the main developers of this system.The benefit of the theses is a clear analytical method of the development of BI system. Such study can be used as a source of information for both the old and the new internal employees or for individuals or companies which would like to create such system themselves and do not have any standardized method. Thanks to the comparison with the old BI systems the reader can avoid any mistakes that have been done during the development in the past.As has already been mentioned, the thesis will start with the introduction of principals of BI and Data warehouse (DWH), techniques and tools of MS SQL, principals of ETL and linked server. Moreover, the thesis introduces the usage of Continuous development and the tool Azure DevOps, Power BI. The thesis also introduces Adastra ETL Framework and shows how it is used. Lastly, it presents the information about both historical BI systems in DHL s.r.o. (Service Reporter 1 and Service Reporter 2). The practical part then consists of the process of development from beginning till the release to production environment. This includes all the techniques, tools, standards but also the difficulties connected to their usage. In the end the comparison between the systems is done and both the advantages and disadvantages of the newest systems are highlighted. There is also a small chapter depicting the options for future updates and development.

Keywords

Datový sklad, DHL, Business Intelligence, Continous Integration, Adastra ETL Framework, MS SQL, DWH, Service Reporter

Keywords

DWH, Data warehouse, DHL, Business Intelligence, Continous Integration, Adastra ETL Framework, Service Reporter, MS SQL

Language used: Czech

Date on which the thesis was submitted / produced: 10. 7. 2019

Thesis defence

• Date of defence: 2. 6. 2020
• Supervisor: Jan Pour
• Reader: Jan Vrubel

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie