Automatizace kontroly zpracování datového skladu a BNS

Pavel Ovčička

Master's thesis

Automation of Data warehouse and BNS processing control

Abstract:

Diplomová práce Automatizace kontroly zpracování datového skladu a BNS se zabývá návrhem a implementací automatizovaného řešení pro firmu Inekon Systems pro kontrolu notifikačních emailů ze zpracování ETL procesů u zákazníků s implementací manažerského informačního systému BNS. Hlavním cílem je vytvořit komplexní řešení, které splňuje nejen všechny funkcionality dosavadní manuální kontroly notifikačních emailů, ale i automaticky přeposílá informace o případných chybách na odpovědné řešitele. Pro optimální řešení chyb bylo vytvořeno prostředí, kde mohou uživatelé zapisovat a sledovat dosavadní průběh řešení takto nalezených chyb. Z nově transformovaných dat byl vytvořen datový slovník obsahující všechny prvky a jejich vazeb z nově vytvořeného řešení. Dalším cílem bylo vytvoření několika reportů, ze kterých byla provedena krátká analýza o optimalizaci využití lidských zdrojů. Plnění hlavních cílů je rozděleno do pěti hlavních kapitol, ve kterých bylo potřeba analyzovat potřeby zadavatele Inekon Systems, navrhnout architekturu řešení splňující tyto potřeby, jednotlivé komponenty architektury implementovat a následně otestovat jejich funkčnost a splnění požadavků oproti zadání a validovat toto řešení u zadavatele. Validace v závěru práce úspěšně porovnává funkcionality vytvořeného řešení s požadavky definovanými zadavatelem a zároveň jsou navrženy další vylepšení řešení jednotlivých komponent.

Abstract:

Thesis Automation of Data warehouse and BNS processing control deals with design and implementation of automated solution for company Inekon Systems for monitoring notification emails from ETL processing at customers with implemented managment information system BNS. Main objective is to create complex solution which does not only meet all the functionalities of the current manual control but will also inform forward all informations about potential errors to responsible resolver. For optimal error resolution, a new environment has been created where users can note and monitor progress of error resolution from errors found during monitoring. Newly transformed data has been used to create new data dictionary containing all elements and their relationships from newly created solution. Another goal of this thesis was to create several reports and using those reports for brief analysis about optimizing the use of human resources. The fulfillment of main goals was divided into five main chapters, in which it necessary to analyze needs of Inekon Systems as a client, propose a architecture of final solution that will satisfy those needs, implement individuals components of the architecture, subsequently test their functionality and fulfilment of the requirments set in assignment and validate this solution with ordering party. Final part of this thesis is a validation which successfully compared funcionality of the created solution with defined requirments and additional improvements to the individual solution components are proposed.

Keywords

Data, ETL, SQL, Neo4j, BNS, automatizace kontroly, datový slovník

Keywords

Data, BNS, monitoring automation, data dictionary, ETL, SQL, Neo4j

Language used: Czech

Date on which the thesis was submitted / produced: 1. 5. 2023

Thesis defence

• Date of defence: 29. 5. 2023
• Supervisor: Markéta Smolníková
• Reader: Jan Jirásek

Vysoká škola ekonomická v Praze

Master programme:
Data a analytika pro business