Automation of ETL process and data visualization

Bc. Samuel Šurman

Bachelor's thesis

Anotácia:

Cieľom tejto bakalárskej práce je zlepšiť účinnosť, spoľahlivosť a bezpečnosť jedného z Extract, Transform, Load (ETL) a vizualizačných procesov používaných v spoločnosti Red Hat a doručiť plne automatizované riešenie. Motiváciou pre toto zdokonalenie bola neefektívnosť a bezpečnostné riziká v pôvodnej implementácii. Táto bakalárska práca skúma a implementuje vylepšenia ETL procesu prostredníctvom refaktorizácie existujúceho kódu, použitia databázy, a zvýšenia flexibility a odolnosti systému voči chybám. Ku kľúčovým dosiahnutým výsledkom patrí zdokonalené riešenie, ktoré dodržiava bezpečnostné protokoly, skrátenie času vykonania celého procesu, a zlepšenie škálovateľnosti systému na začleneňovanie nových dátových zdrojov.

Abstract:

This bachelor thesis aims to improve the efficiency, reliability, and security of one of Red Hat's Extract, Transform, Load (ETL), and visualization processes and deliver an end-to-end automated solution. The motivation for this refinement was initiated due to inefficiencies and security vulnerabilities in the original implementation. This thesis explores improvements in the ETL workflow by refactoring the existing codebase, utilizing a database as a storage solution, and enhancing the system's flexibility and error resistance. Key achievements include a refined solution that adheres to security protocols, reduced data processing time, and improved system scalability to incorporate additional data sources.

Keywords

red hat, etl process, visualization, automation, refinement, extract, transform, load

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 23. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 25. 6. 2024
• Vedúci: Mgr. Marek Grác, Ph.D.
• Oponent: Mgr. Ivo Bek

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Programming and development / Programming and development