Modern Data Analysis Solution for Small Business

Bc. Daniela Hostačná

Master's thesis

Anotácia:

Firmy začínajú s minimálnymi zdrojmi a postupne dochádza k potrebe ukladania a spracovania dát. Ako firma rastie, analytické riešenia sa stanú nutnosťou. Koncept dátových skladov je štandardom poskytovania analytických dát a ich záloh na trhu už viac ako dvadsaťpäť rokov. Avšak, tradičné dátové sklady sú založené na finančne náročnej lokálnej fyzickej infraštruktúre, čo predstavuje prekážku najmä pre malé a stredne veľké podniky. Koncept moderných dátových skladov rieši nedostatky tradičného prístupu využitím cloudovej infraštruktúry pri súčasnom zachovaní základných tradičných konceptov. Na dodatočné zníženie nákladov princíp dátového lakehouse-u plne využíva úložisko data lake. Využitím Azure Synapse Analytics ako dátového lakehouse-u táto práca navrhuje finančne efektívne a ľahko rozšíriteľné riešenie dátovej analytiky pre malý podnik. Práca popisuje princípy moderných dátových skladov, dátových lakehouse-ov, Azure Synapse Analytics, a BEAM✲ metodiky na získavanie požiadaviek. Riešenie prezentované v práci obsahuje výsledky analýzy požiadaviek, lokálnu predprípravnú „staging“ databázu, spracovanie dát pomocou Azure Synapse Analytics a ich uloženie v dátovom lakehouse a Power BI analytický report prispôsobený požiadavkám užívateľov.

Abstract:

Businesses start with minimal resources and gradually require data storage and processing. As companies grow, data analysis solutions become essential. The data warehouse (DWH) concept has been the industry standard of providing analytical data and backups for over twenty five years. However, traditional DWH relies on costly on-premises infrastructure, posing challenges for small and medium-sized enterprises (SMEs). To tackle the limitations of traditional DWHs, modern data warehousing adopts cloud infrastructure, retaining the established core concepts. The data lakehouse approach further reduces costs by utilizing data lakes for storage, which is especially beneficial for small businesses. Utilizing Azure Synapse Analytics as a data lakehouse, the thesis proposes a cost-effective and scalable data analytics solution for small businesses. It explores modern data warehousing concepts, data lakehouse concepts, Azure Synapse Analytics, and the BEAM✲ DWH requirement discovery methodology. The solution presented in the thesis includes the BEAM✲ analysis results, an on-premises staging database, data processing and subsequent storage in data lakehouse using Azure Synapse Analytics, and Power BI analytical report designed to suit the stakeholders’ needs.

Keywords

Data Analysis, Modern Data Warehouse, Data Lakehouse, Azure Synapse Analytics, BEAM✲, Power BI

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 16. 5. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2023
• Vedúci: RNDr. Michal Batko, Ph.D.
• Oponent: RNDr. Jakub Peschel

Masaryk University

Faculty of Informatics

Master programme / odbor:
Software Engineering / Design and development of software systems