Big Data Analysis Platform for Smart Grids Datasets

Bc. Peter Lipčák

Diplomová práce

Anotace:

Modernizácia výroby a dodávky elektrickej energie je vysoko ovplyvnená analýzou v oblasti Big Data. Dáta zozbierané z inteligentných elektrických sietí (Smart Grids) majú mnoho Big Data charakteristík a vyžadujú špecifické dátové riešenia. Hlavným cieľom práce je navrhnúť a implementovať Big Data platformu vhodnú pre spracovávanie veľkého množstva dát získaných z inteligentných elektrických sietí. V tejto práci sme urobili prieskum architektúr a technológií, ktoré boli použité v tomto kontexte. Na základe tejto analýzy sme vytvorili návrh Big Data platformy, ktorá umožnuje spracovávať obrovské množstvo dát. Táto platforma je plne funkčná a schopná spracovávať veľke množstvo dát. Platforma taktiež umožňuje používateľovi nahrať vlastné skripty na analýzu dát, a ukládanie, zväčšovanie a odosielanie dátových kolekcií (datesets) do platformy s možnosťou zhusťovania záznamov. V závere práce je spomenutých niekoľko oblastí budúcich rozšírení.

Abstract:

Modernization of electric power generation and delivery is highly influenced by big data analysis. Smart grids data possess many characteristics of big data and analysis in this context requires a big data solution. The primary focus of the thesis is to design and implement a big data processing platform suitable for smart grids data. In this thesis, we reviewed big data architectures and technologies that were used in this context. Based on this analysis, we created a proposal of big data processing platform capable of processing massive amounts of data. The final platform is fully functional and capable of processing large amounts of smart grids data. The platform also allows a user to submit custom data analysis scripts and also manage, enlarge, and ingest datasets with possible data densification. In the end of the thesis we also proposed several areas of future work.

Keywords

Big Data, Analysis Platform, Smart Grids, Batch Processing, Stream Processing, Real-Time Analytics

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 20. 5. 2019

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 6. 2019
• Vedoucí: PhD Bruno Rossi
• Oponent: doc. Mouzhi Ge, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika