Posouzení vhodnosti Azure Stream Analytics pro zpracování archivních dat

Daniel Vrána

Bachelor's thesis

Evaluation of Azure Stream Analytics for Processing od Archive Data

Abstract:

Tato bakalářská práce se zabývá čerpáním archivních dat z Azure Storage za použití Azure Streaming Analytics. Zhodnocuje zda je Azure Stream Analytics vhodné řešení pro tento úkol a jaké výhody přináší. Posuzování je provedeno skrze teoretickou analýzu a provedení testů s cílem určit přibližné limity produktu. V teoretické části se práce zabývá představením a vymezením pojmů důležitých k pochopení technologie. Je zde také věnována pozornost cloudovému úložišti Azure Blob Storage. Následně je do větší hloubky představován produkt Azure Stream Analytics. Druhá část práce je zaměřena na sestavování a provádění testů za použití sad testovacích dat. Při těchto testech je zkoumána zejména rychlost a výpočetní náročnost zpracování dat z archivního Azure Blob Storage. Všechny výsledky následně vstupují do diskuze o celkové vhodnosti řešení. Práce dochází k závěru, že řešení je vhodné, avšak uvádí výhrady vůči extrémně velkým objemům dat v řádech desítek miliónů záznamů a počtům souborů v řádech tisíců.

Abstract:

This bachelor thesis deals with processing of archive data from Azure Storage using Azure Stream Analytics.It evaluates the suitability of Azure Stream Analytics for this task and describes the benefits of used solution. Evaluation is based on theoretical analysis and execution of tests to determine the limits of the product. In the theoretical part the thesis describes and present important terms which are needed to understand the technology. In this part some attention is also given to the Azure Blob Storage. Further, the Azure Stream Analytics is described in greater depth. Second part of this thesis is focused on preparing and executing test based on testing data sets. These tests especially consider the speed and computational resources used during the processing of data from archive Azure Blob Storage. The Results are then evaluated in a discussion about the overall suitability of the solution. The thesis concludes that the solution is suitable, but points out some problems in processing with extreme volumes of data, orderly millions of records and great amounts of files in orders of thousands.

Keywords

archivní data, Azure Blob Storage, Azure Storage, Azure Stream Analytics, cloud, cloudová úložiště, cloudové služby, complex event processing, Microsoft Azure, streaming data

Keywords

archive data, Azure Stream Analytics, cloud, cloud storage, cloud services, complex event processing, Microsoft Azure, streaming data, Azure Blob Storage, Azure Storage

Language used: Czech

Date on which the thesis was submitted / produced: 13. 12. 2017

Thesis defence

• Date of defence: 21. 6. 2018
• Supervisor: Helena Palovská
• Reader: Jan Kučera

Vysoká škola ekonomická v Praze

Bachelor programme / field:
Aplikovaná informatika / Aplikovaná informatika