Vizualizace geograficky orientovaných Big data

Ondřej TOMEČKA

Bakalářská práce

Visualization of Geographically-oriented Big Data

Anotace:

Tato bakalářská práce se v teoretické části zaměřuje na popis charakteristik paradigmatu Big Data. Dále jsou popsány dostupné velkoobjemové datové sady, způsob ukládání velkých objemů dat v distribuovaném souborovém systému, dostupné technologie pro jejich efektivní zpracování, populární distribuce Apache Hadoop frameworku a Hadoop ekosystém jako takový. Pro demonstraci odlišnosti zpracování Big Data oproti konvenčnímu zpracování geodat pracuje autor v praktické části práce s Hadoop distribucí Hortonworks Data Platform a jsou představeny nástroje GIS Tools for Hadoop na příkladu agregace taxi záznamů z New York City do čtvercové sítě. Na tomto příkladu byla otestována i doba potřebná pro dokončení agregace při použití různých rozlišení výsledné čtvercové sítě na dvou výkonnostně odlišných virtuálních počítačích. Další část práce se zaměřuje na vizualizaci dat pomocí JavaScriptových knihoven pro shlukování bodů a tvorbu heatmap a testování, za jak dlouho jsou tyto knihovny schopny vykreslit objemnější datové sady.

Abstract:

The theoretical part of this bachelor thesis describes the common characteristics of the Big Data paradigm. It sums up the available data sources of large geospatial datasets, describes how file storage works in distributed file systems, available technologies to effectively process large datasets, the most popular Apache Hadoop distributions and the Hadoop ecosystem as a whole. To demonstrate the differences in processing Big Data compared to conventional processing of geospatial data, the author uses Apache Hadoop distribution Hortonworks Data Platform and GIS Tools for Hadoop to aggregate taxi trip records from New York City into a square grid. The author also tests the impact of using different spatial resolutions of the square bins on the computation time on two virtual machine configurations with different specifications. The next part focuses on data visualization using JavaScript libraries for marker clustering and heatmaps and testing their rendering time when used with larger datasets.

Klíčová slova

big data, apache hadoop, gis tools for hadoop, vizualizace dat, javascript

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 10. 5. 2018

Obhajoba závěrečné práce

• Vedoucí: Mgr. Rostislav Nétek, Ph.D.

UNIVERZITA PALACKÉHO V OLOMOUCI

Přírodovědecká fakulta

Bakalářský studijní program / obor:
Geografie / Geoinformatika a geografie