Datová integrace nezpracovaných dat z IoT

Ondřej Bednář

Bachelor's thesis

Data Integration of Raw IoT Data

Abstract:

Pokrok ve vývoji hardwaru, softwaru a komunikačních technologií umožnil vznik zařízení obsahujících řadu senzorů připojitelných k internetové síti, čímž se otevřely možnosti k měření a následnému využití různorodých dat poskytujících digitální obraz reálného světa. S růstem počtu a vyspělostí těchto zařízení vyvstává stále větší potřeba získaná objemná data zpracovávat a uchovávat. Technologie zařízení připojených k internetové síti, označovaná jako internet věcí, rozšiřuje současný internet tím, že poskytuje propojení a interakci mezi fyzickým a informačním světem. Kromě vysokého objemu dat internet věcí produkuje data, vyznačující se vysokou kardinalitou ve smyslu unikátnosti hodnot, rychlostí těchto dat z hlediska závislosti počtu příchozích dat na čase, a jejich různou kvalitou. Rychlé a kvalitní zpracování těchto objemných dat umožní další analýzu a využití technik strojového učení. Tato práce se zaobírá analýzou moderních nástrojů pro datovou integraci dat pocházejících z internetu věcí. V praktické části práce pak implementací těchto nástrojů spolu s hodnocením výkonnostních testů.

Abstract:

Rapid advances in hardware, software and communication technologies have enabled the emergence of devices with a multitude of sensors connected to the Internet, providing observations and measurements of diverse real-world data. As the number and maturity of these technologies grows, so will the volume of data processed. Internet-connected device technology, referred to as the Internet of Things (IoT), continues to augment the current Internet by providing connections and interactions between the physical and information worlds. In addition to the high volume of data, the IoT produces data characterised by high cardinality in terms of uniqueness of values, the velocity of this data in terms of number versus time, and its varying quality. Fast and high-quality processing of this data will enable further analysis and possible usage of machine learning techniques. This paper deals with the analysis of modern tools for data integration of data originating from IoT. The practical part of the thesis then includes the implementation of these tools along with the evaluation of performance tests.

Keywords

big data, datová integrace, datové jezero, datový sklad, ETL, internet věcí, operační datové úložiště

Keywords

big data, data integration, data lake, data warehouse, ETL, Internet of Things, operational data store

Language used: Czech

Date on which the thesis was submitted / produced: 16. 3. 2023

Thesis defence

• Date of defence: 23. 5. 2024
• Supervisor: Ing. Jan Masner, Ph.D.
• Reader: Michal Stočes, Ph.D.

Czech University of Life Sciences Prague

Faculty of Economics and Management

Bachelor programme:
Informatics