Automatizované shromažďování a strukturalizace dat z webových zdrojů

Bc. Roman Zahradník

Master's thesis

Abstract:

Diplomová práce se zabývá vytvářením řešení pro průběžné získávání dat z webových zdrojů. Aplikace má na starosti automatické přecházení webových stránek, extrakci dat pomocí určených selektorů a jejich následnou normalizaci pro další zpracování pro dolování dat.

Abstract:

This diploma thesis deals with the creation of a solution for continuous data acquisition from web sources. The application is in charge of automatically navigating web pages, extracting data using dedicated selectors, and subsequently standardizing them for further processing for data mining.

Abstract:

Diplomová práca sa zaoberá vytvorením riešenia pre kontinuálne získavanie dát z webových zdrojov. Aplikácia má na starosti automatické prechádzanie webových stránok, extrakciu dát pomocou určených selektorov a ich následnú normalizáciu pre ďalšie spracovanie pre data mining.

Keywords

big data, získávání dat, REST API, web crawler, správové fronty, SOA

Keywords

data acquisition, big data, REST Api, message queues, SOA, web crawler

Keywords

SOA, web crawler, big data, získavanie dát, REST API, správové fronty

Language used: Slovak

Date on which the thesis was submitted / produced: 21. 5. 2018

Thesis defence

• Supervisor: doc. Ing. Jan Žižka, CSc.
• Reader: Martin Vídeňský, externi

Mendel University in Brno

Faculty of Business and Economics

Master programme / field:
Engineering Informatics / Automation Control and Informatics