DataHub - Systém pro automatizované stahování dat z internetu

David Sedláček

Master's thesis

DataHub – Automated web scraper

Abstract:

Tato diplomová práce se věnuje datovému projektu společnosti Obce v Datech. Cílem práce je popsat vývoj jednotlivých komponent a jejich následnou integraci do datového řešení – Data Hubu, které pomocí inovativních technologií dokáže realizovat bezpečné a inteligentní prohledávání webových stránek a konkrétně zacílit a stahovat data a informace napomáhající k rozvoji datové základny a následného použití stažených dat ke zvyšování datové gramotnosti veřejnosti a veřejné správy. Dílčí cíle, nutné k dosažení kompletního datového řešení sestávají z vytvoření datové platformy a integrování návazných komponent. Mezi tyto komponenty patří webový crawler, který pomocí využití neuronových sítí inteligentně prohledává internet a stahuje data a mobilní aplikace umožňující zobrazovat stažená data a poskytnout celistvý obraz koncovému uživateli. V práci bude položen krátký teoretický základ nutný pro chápání jednotlivých technologií, bude vysvětlen přínos autora projektu a přínos samotného projektu pro společnost, stejně jako zhodnocení celkové práce a pohled na udržitelnost projektu.

Abstract:

This diploma thesis deals with the data project of the company Obce v Datech. The aim of this work is to describe the development of individual components and their subsequent integration into a data solution - Data Hub, which can use innovative technologies to implement secure and intelligent web browsing and specifically target and download data and information to develop the database and subsequent use of downloaded data to increase data literacy of the public and public administration. The partial goals necessary to achieve a complete data solution consist of creating a data platform and integrating related components. These components include a web crawler that uses neural networks to intelligently search the Internet and download data, and mobile applications to view downloaded data and provide a complete picture to the end user. The thesis will lay a short theoretical basis necessary for understanding the various technologies, will explain the contribution of the author of the project and the contribution of the project itself to society, as well as the evaluation of the overall work and a view of project sustainability.

Keywords

databáze, web crawler, datový projekt, python, aplikace, data

Keywords

python, appliacation, data project, data, web crawler, database

Language used: Czech

Date on which the thesis was submitted / produced: 29. 6. 2023

Thesis defence

• Date of defence: 9. 10. 2023
• Supervisor: Miloš Maryška
• Reader: Jan Kučera

Vysoká škola ekonomická v Praze

Master programme:
Data a analytika pro business