Automatizované stahování dat a agregace

Bc. Peter Köberling

Bachelor's thesis

Web scraping and aggregation

Abstract:

This bachelor thesis deals with methods of automated extraction of information from websites and with data aggregation into a database. The primary purpose of this thesis is to implement a new program for automated data extraction on the theme trade with the used cars as an example of using automated web scraping and data aggregation in practice. The main outputs of the program are interactive data visualisations through graphs in the form of a web application. The user can acquire another view of the data, which are on the website according to user's requirements.

Abstract:

Táto bakalárska práca sa zaoberá metódami automatizovaného sťahovania dát z internetových stránok a ich zoskupením do databázy. Hlavným cieľom tejto práce je implementácia programu, ktorý umožní automatické stiahnutie dát na tému obchod s ojazdenými automobilmi ako príklad využitia automatizovaného sťahovania a agregácie dát z webových stránok v praxi. Hlavným výstupom programu sú interaktívne vizualizácie zobrazených dát prostredníctvom grafov vo forme webovej aplikácie. Užívateľ môže získať iný pohľad na dáta, ktoré sa nachádzajú na internetovej stránke podľa ním zadaných požiadaviek.

Kľúčové slová

web scraping, agregácia, Python, Django, automatizované sťahovanie dát

Jazyk práce: Slovak

Datum vytvoření / odevzdání či podání práce: 19. 5. 2016

Obhajoba závěrečné práce

• Obhajoba proběhla 22. 6. 2016
• Vedúci: Mgr. Juraj Nižnan
• Oponent: Mgr. Vít Stanislav

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Informatics / Computer Systems and Data Processing