Extrakce dat z webových serverů

Bc. Jaroslav Loutocký

Master's thesis

Web Scraping

Abstract:

Cílem diplomové práce je vytvoření aplikace včetně uživatelského rozhraní pro demonstraci extrakce dat z webových serverů. Počátek teoretické části se zabývá vysvětlením základních pojmů, principem samotného sběru dat a popisem dostupných nástrojů pro tzv. harvest. Následně je vhodně vybrán jeden z nástrojů, na kterém jsou principy sběru dat realizovány. Práce také obsahuje výhody a nevýhody této realizace. Posledním bodem části teoretické je výběr vhodného databázového systému pro uchování extrahovaných dat a základní popis grafického uživatelského rozhraní. V praktické části je pomocí programovacího jazyka Java vytvořena demonstrační aplikace včetně uživatelského rozhraní.

Abstract:

The aim of this thesis is to create an application including the user interface for a demonstration of the web data extraction (web harvest or web scraping). The beginning of the theoretical part deals with explaining the basic terms, the principles of data extraction and the description of available tools, for a so-called harvest. Subsequently one of the tools is selected and the data collection principles are implemented on it. The thesis also includes advantages and disadvantages of this implementation. The last point of the theoretical part is the selection of a suitable database system for storing extracted data and basic description of the grafical user interface. In the practical part a demo application, including the user interface, is created by Java programming language.

Keywords

extrakce dat, sběr dat, XPath, XML, web, databáze

Language used: Czech

Date on which the thesis was submitted / produced: 13. 5. 2015

Accessible from:: 13. 5. 2015

Thesis defence

Tomas Bata University in Zlín

Faculty of Applied Informatics

Master programme / field:
Engineering Informatics / Information Technologies