Inteligentní detekování struktury webu

Bc. Ján Švec

Master's thesis

Intelligent web-structure detection

Abstract:

Our thesis deals with design and development of a software for building a web corpora. It aims on the extraction of useful information from internet articles and discussions (author, title, date, main text) and what is more, remove so called boilerplate and other unnecessary parts. Our software downloads documents from the chosen domain by using a web crawler with the possibility of filtration. To detect the structure of HTML (HyperText Markup Language) pages within a domain, our software uses a modified algorithm SST (Site Style Tree). It uses text features and specific tags in the source code of websites for search of useful information. Output of our software is a web corpora, source of textual data for linguistic research. Part of the thesis is an analysis of existing solutions. The software is implemented in Java language and it includes a web interface on website of Natural Language Processing Centre, in which we can verify the software functionality.

Abstract:

Práca sa zaoberá návrhom a následným vývojom programu na budovanie webových korpusov. Zameriava sa na extrakciu užitočných informácií z internetových článkov a diskusií (autor, nadpis, dátum, text) a zároveň odstránením tzv. boilerplate a iných nepotrebných častí. Program pomocou webového crawleru stiahne dokumenty z vybranej domény s možnosťou ich filtrácie. Pre detekciu štruktúry HTML (HyperText Markup Language) stránok v rámci jednej domény používame upravený algoritmus SST (Site Style Tree). Na hľadanie užitočných informácií využíva vlastnosti textu a špecifické tagy v zdrojovom kóde internetových stránok. Výstup programu slúži ako zdroj dát pre ďalšie spracovanie pri budovaní textových korpusov. Súčasťou práce je analýza existujúcich riešení. Práca je implementovaná v jazyku Java a obsahuje webové rozhranie na stránkach Centra spracovania prirodzeného jazyka, v ktorom si je možné funkčnosť programu overiť.

Keywords

webový korpus, webcrawler, Site Style Tree, odstránenie boilerplate, detekcia štruktúry, extrakcia textu

Language used: Slovak

Date on which the thesis was submitted / produced: 8. 1. 2015

Thesis defence

• Date of defence: 10. 2. 2015
• Supervisor: RNDr. Jan Rygl
• Reader: RNDr. Vít Suchomel

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics