Modul stahovače internetu pro získání dynamicky generovaného obsahu webových stránek

Bc. Adam Viktora

Bachelor's thesis

A web crawler module for obtaining dynamically generated content of web pages

Anotácia:

Tato bakalářská práce se zabývá problémem získávání užitečného textového obsahu z webových stránek, které generují obsah na straně klienta pomocí jazyka JavaScript. Práce je uskutečněna ve spolupráci s firmou Lexical Computing, která pro účely získávání textů z internetu využívá svůj vlastní crawler Spiderling. Ten však neumí vyhodnocovat skripty jazyka JavaScript. Praktická část spočívala v implementaci modulu pro crawler Spiderling, který bude umět získat obsah stránky, dynamicky dogenerovaný na straně klienta. V textu práce je popsána strategie, která byla v modulu využita, její pozitiva i negativa. Značná část se zabývá problémem cookies dialogů. Dále je na velkém množství stránek vyhodnocena celková přínosnost modulu. Nakonec je rozebráno jeho možné napojení do existujícího crawleru.

Abstract:

This thesis is about extracting useful text from websites, which generate their content dynamically on a client with JavaScript. This project was done in cooperation with company Lexical Computing, which uses their own web crawler Spiderling for text extraction. However, this crawler cannot interpret JavaScript. Goal of the implementation part was creating a new module for Spiderling crawler, which will be able to obtain web content, which is rendered dynamically in a web browser. Text of the thesis describes strategy used in a new module, as well as negative side of it - e.g. problem with cookies and similar boilerplate dialogs. Usefulness of a new module is evaluated on a large number of URLs. In the end we talk about connecting the new module to the existing crawler.

Kľúčové slová

NLP, web scraping, webový prohlížeč, JavaScript, obsah na straně klienta

Jazyk práce: Czech

Datum vytvoření / odevzdání či podání práce: 15. 12. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 1. 2. 2023
• Vedúci: RNDr. Vít Suchomel, Ph.D.
• Oponent: RNDr. Vojtěch Kovář, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Programming and development / Programming and development