Návrh robota pro automatické vyhledávání informací na Internetu týkajících se zvolených témat a jejich ukládání do databáze.

Zdeněk Záleský

Bachelor's thesis

Design of robot for automatic information seeking on the Internet related to choosen subjects and their store into database

Anotácia:

Cílem projektu je navrhnout automatizovaný vyhledávač informací v prostředí Internetu vztahujících se ke vznikajícím společenským akcím a jejich ukládání do databáze. V práci se věnujeme morální a legální stránce této tematiky, vhodnými případy nasazení a dále jsou popsány některé postupy používající se v problematice web scrapingu, jako je například konfigurace a spuštění web crawlerů.

Abstract:

The goal of the project is to design an automated program searching environment of the Internet that aims to search for information about new cultural events, its parsing and saving them into database. The thesis describes moral and legal aspect connected with the issue, suitable use cases of web scraping and then we cover some of the practices used in problematic of web scraping, such as using fulltext search engines, or configuring and running a web crawler.

Kľúčové slová

Web scraping, web crawling, big data, Scrapy, Python, Apache Cassandra

Jazyk práce: Czech

Datum vytvoření / odevzdání či podání práce: 14. 9. 2020

Zverejniť od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedúci: doc. Ing. Tomáš Brandejský, Dr.

University of Pardubice

Faculty of Electrical Engineering and Informatics

Bachelor programme / odbor:
Information Technology / Information Technology