Návrh robota pro automatické vyhledávání informací na Internetu týkajících se zvolených témat a jejich ukládání do databáze.

Zdeněk Záleský

Bakalářská práce

Design of robot for automatic information seeking on the Internet related to choosen subjects and their store into database

Anotace:

Cílem projektu je navrhnout automatizovaný vyhledávač informací v prostředí Internetu vztahujících se ke vznikajícím společenským akcím a jejich ukládání do databáze. V práci se věnujeme morální a legální stránce této tematiky, vhodnými případy nasazení a dále jsou popsány některé postupy používající se v problematice web scrapingu, jako je například konfigurace a spuštění web crawlerů.

Abstract:

The goal of the project is to design an automated program searching environment of the Internet that aims to search for information about new cultural events, its parsing and saving them into database. The thesis describes moral and legal aspect connected with the issue, suitable use cases of web scraping and then we cover some of the practices used in problematic of web scraping, such as using fulltext search engines, or configuring and running a web crawler.

Klíčová slova

Web scraping, web crawling, big data, Scrapy, Python, Apache Cassandra

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 14. 9. 2020

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: doc. Ing. Tomáš Brandejský, Dr.

Univerzita Pardubice

Fakulta elektrotechniky a informatiky

Bakalářský studijní program / obor:
Informační technologie / Informační technologie