Webový vyhledávač s web crawlerem

Artem Puzik

Bakalářská práce

Web search engine with web crawler

Anotace:

Cílem této bakalářské práce je návrh a implementace webového vyhledávače s web crawlerem, zaměřeného na efektivní vyhledávání, sběr a indexaci dat z webových stránek. V teoretické části se analyzuje struktura webových vyhledávačů, včetně principů web scraping technologií a indexovacích strategií. Praktická část popisuje realizaci systému pomocí platformy .NET, doplněnou o databáze Elasticsearch, Neo4j a Redis. Součástí praktické části je realizace rozhraní REST API pro snadnou integraci s dalšími aplikacemi. Testování aplikace potvrzuje schopnost systému rychle a přesně zpracovávat dotazy a poskytovat relevantní výsledky, čímž se prokazuje vysoká účinnost a robustnost navrženého řešení.

Abstract:

The aim of this bachelor thesis is to design and implement a web search engine with an integrated web crawler, focusing on efficient searching, collection, and indexing of data from web pages. The theoretical part analyzes the structure of web search engines, including the principles of web scraping technologies and indexing strategies. The practical section describes the system implementation using the .NET platform, supplemented with Elasticsearch, Neo4j, and Redis databases. The practical part also includes the implementation of a REST API for easy integration with other applications. Testing confirms the system's ability to process queries quickly and accurately and provide relevant results, thereby demonstrating the high efficiency and robustness of the proposed solution.

Klíčová slova

Webový vyhledávač, Web crawler, Indexace webových stránek, Extrakce dat z webu

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 9. 5. 2024

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Roman Diviš, Ph.D.

Univerzita Pardubice

Fakulta elektrotechniky a informatiky

Bakalářský studijní program / obor:
Informační technologie / Informační technologie