Webový vyhledávač s web crawlerem

Artem Puzik

Bachelor's thesis

Web search engine with web crawler

Abstract:

Cílem této bakalářské práce je návrh a implementace webového vyhledávače s web crawlerem, zaměřeného na efektivní vyhledávání, sběr a indexaci dat z webových stránek. V teoretické části se analyzuje struktura webových vyhledávačů, včetně principů web scraping technologií a indexovacích strategií. Praktická část popisuje realizaci systému pomocí platformy .NET, doplněnou o databáze Elasticsearch, Neo4j a Redis. Součástí praktické části je realizace rozhraní REST API pro snadnou integraci s dalšími aplikacemi. Testování aplikace potvrzuje schopnost systému rychle a přesně zpracovávat dotazy a poskytovat relevantní výsledky, čímž se prokazuje vysoká účinnost a robustnost navrženého řešení.

Abstract:

The aim of this bachelor thesis is to design and implement a web search engine with an integrated web crawler, focusing on efficient searching, collection, and indexing of data from web pages. The theoretical part analyzes the structure of web search engines, including the principles of web scraping technologies and indexing strategies. The practical section describes the system implementation using the .NET platform, supplemented with Elasticsearch, Neo4j, and Redis databases. The practical part also includes the implementation of a REST API for easy integration with other applications. Testing confirms the system's ability to process queries quickly and accurately and provide relevant results, thereby demonstrating the high efficiency and robustness of the proposed solution.

Keywords

Webový vyhledávač, Web crawler, Indexace webových stránek, Extrakce dat z webu

Language used: Czech

Date on which the thesis was submitted / produced: 9. 5. 2024

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Roman Diviš, Ph.D.

University of Pardubice

Faculty of Electrical Engineering and Informatics

Bachelor programme / field:
Information Technology / Information Technology