Obsah webových stránek a jeho efektivní zpracování

Tereza Škutová

Diplomová práce

Webpage Content and Its Effective Processing

Anotace:

Diplomová práce ukazuje možnost integrace metod pro zpracování přirozeného jazyka do prostředí prohlížeče pro analýzu obsahu webových stránek. Proces analýzy textu obnáší specifickou sekvenci kroků vycházející ze znalosti jazyka. Z veřejně dostupných dokumentů se extrahují klíčová slova. Nejčetnější termy jsou následně využity při výuce slov pro rozšíření slovní zásoby uživatele přímo v prostředí prohlížeče. Přestože rozšíření nabízí překlad do různých jazyků, tak textová analýza je zaměřena pouze na jazyk anglický, pro který jsou přizpůsobeny také veškeré metody pro zpracování přirozeného jazyka. Kromě sestavení vlastního slovníku nabízí aplikace také automatické testování. Praktická část kromě samotné aplikace zahrnuje také hodnocení aktuálního stavu aplikace a nabízí přehled dalších možných rozšíření pro kvalitnější nabízené služby.

Abstract:

The thesis shows the possibility of integrating natural language processing methods into the browser environment for web content analysis. The process of text analysis involves a specific sequence of steps based on the knowledge of the language. Keywords are extracted from publicly available documents. The most frequent terms are then used in word learning to expand the user's vocabulary directly in the browser environment. Although the extension offers translation into different languages, the textual analysis focuses only on the English language, for which all natural language processing methods are also adapted. In addition to building your own dictionary, the application also offers automatic testing. In addition to the application itself, the practical part also includes an evaluation of the current status of the application and offers an overview of further possible extensions for a better quality of the offered services.

Klíčová slova

analýza textu, HTML, lemmatizace, NLP, překladač, rozšíření prohlížeče, slovní zásoba, stematizace, stop slovo, sumarizace, tokenizace, vyhledávání, web

Keywords

browser extension, HTML, lemmatization, NLP, search, stematization, stop word, summarization, text analysis, tokenization, translator, vocabulary, web

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 30. 4. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 1. 6. 2022
• Vedoucí: Michal Radecký
• Oponent: Petr Gajdoš

VŠB – Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Magisterský studijní program / obor:
Informační a komunikační technologie / Informatika a výpočetní technika