Automatizace sběru a analýzy zpravodajského obsahu na základě uživatelských dotazů

Artur Pereprosov

Bakalářská práce

Automation of News Content Collection and Analysis Based on User Queries

Anotace:

Tato bakalářská práce se zabývá problematikou automatizované analýzy zpravodajského obsahu s využitím moderních metod zpracování přirozeného jazyka (NLP) a velkých jazykových modelů (LLM). Cílem práce je vývoj aplikace, která umožňuje uživatelům efektivně získávat, zpracovávat a analyzovat informace z online zpravodajských zdrojů. Práce nejprve poskytuje přehled teoretických základů, včetně tradičních (BoW, TF- IDF) a kontextových (Self-Attention, GPT) metod extrakce rysů, a detailně se věnuje technikám Prompt Engineeringu. V praktické části je popsána implementace aplikace, její architekturu a použité technologie (Python, Streamlit, LangChain, a API Gemini 1.5). Aplikace využívá web scraping pro sběr dat, LLM pro extrakci strukturovaných informací (autor, shrnutí, sentiment, klíčová slova atd.) a algoritmy strojového učení (K-Means, t-SNE) pro shlukování a vizualizaci. Hodnocení výsledků ukazuje vysokou přesnost extrakce dat (nad 90 %), avšak omezenou schopnost LLM generovat výstižné názvy shluků. Práce demonstruje potenciál LLM pro automatizaci analýzy obsahu, identifikuje limity současných technologií (např. blokování sběru dat) a navrhuje směry dalšího výzkumu, včetně optimalizace shlukovacích algoritmů a vylepšení Prompt Engineeringu.

Abstract:

This bachelor's thesis addresses the challenge of automated news content analysis using modern Natural Language Processing (NLP) methods and Large Language Models (LLMs). The aim of the thesis is to develop an application that allows users to efficiently acquire, process, and analyze information from online news sources. The thesis begins with an overview of the theoretical foundations, including traditional (BoW, TF-IDF) and contextual (Self-Attention, GPT) feature extraction methods, and provides a detailed examination of Prompt Engineering techniques. The practical part describes the application implementation, its architecture, and the technologies used (Python, Streamlit, LangChain, and the Gemini 1.5 API). The application utilizes web scraping for data collection, LLMs for structured information extraction (author, summary, sentiment, keywords, etc.), and machine learning algorithms (K-Means, t-SNE) for clustering and visualization. Evaluation of the results demonstrates high data extraction accuracy (over 90%), but limited LLM capability in generating concise cluster names. The thesis demonstrates the potential of LLMs for automating content analysis, identifies the limitations of current technologies (e.g., data collection blocking), and suggests directions for further research, including optimization of clustering algorithms and improvements in Prompt Engineering.

Klíčová slova

NLP, LLM, Prompt Engineering, umělá inteligence, Python, text mining

Keywords

NLP, LLM, Prompt Engineering, artificial intelligence, Python, text mining

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 14. 3. 2025

Obhajoba závěrečné práce

• Vedoucí: Ing. Tereza Horáková, Ph.D.
• Oponent: Mira Mauleshova, Ing.

Česká zemědělská univerzita v Praze

Provozně ekonomická fakulta

Bakalářský studijní program:
Informatika