AI-Based OSINT Agent Systems for the Analysis of the Societal Impact of European Union Policies

Jiří Daniel Trávníček

Diplomová práce

Agentní systémy OSINT založené na umělé inteligenci pro analýzu společenských dopadů politik Evropské unie

Anotace:

Politiky Evropské unie jsou v okamžiku publikace dobře dokumentovány. Jejich následná recepce ve zpravodajství, diskusních fórech a na sociálních platformách je však obtížněji sledovatelná, protože relevantní evidence je roztříštěná a jen zřídka zachycená v jedné auditovatelné stopě. Tato diplomová práce navrhuje, implementuje a vyhodnocuje prototyp Open Source Intelligence (OSINT) podporovaný umělou inteligencí, který se zaměřuje právě na tento problém. Prototyp sleduje jednu pozorovatelnou vrstvu recepce politik, kterou práce označuje jako diskurzivní recepci politik. Tou se rozumí viditelné stopy pozornosti, sentimentu, postoje, rámování a odkazů na aktéry v otevřeně dostupných textech. Metodologicky práce vychází z přístupu Design Science Research. Vytvořeným artefaktem je sekvenční multiagentní pipeline v jazyce Python, která pokrývá plánování, sběr z více zdrojů, filtrování, analýzu dokumentů pomocí velkého jazykového modelu, kritickou revizi, generování upozornění a ukládání výstupů na úrovni jednotlivých běhů. Každý dokončený běh vytváří výzkumný balíček obsahující strukturované výstupy, auditní stopu, kritické zprávy, záznamy upozornění a diagnostiku zdrojů. Díky tomu lze evidenci za každým během zpětně otevřít a přezkoumat. Evaluace kombinuje dva typy evidence. Hlavním případem je regulace EU známá jako Chat Control, u níž sedm živých běhů vytvořilo 238 záznamů sesbíraných dokumentů a 157 záznamů analýz na úrovni jednotlivých dokumentů. Samostatný validační běh z 9. dubna 2026 je v kapitole 5 použit jako průchod systémem od vstupu až po výstup. Druhou část evaluace tvoří ručně anotovaná validační sada 70 dokumentů z případu Chat Control, která umožňuje kontrolované porovnání lexikální baseline (B1), přímého volání LLM v jednom kroku (B2) a multiagentní pipeline (B3). Na validační sadě dosahuje přímé volání LLM mírně vyšší přesnosti u sentimentu (0,900 oproti 0,871), zatímco multiagentní pipeline dosahuje mírně vyšší přesnosti u postoje (0,900 oproti 0,871). Obě varianty založené na LLM výrazně překonávají lexikální baseline (sentiment 0,200, postoj 0,214). Vzhledem k malé velikosti vzorku jsou tyto rozdíly chápány jako směrové, nikoli rozhodující. Rozklad na specializované agenty je proto obhajován především dohledatelností a evidencí z jednotlivých kroků, nikoli robustním zvýšením přesnosti. Přínosem práce je implementovaný artefakt, evidence produkovaná jednotlivými běhy a otevřený popis míst, kde tato evidence slábne: nevyvážené pokrytí zdrojů, převaha angličtiny, nestabilní konektory a kritická vrstva, která slouží spíše k auditovatelnosti než jako spolehlivý detektor chyb. Výsledkem je explorační výzkumný prototyp pro auditovatelné OSINT monitorování recepce politik. Nejde o produkční službu ani o měření společenského dopadu v širokém smyslu.

Abstract:

European Union policy is well documented at the moment of publication. Its reception across news, forums, and social platforms is harder to follow, because the evidence is fragmented and rarely captured in one auditable trace. This thesis designs, implements, and evaluates an AI-assisted Open Source Intelligence (OSINT) prototype that addresses this gap. The prototype focuses on one observable layer of policy reception, here called discursive policy reception: visible traces of attention, sentiment, stance, framing, and actor references in open-source texts. The methodology follows Design Science Research. The artefact is a sequential multi-agent Python pipeline covering planning, multi-source collection, filtering, large language model assisted document analysis, critic review, alerting, and run-level persistence. Each completed run produces a research bundle containing structured outputs, an audit trail, critic reports, alert records, and source diagnostics. This allows the evidence behind each run to be reopened and challenged. The evaluation combines two types of evidence. The primary case is the EU Chat Control regulation, with seven live runs producing 238 collected document records and 157 document-level analysis records. A separate 9 April 2026 validation run is used in Chapter 5 as an end-to-end worked example. The second part is a 70-document hand-labelled Chat Control validation set that supports a controlled comparison between a lexical baseline (B1), a single-shot LLM baseline (B2), and the multi-agent pipeline (B3). On the gold set, the single-shot LLM baseline performs slightly better on sentiment accuracy (0.900 vs. 0.871), while the multi-agent pipeline performs slightly better on stance accuracy (0.900 vs. 0.871). Both substantially outperform the lexical baseline (0.200 sentiment, 0.214 stance). Given the small sample, these differences are treated as directional rather than decisive. The multi-agent decomposition is therefore justified primarily by traceability and per-stage evidence rather than by a robust accuracy gain. The thesis contributes the implemented artefact, the per-run evidence it produces, and an explicit account of where that evidence becomes thin: source imbalance, English-dominant coverage, unstable connectors, and a critic layer that mainly supports auditability rather than reliable error detection. The result is an exploratory research prototype for auditable OSINT monitoring of policy reception. It is not a production service and does not measure full societal impact.

Klíčová slova

monitorování politik EU, diskurzivní recepce politik, OSINT, mediální analýza, Chat Control, velké jazykové modely, automatizovaná upozornění, Design Science Research, AI agenti

Keywords

AI agents, Chat Control, media analysis, OSINT, EU policy monitoring, discursive policy reception, Design Science Research, large language models, automated alerting

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 2. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 12. 6. 2026
• Vedoucí: Jan Černý
• Oponent: Filip Vencovský

Vysoká škola ekonomická v Praze

Magisterský studijní program:
Podniková informatika