Scene-Aware Dialogue for the Pepper Robot Using Object Tracking and Large Language Models

Bc. Jakub Čieško

Diplomová práce

Anotace:

Táto práca sa zaoberá implementáciou dialógu o scéne pre robota Pepper. Cieľom je umožniť robotovi odpovedať na otázky o svojom okolí pomocou metód počítačového videnia, perzistentnej pamäte scény a jazykového generovania. Navrhnutá architektúra používa robota Pepper ako ľahkého robotického klienta zodpovedného za interakciu, snímanie obrazu a zber metadát. Výpočtovo náročné spracovanie je presunuté na externý server, ktorý vykonáva detekciu objektov, asociáciu objektov medzi pozorovaniami, aktualizáciu pamäte scény, generovanie grafov scén a dialóg založený na tejto pamäti. Experimentálna časť práce sa zameriava na meranie kvality generovaných grafov scén. Ďalej skúma vplyv Set-of-Mark promptovania, slovníka predikátov a atribútov, veľkosti slovníka a formátu promptov na generovanie týchto grafov. Rovnako prezentuje výsledky merania latencie interakcie s robotom. Výsledky ukazujú, že vizuálne ukotvenie dialógu je v tomto prostredí realizovateľné, ale zároveň citlivé na návrh promptov, konštrukciu slovníka, kvalitu detektora a latenciu.

Abstract:

This thesis deals with the implementation of scene-aware dialogue for the Pepper robot. The goal is to enable the robot to answer questions about its surroundings using computer vision methods, persistent scene memory, and language generation. The proposed architecture uses Pepper as a lightweight robot client responsible for interaction, image capture, and metadata collection. Computationally demanding processing is moved to an external server, which performs object detection, object association across observations, scene memory updates, scene graph generation, and dialogue grounded in this memory. The experimental part of the thesis focuses on measuring the quality of generated scene graphs. It also examines the effect of Set-of-Mark prompting, the predicate and attribute vocabulary, vocabulary size, and prompt format on the generation of these graphs. It also presents the results of measuring interaction latency with the robot. The results show that visual grounding for dialogue is feasible in this setting, but also sensitive to prompt design, vocabulary construction, detector quality, and latency.

Keywords

Social Robotics, Scene Graph Generation, Object Tracking, Object Detection, RAG, Pepper Robot, Sociálna robotika, generovanie grafov scén, sledovanie objektov, detekcia objektov

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 17. 6. 2026
• Vedoucí: doc. RNDr. Aleš Horák, Ph.D.
• Oponent: RNDr. Adam Rambousek, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Zpracování přirozeného jazyka