Chatbot-like Natural Language Interface to a Web-based Information System

Bc. Michal Spiegel

Bachelor's thesis

Abstract:

Vývoj autonómnych inteligentných agentov schopných komplexného rozhodovania a riešenia úloh v špecifických prostrediach je stále kľúčovou výzvou v oblasti umelej inteligencie. Táto práca sa zameriava na autonómnych agentov, ktorí navigujú webové stránky a plnia úlohy na webe prostredníctvom prehliadača. Poukazuje na obmedzenia súčasných najmodernejších webových agentov, ktorým chýbajú znalosti o webových stránkach, na ktorých pracujú, čo vedie k neefektívnemu plneniu úloh. Na vyriešenie tohto problému navrhujem WebMap, nový prístup, ktorý predspracováva a spracúva obsah webovej stránky do sémantickej mapy a poskytuje agentom skratky relevantné pre úlohy. Experimentálne overenie na súbore údajov WebArena ukazuje, že WebMap dosahuje 15 % relatívny nárast v dokončení úlohy oproti súčasnej vedúcej metóde. Medzi hlavné prínosy tejto práce patrí návrh a implementácia WebMap, experimentálne hodnotenie na referenčnej vzorke WebArena a podrobná analýza chýb, ktorá poukazuje na oblasti, ktoré je potrebné v budúcnosti zlepšiť.

Abstract:

The development of autonomous intelligent agents capable of complex decision-making and task-solving within specific environments remains a key challenge in Artificial Intelligence. This thesis focuses on autonomous agents navigating websites and solving tasks on the web through a browser. It highlights the limitations of current state-of-the-art web agents, which lack in-domain knowledge about the websites they operate on and often fail to navigate to important resources. To address this, I propose WebMap, a novel approach that preprocesses the website in advance and then retrieves only task-relevant web pages that serve as a shortcut to important resources. Experimental validation on the WebArena dataset demonstrates that WebMap achieves a 15\% relative gain in task completion over the current leading method.

Keywords

autonomous web navigation, autonomous LLM agents, LLM reasoning, HTML understanding, vector databases, LLM, artificial intelligence, deep learning, experimental implementation, NLP

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2024

Thesis defence

• Date of defence: 27. 6. 2024
• Supervisor: doc. RNDr. Aleš Horák, Ph.D.
• Reader: doc. Mgr. Pavel Rychlý, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics