Cross-Modal Similarity Searching in Image Data

Bc. Tomáš Ljutenko

Master's thesis

Abstract:

Táto práca predstavuje návrh a implementáciu systému klient-server, ktorý umožňuje obsahovo orientované vyhľadávanie v obrázkovej databáze prostredníctvom webového používateľského rozhrania. Primárne zameranie je na uľahčenie efektívneho získavania obrázkov na základe prirodzeného jazyka alebo obrázkových dotazov. Databáza obsahuje obrázky alebo obrázky kľúčových snímkov extrahované z videí. Základná funkcionalita systému podporuje špecifikáciu textových dotazov v prirodzenom jazyku a obrázkových dotazov nahraním obrázku alebo zadaním jeho URL. Využitím úspešných modelov textu-do-obrázku a pokročilých mechanizmov indexovania sa náš systém zameriava na poskytovanie dobrej používateľskej skúsenosti a presnosti vyhľadávania.

Abstract:

This thesis presents the design and implementation of a client-server system that enables content-based searching in an image-based database through a web-based user interface. The primary focus is on facilitating efficient image retrieval based on natural language or image queries. The database comprises images or key-frame images extracted from video data, and the system’s core functionality supports the specification of text queries in a natural language description and image queries by uploading and image or typing an URL. Leveraging successful text-to-image retrieval models and advanced image feature indexing mechanisms, our system aims to deliver a good user experience and retrieval accuracy.

Keywords

Cross-Modal retrieval, indexing, searching, Client-Server architecture, system, CLIP, FAISS

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 12. 2. 2024
• Supervisor: doc. RNDr. Jan Sedmidubský, Ph.D.
• Reader: RNDr. Michal Batko, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems