Enhancing Contextual E-commerce through Content-Based Image Retrieval

Bc. Petr Janík

Master's thesis

Abstract:

Miliony čtenářů navštěvují webové stránky o módě s cílem najít inspiraci v módních trendech a případně si zakoupit zobrazené oděvy. V současné době musí redaktoři těchto stránek ručně vyhledávat affiliate odkazy na produkty obsažené v obrázcích v článcích, které píší. Moderní metody detekce objektů a vyhledávání na základě obsahu mohou tento pracný proces automatizovat. Tato práce implementuje systém, který automaticky detekuje objekty v obrázku a s využitím síly obrazových embeddingů najde podobné produkty z rozsáhlé databáze produktů. Lokalizace objektů je prováděna pomocí detektoru objektů YOLOv8, který byl vyladěn pro módní doménu a dosáhl 0,749 mAP@0.5 na neviděných datech. Mezi několika hodnocenými embeddingovými modely byl jako nejlepší shledán multimodální model CLIP doladěný na módu. Následné uživatelské testování ukázalo, že kvalitu výsledků lze dále zlepšit použitím strategií pro přehodnocení pořadí využívajících textová metadata. Systém je plně nasazen, integrovaný do systému pro správu obsahu a připraven k použití redaktory.

Abstract:

Millions of readers visit fashion websites looking for inspiration in fashion trends, potentially wanting to buy the displayed garments. Today, editors of those websites need to manually find affiliate links for the products contained within the images in the articles they are writing. Modern object detection methods and content-based image retrieval can automate this laborious process. This thesis implements a system that automatically detects objects within an image and, utilizing the power of image embeddings, finds similar products from an extensive product database. The object localization is performed using a YOLOv8 object detector fine-tuned for the fashion domain, which achieved 0.749 mAP@0.5 on unseen data. Among several embedding models evaluated, a multi-modal CLIP model fine-tuned on fashion was found to provide the best results. Subsequent user testing showed that the quality of the results can be further improved by employing reranking strategies using textual metadata. The system is fully deployed, integrated into the content management system, and ready to be used by editors.

Keywords

content-based image retrieval, similarity search, object detection, contextual e-commerce, fashion image retrieval, CLIP, YOLO

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 20. 6. 2024
• Supervisor: RNDr. Michal Batko, Ph.D.
• Reader: doc. RNDr. Jan Sedmidubský, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems