Searching for Sneakers from Photographs Using Machine Learning

Ing. Tomáš Frátrik

Diplomová práce

Anotace:

Táto práca sa zameriava na identifikáciu tenisiek z fotografií. Cieľom bolo navrhnúť a implementovať webový systém, ktorý analyzuje nahraný obrázok tenisiek a vráti najpravdepodobnejšiu triedu tenisiek spolu s alternatívnymi kandidátnymi výsledkami. Systém pracuje s katalógom tenisiek a podporuje priraďovanie metadát na základe predikovanej zhody. Navrhnuté riešenie pozostáva z klientskej webovej aplikácie a Python backendu s modulárnym systémom spracovania, lokalizáciou tenisiek, predikciou, podporou katalógu a nástrojmi na vyhodnocovanie. Systém bol najskôr implementovaný pomocou klasifikátora založeného na doladenom modeli CLIP a neskôr rozšírený o EfficientNet-B0 ako alternatívny model supervidovanej klasifikácie. Vyhodnocovanie postupovalo od počiatočného datasetu so 142 triedami k viac kontrolovanej podmnožine s 13 triedami vizuálne podobných modelov tenisiek. Výsledky ukázali, že zloženie datasetu a podmienky snímok majú výrazný vplyv na úspešnosť rozpoznávania. V záverečnom vyhodnotení uzavretej množiny dosiahol EfficientNet-B0 lepšiu top-1 presnosť ako klasifikátor založený na modeli CLIP. Experimenty zároveň potvrdili, že pohľadový uhol, obsah pozadia, kvalita obrazu a vizuálna podobnosť medzi modelmi tenisiek zostávajú významnými zdrojmi chýb. Práca preto predstavuje kompletný a modulárny systém identifikácie tenisiek spolu s vyhodnotením rôznych modelových prístupov v realistických podmienkach.

Abstract:

This thesis focuses on sneaker identification from photographs. The goal was to design and implement a web-based system that analyzes an uploaded sneaker image and returns the most likely sneaker class, together with alternative candidate results. The system works with a sneaker catalog and supports metadata assignment based on the predicted match. The proposed solution consists of a frontend web application and a Python backend with a modular preprocessing pipeline, sneaker localization, prediction, catalog support, and evaluation tools. The system was first implemented with a fine-tuned CLIP-based classifier and later extended with EfficientNet-B0 as an alternative supervised classification model. The evaluation progressed from an initial 142-class dataset to a more controlled 13-class subset of visually similar sneaker models. The results showed that dataset composition and image conditions have a strong effect on recognition performance. In the final closed-set evaluation, EfficientNet-B0 achieved better top-1 accuracy than the CLIP-based classifier. The experiments also confirmed that viewpoint, background content, image quality, and visual similarity between sneaker models remain important sources of error. The thesis, therefore, presents a complete and modular sneaker identification system together with an evaluation of different model choices under realistic conditions.

Keywords

sneaker identification, visual search, image classification, computer vision, machine learning, deep learning, fine-grained recognition, CLIP, EfficientNet, image preprocessing

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 6. 2026
• Vedoucí: Mgr. Marek Grác, Ph.D.
• Oponent: RNDr. Vladimír Kadlec, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů