Vyhledávání uměleckých děl z fotografie pomocí strojového učení

Bc. Marek Žákovic

Master's thesis

Searching for Artworks from Photographs Using Machine Learning

Abstract:

This diploma thesis focuses on the design, implementation, and testing of a system for recognizing artworks using modern computer vision methods. The goal was to create a solution that enables private collectors and galleries to quickly and reliably identify artworks based on their photographs. The proposed system uses DINOv2—a self-supervised Vision Transformer model—to extract vector representations from images of artworks, and the FAISS library for efficient search in large-scale databases. The system was experimentally evaluated on six datasets covering a wide range of artistic styles, from figurative paintings to abstract compositions. The experimental results demonstrated high accuracy of the system (98.67% on a dataset with over 8,000 artworks), robustness to augmentations (all tested transformations remained above 95% of the baseline level), and usability in real-world conditions. A comparison of four versions of the DINOv2 model showed that the Giant model achieves the best results (+23.9% compared to the Small model), while the Base model offers the best accuracy-to-complexity trade-off. Practical validation on a dataset of physical artworks confirmed that photographs taken with a mobile phone are sufficient and that a protective cover has no impact on recognition accuracy. As part of the thesis, a web application called ArtSearch was implemented to demonstrate the practical applicability of the proposed solution. The application is ready for deployment for private collections, with the possibility of extension to the general public.

Abstract:

Táto diplomová práca sa zaoberá návrhom, implementáciou a tes- tovaním systému na rozpoznávanie umeleckých diel pomocou mo- derných metód počítačového videnia. Cieľom bolo vytvoriť riešenie, ktoré umožní súkromným zberateľom a galériám rýchlo a spoľahlivo identifikovať diela na základe ich fotografií. Navrhnutý systém využíva DINOv2 – samoučiaci sa Vision Trans- former model – pre extrahovanie vektorových reprezentácií z obrázkov diel a FAISS knižnicu pre efektívne vyhľadávanie v rozsiahlych da- tabázach. Systém bol experimentálne overený na šiestich datasetoch pokrývajúcich široké spektrum umeleckých štýlov, od figuratívnych malieb po abstraktné kompozície. Výsledky experimentov preukázali vysokú presnosť systému (98,67% na datasete s 8 000+ dielami), robustnosť voči augmentáciám (všetky testované transformácie zostali nad 95% základnej úrovne) a použi- teľnosť v reálnych podmienkach. Porovnanie štyroch verzií DINOv2 modelu ukázalo, že Giant model dosahuje najlepšie výsledky (+23,9% oproti Small modelu), zatiaľ čo Base model poskytuje najlepší pomer presnosť/náročnosť. Praktická validácia na datasete fyzických diel potvrdila, že postačujú fotografie mobilným telefónom a ochranný obal nemá vplyv na presnosť rozpoznávania. V rámci práce bola implementovaná webová aplikácia ArtSearch, ktorá demonštruje praktickú použiteľnosť navrhnutého riešenia. Apli- kácia je pripravená na nasadenie pre súkromné zbierky s možnosťou rozšírenia pre širšiu verejnosť.

Keywords

rozpoznávanie umeleckých diel, DINOv2, Vision Transformers, self- supervised learning, FAISS, similarity search, reverse image search

Language used: Slovak

Date on which the thesis was submitted / produced: 16. 12. 2025

Thesis defence

• Date of defence: 29. 1. 2026
• Supervisor: Mgr. Marek Grác, Ph.D.
• Reader: RNDr. Adam Rambousek, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems