Exploration and Comparison of Transformers for Image Classification

David Poslušný

Master's thesis

Průzkum a porovnání Transformerů pro klasifikaci obrazu

Anotácia:

Tato diplomová práce se zaměřuje na výzkum a použití Transformerů pro klasifikaci obrazu. Hlavním cílem práce je vyhodnotit výkonnost vybraných Transformer modelů na různých souborech dat pro klasifikaci obrazu v sérii ručně vytvořených experimentů založených na přenosovém učení. Výsledky analýzy jsou porovnány a dále diskutovány v kontextu dostupné literatury. První část práce představuje teoretické základy Transformerů. Obsahuje přehled původní architektury a její adaptace na počítačové vidění. Dále je proveden rozsáhlý průzkum literatury o Transformerech v počítačovém vidění, který se zaměřuje především na klasifikaci obrazu. Tento přehled poskytuje základ pro výběr modelů použitých v experimentech. Ve druhé části práce je proveden rozbor dostupných datových sad pro klasifikaci obrazu s cílem vybrat různorodé doménově specifické výzvy pro modely. Následně jsou navrženy experimenty založené na přenosovém učení pro vyhodnocení a porovnání modelů v různých experimentálních nastaveních. Diplomová práce je zakončena aplikací vybraných modelů na neznámá data. Výsledky jsou vyhodnoceny, analyzovány a diskutovány na základě kontextu jednotlivých experimentů. Hlavním přínosem práce je podrobné vyhodnocení klíčových Transformer modelů používaných pro klasifikaci obrazu na různorodých datových sadách specifických pro určitou doménu. Vybrané komplexní experimenty analyzují modely za různých podmínek a porovnávají jejich generalizační výkonnost mimo trénovací distribuci. Výsledek slouží jako shrnutí a vyhodnocení nejdůležitějších architektur založených na Transformerech pro klasifikaci obrazu.

Abstract:

This thesis focuses on the research and application of Transformers for image classification. The main goal is to evaluate the performance of selected Transformer models on diverse image classification datasets in a series of hand-crafted transfer learning experiments. The results of the analysis are compared and further discussed in the context of available literature. The first part of the thesis presents a theoretical background of Transformers. It contains an overview of the original architecture and its adaptation to computer vision (CV). An extensive literature survey of Transformers in CV is performed, focusing primarily on image classification. The survey provides a basis for selecting models used in the experiments. The second part reviews available image classification datasets to select diverse domain-specific challenges for the models. Subsequently, experiments based on transfer learning are designed to evaluate and compare the models in various experimental setups. The thesis concludes by applying the selected models to the unseen data. The results are evaluated, analyzed, and discussed based on the context of the individual experiments. The primary contribution of the thesis is an in-depth evaluation of key Transformer models adopted for image classification on diverse domain-specific datasets. The complex experiments analyze the models under different conditions and compare their generalization performance outside of the training distribution. The outcome serves as a summary and evaluation of the most important Transformer-based architectures for image classification.

Kľúčové slová

přenosové učení, transformery, klasifikace obrazu, PyTorch, vision transformery

Keywords

image classification, vision transformers, transfer learning, transformers, PyTorch

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 2. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 12. 6. 2025
• Vedúci: Ondřej Zamazal
• Oponent: Miroslav Vacura

Vysoká škola ekonomická v Praze

Master programme:
Znalostní a webové technologie