Vizualizace mechanismů pozornosti ve Vision Transformerech

Bc. Jan Machynka

Master's thesis

Visualization of Attention Mechanisms in Vision Transformers

Abstract:

Tato diplomová práce se zaměřuje na vizualizaci a interpretovatelnost mechanismů pozornosti v architektuře Vision Transformer (ViT) v kontextu neuronových sítí. Práce systematicky zkoumá možnosti a přístupy k vizualizacím mechanismů pozornosti v kontextu dalších zavedených metod interpretovatelnosti a dává je do kontextu tohoto rozsáhlého odvětví. Po úvodním představení Vision Transformerů a mechanismů pozornosti sleduje práce vývoj těchto modelů ve vztahu k historii a evoluci neuronových sítí především pro počítačové vidění. Dále se věnuje různým variantám ViT a volbě vhodných datových sad pro jejich trénink a validaci. Praktická část se soustředí na vývoj a implementaci nástroje pro vizualizaci různých variant ViT, jeho funkčnost a možnosti aplikace. Výsledky práce ukazují klíčové aspekty a omezení použitých metod. Závěr zdůrazňuje význam tvorby automatizovaných nástrojů pro zvýšení interpretovatelnosti mechanismů pozornosti a vytváření modelů srozumitelných pro člověka, což napomáhá jejich lepší auditovatelnosti a zvyšuje bezpečnost

Abstract:

This master's thesis focuses on the visualization and interpretability of attention mechanisms within the Vision Transformer (ViT) architecture in the context of neural networks. The work systematically explores the possibilities and approaches to visualising attention mechanisms, placing them within the context of other established interpretability methods in this extensive field. After an initial introduction of Vision Transformers and attention mechanisms, the thesis tracks the development of these models in relation to the history and evolution of neural networks, especially for computer vision. It also discusses various ViT variants and the selection of appropriate data sets for their training and validation. The practical part concentrates on the development and implementation of a tool for visualising various ViT variants, its functionality, and application possibilities. The results of the work reveal key aspects and limitations of the methods used. The conclusion emphasises the importance of creating automated tools to enhance the interpretability of attention mechanisms and to develop models that are comprehensible to humans, which aids in their better auditability and increases security.

Keywords

Vision Transformer (ViT), Mechanismy pozornosti, Počítačové vidění, Neuronové sítě, Interpretovatelnost, Vizualizační nástroje, Strojové učení, Hluboké učení, Analýza datových sad.

Language used: Czech

Date on which the thesis was submitted / produced: 13. 5. 2024

Thesis defence

• Supervisor: Ing. Alžběta Turečková, Ph.D.

Tomas Bata University in Zlín

Faculty of Applied Informatics

Master programme / field:
Information Technologies / Software Engineering