Vision Transformery pre vstavané platformy

Barbora Nemčeková

Master's thesis

Vision Transformery pro vestavěné platformy

Abstract:

Tato práce se zabývá zkoumáním Transformerů vidění pro úlohu klasifikace obrazu, jejich optimalizaci, a nasazení na vybrané vestavěné zařízení. Na vybraných vestavěných zařízení se doposud pro klasifikaci obrazu používaly konvoluční neuronové sítě, avšak s revolucí ve zpracování přirozeného jazyka vznikl zájem o zkoumání transformerů i pro úlohy počítačového vidění. Práce experimentuje s různými druhy kvantizace modelů, jako je int8 kvantizace, int16x8 kvantizace, dynamická kvantizace a SmoothQuant metoda. Výsledky ukazují, že ne všechny transformery vidění je možné kvantizovat s dostatečnou přesností, a to ani při použití specializované metody SmoothQuant. Taktéž se ukázalo, že kvantizovaný transformer model není možné akcelerovat na NPU vybraných zařízení. Ze zkoumaných faktorů, jako je přesnost po optimalizaci modelu, latence a využití paměti na vestavěném zařízení, konvoluční neuronové sítě stále převyšují modely transformerů.

Abstract:

This work focuses on investigation of Vision Transformers for the task of image classification, their optimization and deployment on selected embedded devices. Until now, convolutional neural networks have been used for image classification on the selected embedded devices, but with the revolution in natural language processing, there has been an interest in investigating transformers for computer vision tasks as well. The work experiments with different kinds of model quantization methods, such as int8 quantization, int16x8 quantization, dynamic quantization, and SmoothQuant method. The results show that not all transformers for computer vision can be quantized with sufficient accuracy, even when using the specialized SmoothQuant method. It also turned out that the quantized transformer model cannot be accelerated on the NPUs of selected devices. From the investigated factors, such as accuracy after model optimization, latency and memory usage on the embedded device, it emerged that for the task of image classification and model deployment on embedded devices, convolutional neural networks still outperform transformer models.

Abstract:

Táto práca sa zaoberá skúmaním transformerov videnia pre úlohu klasifikácie obrazu, ich optimalizáciou a nasadením na vybrané vstavané zariadenia. Na vybraných vstavaných zariadeniach sa doposiaľ pre klasifikáciu obrazu používali konvolučné neurónové siete, avšak s revolúciou v spracovaní prirodzeného jazyka, vznikol záujem o skúmanie transformerov aj pre úlohy počítačového videnia. Práca experimentuje s rôznymi druhmi kvantizácie modelov, ako je int8 kvantizácia, int16x8 kvantizácia, dynamická kvantizácia a SmoothQuant metóda. Výsledky ukazujú, že nie všetky transformery videnia je možné kvantizovať s dostatočnou presnosťou, ani pri použití špecializovanej metódy SmoothQuant. Taktiež sa ukázalo, že kvantizovaný transformer model nie je možné akcelerovať na NPU vybraných zariadení. Zo skúmaných faktorov, ako je presnosť po optimalizácií modelu, latencia a využitie pamäte na vstavanom zariadení vyplynulo, že pre úlohu klasifikácie obrazu a nasadenie modelu na vstavané zariadenia, konvolučné neurónové siete stále prevyšujú modely transformerov.

Keywords

vestavěná zařízení, konvoluční neuronové sítě, klasifikace obrazu, kvantizace neuronových sítí, transformery

Keywords

transformers, convolutional neural networks, neural network quantization, embedded devices, image classification

Keywords

konvolučné neurónové siete, kvantizácia neurónových sietí, transformery, vstavané zariadenia, klasifikácia obrazu

Language used: Slovak

Date on which the thesis was submitted / produced: 11. 1. 2024

Thesis defence

• Date of defence: 22. 1. 2024
• Supervisor: Ing. Jan Kolomazník, Ph.D.
• Reader: Michaela Veselá, Ing. Ing.

Mendel University in Brno

Faculty of Business and Economics

Master programme / specializace:
Open Informatics / Scope for Open Informatics