Optimization techniques of neural networks for mobile platforms during training phase

Bc. Adam Grygar

Bachelor's thesis

Abstract:

Umělé neuronové sítě a konvoluční neuronové sítě se stále zvětšují společně se stále vyšší poptávkou po výkonných výpočetních zdrojích. Nicméně poptávka na jejich provoz na koncových mobilních zařízeních s nízkou spotřebou stoupá. Toto nasazení na mobilních zařízeních je pro některé úkoly vyžadováno, ale výpočetní výkon je limitovaný. Se zavedením optimalizačních technik mohou být modely menší a rychlejší na mobilním hardwaru. V této práci jsou popsány optimalizační techniky spolu s popisem použitých technologií, základní teorie strojového učení, shrnutí implementace a závěrečné vyhodnocení. Architektury dvou konvolučních neuronových sítí MobileNetV2 a EfficientNetB0 jsou natrénovány na vybraných datasetech a poté optimalizovány. K trénování a optimalizaci se používají frameworky TensorFlow, TensorFlow Model Optimization Toolkit a TensorFlow Lite. Z evaluace vyplývá, že MobileNetV2 s kombinací weight clustering a full integer quantization, přináší dobré výsledky. Výsledkem této práce je praktické vyhodnocení různých optimalizačních technik na ARM čipu, které by mohly naznačit, jaké optimalizační techniky jsou vhodné pro budoucí práci.

Abstract:

Artificial neural networks and convolutional neural networks are still getting larger with higher demand for powerful computing resources. However, the demand for running them on low-power end mobile devices is rising. This deployment on mobile devices is required for some tasks, but the computational power is limited. With the introduction of optimization techniques, the models could be smaller and faster on mobile hardware. In this work, there are optimization techniques described, along with a description of used technologies, basic machine learning theory, a summary of implementation, and final evaluation. MobileNetV2 and EfficientNetB0 convolutional neural network architectures are trained on selected datasets and optimized after. The training and optimization are using TensorFlow, TensorFlow Model Optimization Toolkit, and TensorFlow Lite frameworks. From the evaluation emerges that MobileNetV2, with the combination of weight clustering and full integer quantization, yields good results. The outcome of this work is a practical evaluation of different optimization techniques on an ARM chip that could suggest which optimization technique to choose from for future work.

Keywords

machine learning, mobile devices, quantization, pruning, weight clustering, neural networks, TensorFlow, NXP i.MX 8 QuadMax

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2021

Thesis defence

• Date of defence: 28. 6. 2021
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: doc. RNDr. Lubomír Popelínský, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing