Analýza frameworků pro adaptaci hlubokých neuronových sítí

Vilém OBRÁTIL

Bachelor's thesis

Analysis of Deep Learning Frameworks

Abstract:

Tato práce se zabývá frameworky pro adaptaci neuronových sítí. V teoretické části vysvětluje základní pojmy problematiky neuronových sítí a představuje několik široce rozšířených frameworků. V praktické části srovnává osm z těchto frameworků po stránce rychlosti učení, přesnosti, chyby, využití hardwarových prostředků a délky kódu. Jako testovaný problém, pro který byl v každém z frameworků sestaven stejný model hluboké neuronové sítě, byl vybrán problém rozpoznávání číslic z databáze MNIST. Všechna měření byla provedena na stroji s integrovanou grafickou kartou a některá měření také na stroji s dedikovanou grafickou kartou. Jako nejrychlejší se ukázal být framework TensorFlow, jako nejpomalejší naopak framework Sonnet. Modely ve všech frameworcích dosahovaly přesnosti nad 90 procent. Srovnání využití hardwarových prostředků ukázalo, že framework Sonnet využívá výpočetní výkon počítače jen z malé části, což způsobuje dlouhý proces učení, dále, že framework PyTorch je schopen využít výpočetního výkonu dedikované grafické karty bez zvláštní konfigurace a také že nejnáročnějším z frameworků z hlediska paměti je framework Deep Learning 4 Java. Tuto práci je možné použít jako základ pro další výzkum zaměřující se na knihovny frameworků specializující se na práci s dedikovanými grafickými kartami nebo na testy na distribuovaných systémech.

Abstract:

This thesis deals with the topic of frameworks for adaptation of neural networks. The theoretical part explains basic terms from the field of neural networks and introduces several widely used frameworks. In the practical part, eight of those frameworks are compared on their speed of learning, precision, error, hardware usage and code length. As a test problem, for which the same neural network was written in each of the frameworks, the author chose the problem of recognition of digits from the MNIST dataset. All the measurements were done on a machine with an integrated graphics card and some of them also on a machine with a dedicated graphics card. The fastest of the frameworks turned out to be TensorFlow, while the slowest was Sonnet. All the models in each of the frameworks reached over 90 percent precision. The comparison of hardware usage showed, that the Sonnet framework only uses a small portion of computational power available to it, which causes the long learning process. Furthermore, it shows that the PyTorch framework is capable of running computations on a dedicated graphics card without any additional configuration. The most demanding of the frameworks, in terms of memory consumption, turned out to be the Deep Learning 4 Java framework. This thesis could be used as a basis for further reseatch into libraries that deal with computation on dedicated graphics cards or tests on distributed systems.

Keywords

neuronová síť, strojové učení, framework, TensorFlow, PyTorch, Sonnet, Deep Learning 4 Java, MXNet, Gluon, Chainer, Keras

Language used: Czech

Date on which the thesis was submitted / produced: 31. 7. 2020

Accessible from:: 31. 12. 2999

Thesis defence

• Date of defence: 18. 8. 2020
• Supervisor: doc. RNDr. PaedDr. Eva Volná, Ph.D.

University of Ostrava

Faculty of Science

Bachelor programme / field:
Applied Information Science / Applied Information Science