Modul RBM a DBM pro program Modeler neuronových sítí

Patrik Lyčka

Diplomová práce

Module RBM and DBM for Program Neural Net Modeler

Anotace:

Tato diplomová práce se zaměřuje na rozšíření programu Modeler neuronových sítí o sítě Restricted Boltzmann Machine a Deep Boltzmann Machine. Dále se zaměřuje na paralelizaci učení těchto sítí. V této práci jsou popsány uvedené neuronové sítě a možnosti monitorování jejich učení. Jsou zde také popsány možnosti paralelizace neuronových sítí pro distribuovaný výpočet. V rámci této práce byl rozšířen program Modeler neuronových sítí a vytvořen program pro paralelizaci sítí Restricted Boltzmann Machine a Deep Boltzmann Machine využívající datový paralelismus. S využitím těchto programů a superpočítače byla porovnána rychlost učení a úspěšnost klasifikace vzorů mezi sekvenční a paralelní implementací uvedených neuronových sítí na různých datasetech.

Abstract:

This master thesis focuses on extending the program Neural net modeler with Restricted Boltzmann Machine and Deep Boltzmann Machine networks. Furthermore, this thesis deals with parallelization of learning of these networks. Stated neural networks and monitoring possibilities of their learning are described in this work. Possibilities of neural networks parallelization for distributed computing are also described there. In the scope of this study, the program Neural net modeler was extended and a new program was created, which deals with parallelization of Restricted Boltzmann Machine and Deep Boltzmann Machine networks using data parallelism. Using these programs and a supercomputer, the speed of learning and the success rate of pattern classification were compared between sequential and parallel implementation of the mentioned neural networks on various datasets.

Klíčová slova

neuronové sítě, Restricted Boltzmann Machine, Deep Boltzmann Machine, datový paralelismus, distribuovaný výpočet

Keywords

neural networks, Restricted Boltzmann Machine, Deep Boltzmann Machine, data parallelism, distributed computing

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 30. 4. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2020
• Vedoucí: David Ježek
• Oponent: Jan Kožusznik

VŠB – Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Magisterský studijní program / obor:
Informační a komunikační technologie / Informatika a výpočetní technika