Neural Network Synthesis

Ing. Pavel VAŘACHA

Doctoral thesis

Abstract:

Tato dizertační práce popisuje metodu syntézy dopředných umělých neuronových sítí (ANN) pomocí Analytického Programování (AP). Tento proces obsahuje vytvoření, učení i optimalizaci ANN. Syntéza ANN v sobě zahrnuje poznatky ze čtyř různých odvětví: evoluční algoritmy, symbolická regrese, ANN a paralelní výpočty. Díky tomu je možno úspěšně syntetizovat vhodné ANN v přijatelném čase. AP podává velmi dobré výsledky za použití nejrůznějších EA jako jeho "pohonu". Přímá asynchronní paralelizace SOMA je zde použita k navýšení výkonu AP s neobyčejnou efektivitou. Tento přístup je experimentálně testován a jeho statistické zhodnocení opravňuje jeho použití s AP. Syntéza ANN je dále úspěšně nasazena k získání optimální ANN pro aproximaci dané funkce za použití adaptivní PRT (řídící parametr SOMA) strategie. Vyhodnocení dopadu této inovativní strategie společně s různými strategiemi GFS na výkon AP dokazuje její značný přínos. Syntéza ANN je prakticky aplikována na problémy reálného života, jako je optimalizace funkce predikující spotřebu tepla dodávaného teplárnou Komořany, nebo klasifikaci rakoviny. Dosažené výsledky jsou porovnány s konkurenčními metodami. V rámci práce bylo vyvinuto softwarové řešení pro podporu syntézy ANN. Technologický základ tohoto software je postaven na principech .NET Framework 3.5 a jeho zdrojový kód je naprogramován v jazyce C#. Syntéza ANN prokázala svoji užitečnost a efektivitu jako nástroj nelineárního modelování a její výsledky byly využity v rámci Inteligentního systému pro řízení energetického systému městské aglomerace. Syntéza ANN navíc ukázala svoji schopnost syntetizovat menší sítě než algoritmus Genetického Programování (GP) a přitom současně umožňuje vytvořit téměř nekonečně komplexní ANN pomocí většího počtu evolučních kol. Tento proces může také vytvářet dopředně rozvětvené ANN, čehož GP není schopno.

Abstract:

This thesis describes a feed forward Artificial Neural Network (ANN) synthesis via an Analytic Programming (AP) by means of the ANN creation, learning and optimization. This process encompasses four different fields: Evolutionary Algorithms, Symbolic Regression, ANN and parallel computing to successfully synthetize a suitable ANN within a reasonable time. AP performes well in many separate cases together with different evolutionary algorithms as its "engine". Direct asynchronous parallelization of SOMA - Self-Organizing Migration Algorithm is applied here to boost AP with unusual efficiency. Direct asynchronously parallel SOMA distribution is experimentally tested and statistically evaluated and its suitability for AP is proved. The thesis describes an ANN synthesis used for function approximation and shows that an optimized and a suitable ANN is easily found by the presented method while the innovative PRT (SOMA control parameter) adaptive strategy is employed. Statistical evaluation of this strategy impact on AP performance is evaluated as well as different AP settings. The ANN synthesis method is applied to the real life problem of Heat Load Prediction function optimization of the heating plant in Komořany (Czech Republic) as well as on cancer classification problem and is compared with other methods. Software for the ANN synthesis support was developed under .NET Framework 3.5 and source codes were written in C#. ANN synthesis proved to be a useful and efficient tool for nonlinear modeling and its results were applied to intelligent system controlling an energetic framework of an urban agglomeration. Furthermore, the ANN synthesis proved to have the ability to synthetize smaller ANN than the Genetic Programming (GP) while simultaneously almost infinitely complex ANN can be synthetized by the application of multiple evolution loops. This process can also produce ANN with feed forward branching, which is an unavailable quality for the GP.

Keywords

umělé neuronové sítě, syntéza, SOMA, optimalizace, evoluční algoritmy

Language used: Czech

Date on which the thesis was submitted / produced: 22. 2. 2011

Accessible from:: 22. 2. 2011

Thesis defence

• Date of defence: 28. 11. 2011

Tomas Bata University in Zlín

Faculty of Applied Informatics

Doctoral programme / field:
Engineering Informatics / Engineering Informatics