Paralelismus v adaptivních evolučních algoritmech

Mgr. Petr BUJOK

Doctoral thesis

Parallelism in adaptive evolutionary algorithms

Abstract:

Evoluční algoritmy slouží jako prostředek hledání globálního extrému a jsou s úspěchem aplikovány v mnoha vědecko-technických oborech. Účinnost evolučních algoritmů je charakterizována jejich rychlostí a spolehlivostí. Při stochastickém prohledávání obvykle zvýšení spolehlivosti znamená snížení rychlosti. V evolučních algoritmech hledáme postupy dávající přijatelný kompromis mezi rychlostí a spolehlivostí. Aplikování evolučních technik na zvláště obtížné úlohy je zpravidla zatíženo velkými výpočetními náklady. Jedním z řešení, jak snížit výpočetní náklady a udržet spolehlivost, je použití paralelizace. Některé části evolučních algoritmů lze provádět distribuovaně na několika paralelních výpočetních jednotkách. Tím lze výpočetní nároky na hledání řešení úlohy rozložit a snížit. Diferenciální evoluce (DE) je jeden z evolučních algoritmů, který je úspěšně používaný na řešení různých úloh. V disertační práci je studován vliv aplikace různých modelů paralelismu a jejich parametrů v DE na účinnost algoritmů. Součástí práce je obsáhlá rešerše paralelismu v evolučních algoritmech. Na základě této rešerše byly navrženy různé varianty paralelní DE a experimentálně porovnány v pseudoparalelním režimu v prostředí MATLAB na sadě testovacích úloh. Výsledky tohoto výzkumu byly průběžně publikované na konferencích a v časopisech. Výsledky experimentů ukazují, že migrace jedinců mezi subpopulacemi umožňuje zvýšit účinnost algoritmu DE. Účinnost paralelních algoritmů DE je závislá na nastavení hodnot řídicích parametrů migrace a nelze určit jedno nastavení jako univerzální. Migrace jedinců je účinnější spolu s adaptivními variantami algoritmu DE. Paralelizací jedné adaptivní varianty DE lze snížit výpočetní náklady až o 80 % bez ztráty spolehlivosti. Paralelizace algoritmu, v němž spolupracuje více adaptivních variant DE snížila výpočetní náklady až o 50 % v porovnání s~nejrychlejší a nejspolehlivější neparalelní DE. Nejúčinnější se ukazuje topologie hvězda, zejména díky dalšímu vývoji jedinců centrálního ostrova. Topologie kruh neumožňuje použít centrální uzel a úplné propojení způsobuje zpravidla vyšší výpočetní náklady. Výsledky experimentů ukázaly, že je vhodné rozdělit populaci spíše mezi menší počet ostrovů k=<2, 6>. Malá délka epochy (nde=1) je vhodná pro úlohy s malou dimenzí úlohy (D=5), pro větší dimenzi (D=10) se účinnější ukazuje delší epocha nde={10, 20}. Pro dimenzi úlohy (D=30) je vhodný delší vývoj subpopulací nde={30, 40}. Zvýšení délky epochy z 5 generací na 30 generací zvýší spolehlivost nejvýše o několik procent, výpočetní nároky však vzrostou přes 10 %.

Abstract:

Evolutionary algorithms are tool of global optimization and they have been successfully applied in many fields of science and technology. The performance of evolutionary algorithms is characterized by their speed and reliability. In stochastic search, increase in reliability usually leads to decrease in speed in vice versa. Evolutionary algorithms represent an approach how to obtain an acceptable agreement between speed and reliability. Applying evolutionary techniques to extremly difficult problems usually requires a big amount of computational time. The way how to decrease the computational time and preserve the reliability is parallelization. Some parts of evolutionary algorithms can be carried out in a distributed mode on several parallel computation units. Thus, the computational costs needed to find the problem solution can be distributed and the computational time decreased. Differential evolution (DE) is one of evolutionary algorithms that is frequently used in applications. The influence of different parallel models and their parameter settings on performance of the algorithms in the frame of DE is studied. The thesis contains a thorough literary research of parallelism in evolutionary algorithms. Based on the results, various variants of parallel DE have been proposed and compared experimentally on a set of benchmark problems. Parallel variants of DE for experimental comparison were implemented in a pseudo-parallel regime in the MATLAB environment. The results of this research were published at conferences and in journals. The experimental results show that migration of individuals between sub-populations can increase the performance of the DE algorithm. The efficiency of parallel variants of DE depends on the setting of the migration control parameters and we are not able to determine the only parameter setting suitable for all problems. Migration can increase the performance even more when it is applied to adaptive DE variants than to standard DE variants. Parallelization of one adaptive DE decreases the computational costs up to 80 % without lost of reliability. Parallelization applied to several cooperating DE variants was able to decrease the computational costs up to 50 % in comparison with the best non-parallel DE variant. Among the experimentally compared parallel models, the star topology performed best especially due to further evolution of individuals on the central island. The ring topology does not enable the use of the central island and complete connection usually causes higher computational costs. The experimental results showed that a small number of islands k=<2, 6> is better. The minimal length of epoch (nde=1) is suitable in low-dimensional problems (D=5); for problems of higher dimension (D=10), it is the length of epoch nde={10, 20}, and for D=30 nde={30, 40} is more efficient. The change of the epoch length from 5 to 30 generations, increases the reliability by a few percent at most while computational costs increase by more than 10 %.

Keywords

globální optimalizace, evoluční algoritmy, paralelismus, diferenciální evoluce, adaptace, experimentální porovnání

Language used: Czech

Date on which the thesis was submitted / produced: 18. 3. 2013

Accessible from:: 18. 3. 2013

Thesis defence

University of Ostrava

Faculty of Science

Doctoral programme / field:
Information Science / Information Systems