Bayesian Networks and their Use in Data Mining

Mgr. David HANZELKA

Disertační práce

Abstract:

The dissertation thesis deals with the problem of machine learning of Bayesian network structure from data. It introduces several new consecutions (and related concepts) for improving the efficiency of the existing algorithms. We propose to enhance the standard genetic algorithms (GAs), used in this context, with these new consecutions: 1) to use the Lamarckian, instead of the standardly used Darwinian evolution, 2) to regularly remove the duplicates (the individuals with the same chromosome or representing the same equivalence class of DAGs) from the population in each iteration of GA, 3) to execute what we propose to call the "Post-phase", in which the genetic information of the best part of the resultant population is utilized, defining the space for consequent search. We also introduce several minor improvements and new concepts, e.g. to use the Chi-squared tests for breaking the cycles in the graphs which originated from the DAGs after crossover and mutation operations or by populating the initial population, the U-I matrix for representation of the equivalence class of DAGs with respect to the set of the independence assumptions they encode, an Equivalent generation number (EGN) for the precise comparison of the efficiency of the standard GA and the GA with the Lamarckian evolution with additional costs considered, etc. The computational complexity of the proposed enhancements has also been investigated. They have been implemented and put through the experiments on the pseudo-random samples, generated from the benchmark network Asia and its reduced version, and the real-world data coming from the educational field (SCIO "The Quality 2005"). We found out that the Lamarckian evolution is in the process of BN structure machine learning from data statistically significantly more effective than the non-Lamarckian one. Also the Post-phase appear to be the favourable new concept. The newly introduced concepts and consecutions could be with minor modifications used also in other areas, where the GAs are nowadays being employed.

Abstract:

Disertační práce se zabývá možnostmi využití Bayesovských sítí při dolování (znalostí) z dat. Zaměřuje se zejména na proces strojového učení struktury Bayesovské sítě z dat s použitím genetických algoritmů (GAs). Pro zvýšení efektivnosti standardních GAs použitých v daném kontextu navrhuje zavedení několika nových postupů a souvisejících konceptů. Jedná se zejména o tyto postupy: 1) Použití Lamarckovské (namísto standardně používané Darwinovské) evoluce, 2) odstraňování duplicit (tj. jedinců se stejným chromozómem či reprezentujících stejnou třídu ekvivalence DAGs) z populace v jednotlivých generacích GA a 3) zavedení tzv. "Post-fáze", což je heuristika, prováděná až po skončení výpočtu samotného GA, která využívá genetickou informaci z několika nejlepších jedinců nalezených GA k přesnějšímu vymezení prostoru pro následné cílené prohledávání. Práce dále přichází s několika dílčími vylepšeními existujících přístupů, jako např. použitím testu Chí-kvadrát při odstraňování orientovaných cyklů z nově vygenerovaných jedinců či jedinců vzniklých po aplikaci genetických operátorů, zavádí několik nových konceptů, mj. U-I matici jako úsporný a výpočetně efektivní způsob reprezentace třídy ekvivalence DAGs, "ekvivalentní počet generací" (EGN) pro exaktní srovnání výkonnosti standardního GA s GA s Lamarckovskou evolucí, apod. Všechny tři základní nově navržené postupy byly také implementovány a podrobeny sériím experimentů, srovnávajících jejich efektivnost se standardním GA, a to přinejmenším ve dvou případech s velice slibnými výsledky. Lamarckovská evoluce vede ke statisticky významnému urychlení konvergence GA ke globálnímu maximu výběrového kritéria, Post-fáze umožňuje ve statisticky významném procentu případů najít lepšího (často dokonce nejlepšího) jedince, než jaký byl nalezen samotným GA. Experimenty byly prováděny na pseudonáhodných datových souborech, vygenerovaných z benchmark sítě Asia a její redukované verze. Práce obsahuje také stručnou případovou studii, provedenou na reálných datech, pocházejících z průzkumu společnosti SCIO "Kvalita 2005", s cílem ukázat, že navrhované postupy mohou být aplikovány také na rozsáhlejší modely z praxe. Nově navržené postupy mohou být dle našeho názoru po menších úpravách použity také v jiných oblastech, při řešení jiných optimalizačních problémů řešených v současné době s použitím GAs.

Keywords

Bayesovské sítě, grafické pravděpodobnostní modely, zpracování neurčitosti, dolování z dat, učení struktury, strojové učení, optimalizace, genetické algoritmy.

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 26. 4. 2008

Zveřejnit od: 26. 4. 2008

Obhajoba závěrečné práce

• Obhajoba proběhla 29. 9. 2008
• Vedoucí: prof. RNDr. Ivan Křivý, CSc.

OSTRAVSKÁ UNIVERZITA V OSTRAVĚ

Přírodovědecká fakulta

Doktorský studijní program / obor:
Informatika / Informační systémy