Efficient Mining First-Order Frequent Patterns

RNDr. Jan Blaťák, Ph.D.

Doctoral thesis

Abstract:

Předložená práce se zabývá návrhem nových metod pro dolování častých vzorů z multi-relačních dat. Je zaměřena především na hledání dlouhých a maximálních častých vzorů v hustých datech. Dolování v takových datech je komplikované a algoritmy založené na metodě level-wise, která byla poprvé použita v algoritmu Apriori, jsou pro tuto úlohu nevhodné. Z tohoto důvodu vznikl systém induktivního logického programování RAP, který využívá několik různých způsobů prořezávání a prohledávání prostoru hypotéz. Navrhli jsme techniky prohledávání založené na hledání do hloubky, a také na heuristickém a náhodném prohledávání, které se pro tuto úlohu běžně nevyužívají. Ukázali jsme, že tento přístup je vhodnější pro hledání dlouhých vzorů v hustých datech. Navrhli jsme a částečně implementovali nový refinement operátor pro prostorově-časová data, který umožňuje hledat časté vzory s různou úrovní abstrakce v datech obsahujících prostorovou a časovou složku. Vhodnou kombinací metod pro vyhledávání a prořezávání lze uzpůsobit nastavení systému s ohledem na konkrétní typ dat a řešenou úlohu. První část práce popisuje algoritmus implementovaný v systému RAP a také příslušné metody, které zefektivňují proces prohledávání prostoru hypotéz. Dále se věnujeme rozšířením tRAPe a gRAPe, která jsou navržena pro dolování vzorů z textových a prostorově-časových dat. Nakonec je popsán algoritmus dRAP-Independent, který umožňuje hledat časté vzory v horizontálně fragmentovaných datech. Tento algoritmus využívá metodu, která se osvědčila při zpracování velkého objemu propozičních dat. Při experimentálním ověření jsme pozorovali superlineární zrychlení v případě, kdy se omezí čas přidělený výpočtu vzorů na jednotlivých výpočetních uzlech. V práci uvádíme také výsledky experimentů, ve kterých jsme použili RAP pro tvorbu asociačních pravidel, nových atributů pro klasifikační algoritmy a tvorbu klasifikátorů. Dolovali jsme v datech z několika různých domén, např. chemie, počítačové bezpečnosti, zpracování textu a přirozeného jazyka a geografie. Dosažené výsledky co do přesnosti klasifikátorů byly na standardních testovacích datech srovnatelné s výsledky publikovanými v jiných pracích. Přitom však jsou naše modely tvořeny menším počtem vzorů, což snižuje celkovou výpočetní náročnost dolování -- zejména potřebnou paměť a čas výpočtu.

Abstract:

This thesis is aimed at designing new methods for mining of frequent patterns in multi-relational data. It is focused on the mining of long or maximal frequent patterns in a dense data. It is known that mining in this type of data is difficult and the algorithms based on the level-wise search strategy firstly introduced in the Apriori algorithm are inappropriate for this task. In this work we introduce RAP, an inductive logic programming system that utilizes several different search and pruning strategies for exploring hypothesis space. We designed new search strategies based on the depth-first, best-first and random search that are often left out. We have shown that they are more appropriate for mining long frequent patterns in dense data. We also designed and partially implemented a new refinement operator for spatio-temporal that allows a user to mine frequent patterns in multiple levels of abstraction in the data related to a specific location and time. RAP allows a user to select the optimal combination of search and pruning methods and to tune it up for a particular data and mining task. Firstly, we describe the algorithm employed in RAP and the improvements that we designed for mining very long frequent patterns in dense data. We also describe tRAPe and gRAPe, the extensions for mining in text data and spatio-temporal data. Lastly, dRAP-Independent, an algorithm for independent parallel mining in horizontally fragmented data is described. This algorithm adopts ideas of propositional data partitioning algorithms that have been shown to be appropriate for mining in large volumes of data. We have shown that dRAP can provide super-linear speed up when the execution of computational nodes is limited. The results of practical evaluation of the systems are also given. We utilized RAP for generating association rules and classifiers, or for constructing new features in classification tasks. The evaluation is based on data from various areas, including chemistry, computer security, text mining and natural language processing, and spatio-temporal data. For benchmark data we obtained models comparable to the state-of-the-art algorithms by using fewer patterns which were obtained by using less memory and evaluating much smaller number of candidates.

Keywords

data mining, data preprocessing, frequent patterns, inductive logic programming, knowledge discovery in databases, parallel and distributed mining, spatio-temporal data, text mining

Language used: English

Date on which the thesis was submitted / produced: 10. 2. 2009

Thesis defence

• Date of defence: 12. 5. 2009
• Supervisor: doc. RNDr. Lubomír Popelínský, Ph.D.
• Reader: doc. PhDr. Ján Šefránek, CSc., ass. prof. Alípio Jorge

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics