Decision Rule Learning for Evolving Data Streams

RNDr. Petr Kosina, Ph.D.

Doctoral thesis

Abstract:

V této práci je navržen ucelený systém pro učení rozhodovacích pravidel z proudů dat a jeho aplikace v oblastech klasifikace v proudech dat a on-line rozpoznávání anomálií v datech. Dolování z proudů dat je proces, při nemž jsou extrahovány znalosti z rychle a nepřetržitě přicházejících záznamů. Na velké množství úloh dolování z dat v dnešní době lze pohlížet jako na dolování z proudů dat, proto se také toto odvětví těší vzrůstající popularitě a objevuje se mnoho nových algoritmů, které jsou schopné tato data zpracovávat. Rozhodovací pravidla jsou jedním z nejflexibilnějších modelů a také jedním z nejlépe interpretovatelných. Nicméně doposud bylo navrženo jen velmi omezené množství algoritmů pro učení pravidel z proudů dat, která se mohou v průběhu času měnit. Tato práce navrhuje systém Very Fast Decision Rules (VFDR), jeho další zajímavá rozšíření a aplikace. VFDR se učí jedním průchodem daty a nabízí možnost učení se uspořádaných či neuspořádaných množin pravidel. Jednou z důležitých vlastností algoritmů pro práci s proudy dat je schopnost detekovat změny v klasifikaci dat a následně rychle přizpůsobit model změnám. Rozšíření pro rychlou adaptaci VFDR nazvané Adaptive Very Fast Decision Rules (AVFDR) je navrženo právě pro výše zmíněné situace. Detekce změn využívá modularity modelu množiny pravidel. Každé z pravidel v množině monitoruje svůj vývoj kvality predikce, podle kterého detekuje, zda došlo ke změně v datech. Jakmile je změna detekována, je pravidlo, jehož kvalita začala významně klesat, z množiny odstraněno. Tento princip umožňuje rychlou adaptaci na změny a pomáhá udržovat velikost množiny pravidel. Dalším využitím modelů množin pravidel je detekce anomálií v datech. V této práci se též zajímáme o možnosti použití navrženého systému pro on-line odhalování anomálií. Toto je jedna z mála prací, které se zabývají on-line detekcí s pomocí inkrementálně se učícího modelu schopného rychlé adaptace. Experimentální část práce prezentuje výhody a nevýhody použití navrženého algoritmu. Výledky ukazují, že model je velmi flexibilní, co se týče použití pro různé úlohy, a obstojí v porovnání s dalšími známými metodami pro učení a predikci z proudů dat.

Abstract:

This dissertation proposes a complex approach for learning decision rules from data streams and their application in classification and anomaly detection. Data Stream Mining is the process of extracting knowledge structures from continuous and rapidly incoming data records. Many decision tasks can be formulated as stream mining problems and therefore many new algorithms for data streams have been proposed. Decision rules are one of the most interpretable and flexible models for predictive data mining. Nevertheless, only a few algorithms have been proposed in the literature to learn rule models for time-changing and high-speed flows of data. In this work we present the Very Fast Decision Rules (VFDR) algorithm and discuss the interesting extensions and applications of the model. The VFDR approach is a one-pass and any-time algorithm. It works on-line and learns ordered or unordered rule sets. Another important aspect of algorithms designed to work with data streams is that they should be able to detect changes and quickly adapt the decision model. The adaptive extension to VFDR called Adaptive VFDR (or AVFDR) manages these situations, i.e., it is able to detect changes and adapt the decision model. Detecting drifts takes advantage of the modularity of the rule sets. In AVFDR, each individual rule monitors the evolution of performance metrics to detect concept drift. AVFDR prunes rules whenever a drift is signaled. This explicit change detection mechanism provides useful information about the dynamics of the process generating data, faster adaptation to changes and generates more compact rule sets. The rule learners are commonly used in anomaly detection tasks. We explore the possibilities of the presented rule learning approach in on-line anomaly detection. There has been very few works focusing on on-line detection of anomalies with incremental model that would quickly adapt. An extensive empirical study demonstrates the advantages and disadvantages of the proposed algorithm in term of accuracy, size and learning time comparisons, drift detection capabilities, and anomaly detection capabilities. The flexibility of use and achieved results provide the evidence that the presented model is a successful competitor to the state-of-the-art stream classifiers.

Keywords

Rule Learning, Classification, Data Streams, Change Detection, Supervised Learning, Anomaly Detection

Language used: English

Date on which the thesis was submitted / produced: 19. 8. 2013

Thesis defence

• Date of defence: 20. 12. 2013
• Supervisor: doc. RNDr. Lubomír Popelínský, Ph.D., Assoc. Prof. Joao Gama
• Reader: Prof. Dr. Myra Spiliopoulou, Assist. Prof. Mykola Pechenizkiy, Dr. Albert Bifet

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics