Data Stream Mining and Concept Drift: Novel Approaches and Applications

Mgr. Petr Kosina, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

Záměrem práce je studovat nové techniky z oblasti získávání informací z proudů dat, dále možnosti jejich aplikace a jejich přizpůsobení se novým situacím. Práce se věnuje zejména dvěma tématům. Prvním je systém využívající metaučení z dat, které se určitým způsobem mění a obsahují opakující se koncepty neboli části dat, které mohou být popsány modelem naučeným na datech vyskytnuvších se již dříve. Systém je schopen vybrat vhodný klasifikátor pro příchozí data na základě záznamů, které ještě nebyly označkovány. A právě metaučení spolu s využitím kontextových informací jsou jedněmi z možností, jak využít takové záznamy k rychlejší adaptaci na změnu. Další předností systému je použití již naučených klasifikátorů, protože už z počátku jsou jejich predikce důvěryhodnější. Naším záměrem je se dále věnovat tomuto systému, rozvíjet ho a testovat na reálných datech. Mezi plánovaná rozšíření patří úprava a použití různých klasifikačních metod a taktéž metod pro klasifikaci, která využívá data pouze z jedné třídy. Druhým tématem je vytvoření nové klasifikační metody odvozující pravidla z proudů dat. Tato technnika zobecňuje rozhodovací stromy a její výhodou je především modularita, protože každé pravidlo je nezávislé na ostatních a může být interpretováno samostatně. Tato vlastnost je velmi slibná pro použití u již zmíněných dat obsahujících změnu (drift), protože je možné přizpůsobit pouze podmnožinu pravidel narozdíl od nutnosti změny celého stromu.

Abstract:

The aim of the thesis is focused on novel approaches and applications in mining streaming data and the ability to adapt to new situations. There are two very interesting and promising topics that are the subject of study in this thesis. First, a meta-learning framework for evolving data with recurring concepts, i.e., data that can be effectively described by the same model as some data in history. The framework is able to select classifier for incoming data while using unlabeled examples. The reason is that one of the ways to quickly adapt to changes before the feedback is available is the exploitation of contextual information if available or to seek for such information via meta-learning approaches. Besides the advantage of faster reaction to drift (i.e., the change in data) it allows to use model already trained on similar concept and thus is expected to have more reliable predictions. We intend to further study this system along with the applications in the real world data problems. Extensions include adaptation and use of various classification techniques and exploration of one-class classification methods for meta-learner. Second topic is to introduce a new stream learner that induces decision lists, which generalize decision trees. The advantage of this representation is modularity and consequently interpretability because each rule is independent of the others and can be interpreted in isolation of the others. This characteristic is mainly promising for reaction to concept drift since it is possible to change only subset of rules instead of altering the complete tree.

Keywords

stream mining, concept drift, meta-learning, decision rules

Language used: English

Date on which the thesis was submitted / produced: 31. 3. 2011

Thesis defence

• Date of defence: 27. 5. 2011
• Reader: Mgr. Miloslav Nepil, Ph.D., doc. Joao Mendes Moreira

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Computer Systems