Complex Data Analysis by Mining and Searching Operations

Mgr. Jakub Peschel

Advanced ('rigorózní') thesis

Abstract:

Komplexita současných dat vyžaduje pro jejich analýzu složitější analytické operace. Takové analýzy jsou obvykle drahé a vyžadují expertízu ve více oblastech. V této diplomové práci je uveden popis běžně používaných datových analytických úloh a je prozkoumáno několik analytických systémů, jako jsou SPMF, ELKI a Weka. Na základě těchto zjištění navrhujeme vývoj nové univerzální struktury, transakčního souboru, který umožňuje snadnější vytváření komplexních operací pomocí kombinace elementárních analytických funkcí. Pro tento systém plánujeme vývoj nového analytického jazyka, který umožní jednoduché a efektivní vytváření komplexních analytických konstruktů založených na základních úlohách datové analýzy. Tato práce obsahuje popis architektury nového univerzálního systému pro analýzu komplexních dat, kde mohou být analytické operátory založené na vzorování a podobnosti použity k vyhledání nebo hledání neznámých informací. Systém je založen na iterativním přístupu, kde výsledek jedné analýzy lze použít jako vstup dalších analýz. Součástí tezí je i popis fungování prototypové aplikace na dvou datasetech z reálného světa: dataset Twitter Higg’s boson a dataset Kosarak.

Abstract:

The complexity of contemporary data created a need for more complex analytical operations for their analysis. Such analyses are typically expensive and demands expertise in multiple areas. In this thesis proposal, a description of commonly used data analytical tasks is provided and several analytical systems are surveyed, such as SPMF, ELKI and Weka. Based on these findings we aim to design and develop new universal structure, a transaction file, which allows to create complex analytical operations by a combination of elementary ones more easily. For this system, we plan to develop a new analytical language, that will allow for simple and effective creation of complex analytical constructs based on basic data analytical tasks. This thesis contains a description of the architecture of a novel universal system for analysis of complex data, where pattern-mining and similarity-based analytical operators can be used to discover or search for unknown information. The system is based on an iterative approach, where a result of one analysis can be used for different analysis. We also present results that were obtained by our prototype implementation on two real-world data collections: the Twitter Higg's boson dataset and the Kosarak dataset.

Keywords

Data analysis, pattern mining, similarity search, clustering

Language used: English

Date on which the thesis was submitted / produced: 20. 2. 2020

Thesis defence

• Date of defence: 25. 5. 2020
• Reader: RNDr. Tomáš Rebok, Ph.D., prof. RNDr. Tomáš Skopal, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Artificial intelligence and data processing / Artificial intelligence and data processing