Normalization of Unstructured Log Data into Streams of Structured Event Objects

RNDr. Daniel Tovarňák, Ph.D.

Doctoral thesis

Abstract:

Monitoring hraje klíčovou roli při provozu každé větší distribuované IT infrastruktury. Nezávisle na tom, zda je to víceúčelový cluster, univerzitní síť, podniková síť, grid, či cloudové datacentrum, monitorovací informace jsou kontinuálně užívány v širokém spektru situací, počínaje kritickými úkoly jako účtování, plánování, či řešení incidentů, konče podobně důležitými úkoly z oblasti vývoje, například ladění, detekce chyb, či analýza výkonu. Při snaze naplnit vizi nové generace monitorovacích systémů řízených událostmi jsme identifikovali, že jeden z nejbohatších zdrojů monitorovacích informací – počítačové logy – je také jeden z nejproblematičtějších z pohledu automatizovaného zpracování. Logovací data jsou generována bez zjevného řádu, za použití mnoha nekompatibilních formátů, a jedna z nejdůležitějších informací, tj. logovací zpráva (hláška), je ve formě nestrukturovaných textových řetězců, které kombinují přirozený jazyk s běhovými proměnnými. Tento fakt je v přímém rozporu s naším dlouhodobým cílem, jež si klade za úkol navrhnout systém, který by uživatelům dovolil transparentně definovat tzv. trvalé dotazy vyhodnocované v reálnem čase (continuous queries), a to nad homogenními proudy dat v podobě náležitě definovaných záznamů monitorovacích událostí, reprezentovaných jako objekty s explicitně definovanou strukturou. Tato práce si klade za cíl překlenout tento rozpor za pomoci normalizace takto nedostatečně strukturovaných dat do podoby proudů strukturovaných objektů reprezentujících události. Společnou výzvou tohoto cíle je strukturování logovacích dat, v kombinaci s rychlostí, s jakou jsou tato data neustále generována v moderních IT infrastrukturách. V naší práci přistupujeme k problematice normalizace ze dvou perspektiv – proaktivní a reaktivní. V případě proaktivní normalizace se zaměřujeme na fakt, že nestrukturovaná povaha logovacích dat pramení ze způsobu, jakým jsou generována. Vhledem k tomu, že myšlenkou zvýšit kvalitu logovacích dat u jejich zdroje se zabývá pouze minimum existujících prací, zaměřujeme se v našem výzkumu na možnost tvorby logovacích mechanismů, jež by byly schopny přímo generovat strukturovaná logovací data. Z pohledu reaktivní normalizace se nejprve zaměřujeme na tzv. abstrakci logů, jež označuje oddělení statické a dynamické složky logovacích zpráv za účelem jejich strukturování. Tento úkol se skládá ze dvou úrovní. První úrovní je nalezení vzorů založených na regulárních výrazech (patterns), jež reprezentují tzv. typy logovacích zpráv. Druhou úrovní je vlastní vyhodnocování těchto vzorů pro jednotlivé logovací zprávy (pattern-matching), což představuje zmíněnou abstrakci. V naší práci se zaměřujeme na nedostatky existující přístupů v obou těchto úrovních. Dále se zaměřujeme na fakt, že přestože je abstrakce logovacích zpráv zásadním úkolem, je stále pouhou součástí procesu normalizace logovacích dat. Díky netriviální heterogenitě logovacích dat je v mnoha případech nutností tato data dodatečně transformovat, a to včetně adaptace přenosových protokolů. V posledních letech se v tomto kontextu objevilo několik specializovaných nástrojů pro správu logů, jejich možnosti však končí u manipulace se semi-strukturovanými daty, což je pro naše potřeby nedostatečné. Hlavní přínosy této práce spočívají v návrhu a vyhodnocení následujícího: i) prototyp logovacího mechanismu, schopného generovat strukturovaná logovací data; ii) algoritmus pro dolování dat, vhodný pro nalezení typů logovací zpráv, jež reaguje na nedostatky existujících přístupů; iii) rychlý a škálovatelný přístup pro abstrakci logů, založený na vyhodnocování mnoha vzo

Abstract:

rů najednou (multi-pattern matching); iv) kompletní přístup pro normalizaci, schopný popsat a vykonat transformace logovacích dat v objektově-orientovaném paradigmatu, jež následně vyúsťují v materializaci proudů událostí v podobě strukturovaných objektů.

Abstract:

Monitoring plays a crucial role in the operation of any sizeable distributed IT infrastructure. Whether it is a multi-purpose cluster, university network, enterprise network, grid, or cloud datacenter, monitoring information is continuously used in a wide spectrum of ways ranging from mission-critical jobs, e.g. accounting, scheduling, or incident handling, to equally important development-related tasks, e.g. debugging, fault-detection, or performance analysis. Whilst pursuing a novel vision of new-generation event-driven monitoring systems, we have identified that a particularly rich source of monitoring information – computer logs – is also one of the most problematic in terms of automated processing. Log data are predominantly generated in an ad-hoc manner using a variety of incompatible formats with the most important pieces of information, i.e. log messages, in the form of unstructured strings mixing natural language with run-time context variables. This directly clashes with our long-term goal of designing a system enabling its users to transparently define real-time continuous queries over homogeneous streams of properly defined monitoring event objects with explicitly described structure. This thesis aims to bridge this gap by normalizing the poorly structured log data into streams of structured event objects. The combined challenge of this goal is structuring the log data, whilst considering the high velocity with which they are generated in modern IT infrastructures. We approach the matter at hand from two different perspectives – proactively and reactively. In the case of proactive normalization, we aim at the fact that the unstructured nature of log data stems from the way they are generated. Since there are very few existing works aiming at log data improvement at their source, we focus on researching the possibility of logging mechanisms able to generate structured log data. In terms of reactive normalization, we first focus on the task of log abstraction, which refers to the separation of static and dynamic parts of log messages with the goal of imposing some structure on them. The task consists of two tiers – the discovery of regex-based matching patterns, which are representing so-called message types, and the actual pattern matching, which is facilitating the abstraction. We focus on the deficiencies of existing approaches in both these tiers. Next, we concentrate on the fact that although the log message abstraction is a crucial task, it is only a part of the log data normalization process. Due to the substantial heterogeneity of log data, there are many cases in which it is necessary to perform additional data transformations, including transport protocols adaptation. Over the years, several standalone log management tools have emerged in this context, yet their capabilities end at the manipulation with semi-structured data, which is not suitable for our purposes. The main contributions of this thesis are represented by the design and evaluation of the following: i) a proof-of-concept logging mechanism able to generate structured log data; ii) a data mining algorithm for message type discovery addressing several known deficiencies of the existing approaches; iii) a fast and scalable multi-pattern matching approach for log abstraction; iv) an end-to-end normalization approach able to describe and execute log data transformations in an object-oriented manner resulting in the materialization of streams of structured event objects.

Keywords

logging, log data, log abstraction, data integration, normalization, stream processing, monitoring, logování, logovací data, abstrakce logů, integrace dat, normalizace, proudové zpracování

Language used: English

Date on which the thesis was submitted / produced: 25. 9. 2017

Thesis defence

• Date of defence: 23. 1. 2018
• Supervisor: doc. RNDr. Tomáš Pitner, Ph.D.
• Reader: Prof. Uwe Zdun, prof. RNDr. Jaroslav Pokorný, CSc.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies