Utilizing Similarity Search for Advanced Network Threat Detection

Mgr. Milan Čermák

Advanced ('rigorózní') thesis

Abstract:

V dnešní době jsou počítačové sítě neustále ohrožovány velkým množstvím rozličných útoků zneužívajících chyb v návrhu síťových protokolů, špatné implementace programového vybavení nebo nevhodného chování uživatelů. Přestože je základ těchto útoků téměř stejný, existuje velké množství jejich variant lišících se ve využívaném síťovém protokolu, chování nebo způsobech jakými se snaží zamaskovat v normálním provozu. Každý den se neustále objevují nové varianty těchto útoků, jejichž včasná detekce představuje výzvu pro současné detekční nástroje. Cílem našeho výzkumu je navrhnout nový přístup detekce pokročilých síťových hrozeb, který umožní překonat omezení současných detekčních nástrojů. Naším záměrem je analyzovat síťová data podobně jako je analyzují bezpečnostní analytici. Ti dokáží najít různé varianty útoků na základě podobnosti s útoky, jejichž vlastnosti znají. Abychom dokázali tento způsob analýzy dat napodobit, plánujeme využít techniky podobnostního vyhledávání, které umožňují dostatečnou variabilitu vzorů při zachování jejich základních vlastností. Náš výzkum jsme rozdělili do tří vzájemně navazujících výzkumných oblastí. V rámci první oblasti se zaměříme na charakterizaci podobnosti v síťovém provozu. Našim cílem bude porozumět různým procesům v počítačových sítích, jejich vzájemným vztahům a vzájemné podobnosti. Tato oblast pokrývá definici vzorů, které dostatečně popisující síťové procesy, a definici podobnostních funkcí pro jejich vzájemné porovnání. Druhá oblast našeho výzkumu se zabývá návrhem metody pro detekci anomálií v síťovém provozu založené na klasifikaci využívající podobnostního vyhledávání. Součástí tohoto návrhu je definice tvorby vzorů odpovídajících jednotlivým anomáliím síťového provozu a definice způsobu využití podobnostního vyhledávání využívající tyto vzory. Třetí výzkumná oblast je zaměřena na detekci pokročilých síťových hrozeb. Po ověření navržené metody pro analýzu síťových dat na základě podobnostního vyhledávání se budeme zabývat optimalizací podobnostního vyhledávání a porovnání úspěšnosti detekce s dalšími nástroji pro detekci síťových anomálií. Cílem této snahy je plné využití výhod podobnostního vyhledávání pro detekci skrytých nebo maskujících se útoků, které jsou současnými detekčními nástroji téměř nedetekovatelné.

Abstract:

A large number of attacks threatens computer networks nowadays, by utilizing network protocols’ design faults, incorrect software implementations, or an inappropriate users behaviour. Although the basis of these attacks is almost similar, a lot of variants exist, differing in the used protocol, behaviour, or methods used to avoid attack detection. Every day a lot of new attack variants emerge, which represents a challenge for network intrusion detection systems. The aim of our research is to propose a novel approach of advanced network threat detection, which will overcome constraints of current anomaly detection approaches. Our intention is to analyse network data in a similar way as a security analysts usually do - by an investigation of known attack patterns and a search for their variants. We plan to identify these basic attack patterns and, as in the case of human thinking, to detect anomalous traffic by its similarity with these patterns. To enable such similarity comparison we will utilize similarity search techniques that allow to capture sufficient variability of patterns while preserving their essential characteristics. To reach our goal we divide our research into three research topics. The first is characterization of a similarity in network traffic, which aims at understanding network traffic behaviour patterns and their mutual relations from the perspective of a similarity. This topic covers definition of behaviour patterns providing reasonable amount of information and an identification of methods for a similarity comparison of these behaviour patterns. The second research topic focuses on utilization of a similarity search techniques for a detection of network traffic anomalies. This topic includes a creation of a collection of behaviour patterns of selected network anomalies and a definition of a technology concept for a network traffic classification based on similarity of analysed traffic with these patterns. The third research topic focuses on detection of advanced network threats based on a similarity search. After a verification of our approach to detection of common network anomalies and attacks, we will focus on optimization of similarity search attributes and testing different distance functions. The aim of this effort will be utilization of benefits of similarity search techniques for an advanced threat detection, such as hidden or obfuscated attacks, that are difficult to detect by current anomaly detection methods and tools.

Keywords

similarity search, network data, classification, network threats

Language used: English

Date on which the thesis was submitted / produced: 26. 2. 2016

Thesis defence

• Date of defence: 23. 5. 2016
• Reader: RNDr. David Novák, Ph.D., Ing. Martin Rehák, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Information Technology Security