Behavioral Distributed Dictionary Attack Detection

Mgr. Martin Drašar, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

Vysoká kapacita, využití a heterogenita současných vysokorychlostních sítí představuje problém pro ty, kteří se je snaží udržet bezpečné. Běžně využívané metody detekce útoků, které analyzují data v jednotlivých paketech a hledají známé útočné vzory (signatury), přestávají dostačovat. Zpracování jednotlivých paketů v multigigabitových sítích je výpočetně velmi náročné a využití signatur znamená, že tyto metody detekce nejsou schopny odhalit neznámý typ útoků a jsou tak vždy alespoň o krok pozadu za útočníky. Behaviorální analýza síťového provozu má potenciál omezení těchto metod překonat. Jejím základem je odklon od analýzy jednotlivých paketů směrem k analýze agregovaných síťových dat. Tato agregace může mít různé formy, jako je využívání pouze hlaviček paketů, NetFlow, aj. Cílem je v síťovém provozu detekovat odchylky, které by ukazovaly na probíhající útok. Existuje celá řada různých přístupů k detekci odchylek v síťovém provozu, které sahají od statistických metod, přes strojové učení (bayesovské sítě, PCA, Markovovy modely, clusterování), klasifikační systémy (fuzzy logika, neuronové sítě, genetické algoritmy, rozhodovací stromy), až po heuristiky větší či menší sofistikovanosti. Tyto metody dosáhly významných výsledků v oblasti detekce různých typů síťových útoků, avšak je zde stále ještě velký prostor pro zlepšování. Tato práce poukazuje na řadu nedostatků, které brání tomu, aby zkoumané metody mohly být použity jako komplexní systémy pro ochranu multigigabitových sítí. Zároveň přichází s návrhem na vytvoření detekční metody, která bude kromě vlastní detekce schopna využívat i výstupy ostatních metod pro zpřesnění výsledků. Tato metoda by neměla mít problémy ostatních metod, nebo by je měla mít v mnohem menší míře. Cílem této práce je nalezení popisu třídy slovníkových útoků proti autentizaci SSH z pohledu sítě, na kterou se útočí. Popis této třídy bude použit pro vytvoření detekčního nástroje založeného na metodě detekce útoků prostřednictvím analýzy aspektů síťového provozu. Metodou pro nalezení popisu této třídy bude využívání zaznamenaných i simulovaných útoků a sledování popsatelných deviací. Očkávanými přínosy práce jsou pokrok v oblasti detekce síťových útoků (nejen proti SSH) prostřednictvím analýzy agregovaných síťových dat, odhalení omezení tohoto typu detekce v závislosti na míře agregace a pokrok v oblasti tvorby obtížně odhalitelných síťových útoků. Očekávanými výstupy jsou pak kromě výše zmíněného nástroje i data, která bude možné využít pro testování schopností ostatních detekčních nástrojů.

Abstract:

The ever growing capacity, utilization and heterogeneity of current high-speed networks poses a problem for anyone wanting to keep them secure. Commonly used methods for attack detection that analyze data in each packet and search for known attack patterns (signatures) are reaching their limits. Processing of each packet in multi-gigabit networks is very computationally expensive and the usage of signatures means that these methods cannot detect unknown threats and are thus always at least one step behind attackers. Behavioral analysis of network traffic has a potential to overcome limitations of these methods. Its fundamental difference lies in the transition from an analysis of separate packets towards an analysis of an aggregated network data. This aggregation comes in various forms, such as using only packet headers, NetFlow, etc. The goal is to detect deviations in traffic that point to an ongoing attack. There exist a wide range of approaches to the deviation detection in network traffic, reaching from statistical methods, over a machine learning (bayesian networks, PCA, Markov models, clustering), classification systems (fuzzy logic, neural networks, genetic algorithms, decision trees), to more or less sophisticated heuristics. These methods have made great progress in detection of various network attacks, yet there is a lot room for improvement. This work points out several deficiencies these methods have and that prevent them from being used as a complex systems for defense of multi-gigabit networks. It also presents a design of a detection method that can, in addition to its detection capabilities, use output of other methods for detection results correction. This method should not have problems of other methods, or it should be at least much less affected. The goal of this work is to find a description of a class of dictionary attacks against SSH authentication from the viewpoint of a network that is being attacked. The description of this class will be used to create a detection tool based on an aspect-based network attack detection. To find this description, recorded and simulated attacks will be used and deviations in network traffic they cause will be recorded. Expected contribution of this work is the advancement in the area of network attack detection (not only the SSH) using an analysis of aggregated network data, discovering of intrinsic limitations of this type of detection with regards to a level of aggregation and an advancement in the area of crafting of stealth network attacks. In addition to aforementioned detection tool, an output of this work will be a data that can be used to test capabilities of other detection methods.

Keywords

dictionary attacks, NetFlow, behavioral analysis, aspect-based detection, distributed attacks, network security, slovníkový útok, behaviorální analýza, distribuované útoky, aspektová analýza

Language used: English

Date on which the thesis was submitted / produced: 29. 3. 2011

Thesis defence

• Date of defence: 23. 5. 2011
• Reader: Ing. Josef Kaderka, Ph.D., prof. RNDr. Václav Matyáš, M.Sc.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Computer Systems