Flow-based Brute-force Attack Detection in Large and High-speed Networks

RNDr. Jan Vykopal, Ph.D.

Doctoral thesis

Abstract:

Detekce síťových průniků je svázána s analýzou obsahu paketů, konkrétně s hledáním signatur známých útoků. S rostoucím počtem připojených uživatelů, zařízení a dostupných služeb roste i rychlost počítačových sítí od stovek megabitů až k desítkám gigabitů za sekundu. Doposud používané detekční metody, které zpracovávají celý obsah paketů, nezvládají zpracovat všechny pakety při takových rychlostech. Proto se objevuje koncept síťových toků, které vhodně agregují síťový provoz a tím tak snižují objem dat, který je zpracováván detekčními metodami. Tato práce je zaměřena na detekci útoků hrubou silou na autentizaci služeb na základě analýzy síťových toků. Tento typ útoků přestavuje všudypřítomnou hrozbu, která je často opomíjena vývojáři stávajících aplikací. V současnosti je detekce i prevence prováděna v rámci přihlašování k dané službě. Ačkoliv je detekce na úrovni sítě schopna odhalit i distribuované útoky, neexistuje žádná taková detekční metoda pro rozsáhlé a vysokorychlostní sítě. Z tohoto důvodu navrhujeme dvě rozdílné metody detekce na základě síťových toků: signaturová metoda je inspirována hledáním vzorů v obsahu paketů; podobnostní metoda využívá shlukovou analýzu. Obě metody testujeme při detekci útoků na SSH a RDP, čímž demonstrujeme jejich účinnosti při použití šifrovaných protokolů. Dále se zabýváme problematikou snižování výskytů falešných poplachů. Navrhujeme dvě metody identifikace útočníka, které zjišťují, zda je daná IP adresa v daném čase používána pouze jedním strojem. To je velmi důležité při rozhodování o blokování zdroje útoku. Neuvážené rozhodnutí by totiž mohlo poškodit případné další uživatele stejné IP adresy. Dále se věnujeme studiu chování útočníků s cílem navrhnout obecné metody snižování výskytu falešných poplachů. Popisujeme metodu sekvenční detekce, která staví na předpokladu, že útočník provádí průzkum sítě před samotným útokem, metodu kumulativní detekce, která kombinuje výsledky různých metod ve stejném čase, a dále metody využívající síťové pasti a externí datové zdroje o útocích. Všechny navržené metody jsou otestovány v prostředí reálné sítě Masarykovy univerzity. Některé již byly úspěšně nasazeny do produkčního provozu v rámci bezpečnostního týmu CSIRT-MU a transferovány do univerzitního spin-offu, kde se staly součástí úspěšně prodávaného produktu.

Abstract:

Network-based intrusion detection is traditionally bound to deep packet inspection, i. e. searching for known signatures of attacks in the packet payload. With the rise of connected users, devices and offered services, the speed of computer networks is increasing from hundreds of megabits to tens of gigabits per second. As a result, the traditional approach to the intrusion detection is infeasible and a new approach for high-speed networks based on the concept of network flows emerged. Network flows provide an aggregated view of network traffic, which significantly reduces the amount of data that need to be processed by detection methods. In this thesis, we focus on flow-based detection of online brute-force and dictionary attacks against network services. These attacks represent a ubiquitous security threat to weak passwords that is often omitted by vendors and developers of existing applications. At present, a typical detection and prevention is done in the login process of the given application, if at all. Although network-based detection is capable to capture even distributed attacks, we are not aware of any network-based detection mechanism that addresses this type of attack in large and high-speed networks. We therefore propose two different flow-based approaches to the brute-force attack detection: signature-based approach, an analogy to the pattern matching in deep packet inspection, and generic similarity-based approach using clustering. To show that flow-based detection is possible with encrypted protocols, we evaluate these two approaches on detection of SSH and RDP attacks. Next, we tackle the problem of lowering the false positives with respect to the attack mitigation. We propose two flow-based methods of identification of the attacker that detect whether a given IP address is used by a single host at the same time. This is particularly important for making decision whether to filter traffic of the address. Injudicious decision may negatively affect benign users. Then we study behaviour of attackers to propose general methods for eliminating the false positives because every detection method is vulnerable to them. We describe the sequential detection using the fact that the attacker very often do network reconnaissance, the cumulative detection that employs more various methods to improve the overall detection and methods that use honeypots and external data sources. All proposed methods are evaluated on real network traffic of the campus network of Masaryk University. Some of them have been already deployed in routine operation by Computer Security Incident Response Team of Masaryk University, transferred to a university spin-off company and became a part of a successfully sold product.

Keywords

brute-force attack, dictionary attack, network behaviour analysis, flow-based intrusion detection, NetFlow, bidirectional flow, clustering, DBSCAN, network address translation, honeypot, false positive, external data sources

Language used: English

Date on which the thesis was submitted / produced: 29. 4. 2013

Thesis defence

• Date of defence: 23. 9. 2013
• Supervisor: doc. RNDr. Václav Račanský, CSc.
• Reader: prof. RNDr. Václav Matyáš, M.Sc., prof. Ing. Michal Pěchouček, M.Sc.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies