Detection of malicious network traffic behavior

Bc. Pavel Novák

Master's thesis

Abstract:

Šifrovaný provoz je v dnešních sítích nepostradatelným atributem a funguje jako cenný nástroj k ochraně dat uživatelů proti odposlechu nebo modifikaci. Šifrování však také otevřelo nové možnosti pro vývojáře malware. Tento problém se v současnosti stává mnohem důležitějším, protože podíl šifrované komunikace generované škodlivým softwarem činil v loňském roce přibližně 45% a toto číslo se každým rokem zvyšuje. Šifrovanou komunikaci je mnohem obtížnější analyzovat z důvodu ochrany soukromí a nároků na výkon. To nevyhnutelně vede k masivnímu výzkumu v této oblasti a vývoji technik pro klasifikaci šifrovaného provozu bez nutnosti jeho dešifrování. Tato práce zdokonaluje metodu JA3 fingerprinting pro detekci neznámého síťového provozu. Nová metoda využívá shlukování otisků JA3 a následnou analýzu těchto shluků k rozpoznání nevyžádaného provozu.

Abstract:

Encrypted traffic in today’s networks is an indispensable attribute. It is a valuable tool to protect users’ data against eavesdropping or modification. However, encryption also opened new opportunities for malware developers because it makes hiding malicious communication more effortless. This problem has become much more important nowadays because the portion of encrypted communication generated by the malware was around 45% last year, and the number is increasing every year. Encrypted traffic is much harder to analyze because of privacy issues and performance demands. This inevitably leads to massive research in this area and the development of techniques to classify encrypted traffic without decrypting it. This thesis improves the JA3 fingerprinting method to detect unknown network traffic. The new method uses clustering of JA3 fingerprints and analysis of these clusters to recognize malicious traffic.

Keywords

behavior analysis, cybersecurity, data analysis, JA3, malware analysis

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 20. 6. 2022
• Supervisor: Ing. Václav Oujezský, Ph.D.
• Reader: Ing. Michal Polívka, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Information security