Detection of malicous patterns in SSH programs

Bc. Ádám Ruman

Master's thesis

Abstract:

Rozhodnúť o tom, či neznáma spustiteľná binárka obsahuje zlomyseľnú funkcionalitu je komplexný a časovo náročný proces, ktorý vyžaduje odbornú znalosť experta. V tejto práci skúmame možnosť automatickej analýzy zlomyseľne upravených programov za účelom zjednodušenia práce forenzných analytikov. Navrhujeme automatickú metódu založenú na odlišnosti analyzovaných variant od legitímnych programov. Zanoríme sa do problematiky zbierania dát z behu programov a procesov, transformácie a štrukturovania týchto informácií na porovnatelné objekty. Ďalej predstavujeme techniku na hladanie najpodobnejších legitímnych programov a navrhujeme techniku na porovnanie dvoch programov za účelom odhadnúť mieru modifikácie a presne vymedziť funkcionálne odlišnosti. Výstupom práce je aj implementácia navrhnutej metódy formou "Proof of Concept". Pomocou implementovaného nástroja vykonáme analýzu programov SSH a ich zlomyseľne modifikovaných verzií z reálneho sveta. Týmto vyhodnotíme použitelnosť a efektivitu navrhnutých metód.

Abstract:

Deciding whether an unknown executable includes malicious intent is a complex, time-demanding process that requires a lot of knowledge and expertise. In this thesis, we explore the possibility of automated analysis of maliciously modified programs, to ease the workload of malware analysts and incident handlers. We propose an automated method leveraging similarity and dissimilarity to legitimate programs. We dive into the problematics of collecting information about a program or process, transforming and structuring this information into comparable objects, finding the most similar legitimate programs, and last but not least, we propose a scheme to compare two programs to indicate the magnitude of modification and pinpoint the functional differences. We provide a Proof of Concept implementation of our design and evaluate our method's effectiveness and properties by analyzing legitimate SSH executables and their real-world malicious modifications. We provide detailed results of these evaluations and our observations.

Keywords

malware analysis, program similarity, OS API call graphs

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 20. 6. 2022
• Supervisor: RNDr. Daniel Kouřil, Ph.D.
• Reader: RNDr. Martin Drašar, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Information security