User Sessions Clustering and Anomaly Detection

Bc. Michal Mokroš

Master's thesis

Abstract:

Nahrávky správania používateľov pomáhajú spoločnostiam lepšie porozumieť interakcii užívateľov s ich produktami. Ako sa počet zákazníkov zväčšuje, monitorovanie a kontrola nahrávok sa stáva viac komplexnejšou úlohou. Zhlukovanie (clustering) ponúka riešenie vo forme zoskupovania podobných nahrávok na základe spoločných vlastností do oddelených zhlukov a detekciu odchýliek (outliers), ktoré sú kľúčové a môžu byť prehliadnuté vo veľkom množstve nahrávok. V spolupráci so spoločnosťou Smartlook, ktorá poskytuje dáta reprezentujúce skutočné užívateľské nahrávky, sa táto práca zameriava na tieto dva problémy zhlukovania a detekciu odchýliek v nahrávkach užívateľov vyhodnocovaním rôznych neohodnotených (unsupervised) zhlukovacích algoritmov s technikami detekcie odchýliek a ich porovnaním. V závere je prezentovaný algoritmus s najlepšími výsledkami a je tam taktiež dokázané, že je možné zhlukovať nahrávky uživateľského správania reprezentované viacrozmernými dátami a detekovať odchylky, ktoré obsahujú anomálie v uživateľskom správaní.

Abstract:

User behavior recordings help companies better understand how users interact with their products. As the number of customers increases, it is a complex task for employees to monitor and review all sessions. Clustering provides a solution in the form of grouping similar sessions based on the joint properties into separate clusters while also detecting outliers, which are crucial and can be overlooked in a large number of recordings. In collaboration with the company Smartlook, which provides a dataset representing actual user behavior recordings, this thesis focused on these two issues of clustering and outlier detection in user sessions by evaluating different unsupervised clustering algorithms with outlier detection techniques and comparing them. In the outcomes, we present the best-performing model, where we also show that it is possible to cluster user sessions represented by multivariate data and detect outliers containing anomalous user behavior.

Keywords

data analysis, data mining, machine learning, similarity search, clustering, unsupervised learning, outlier detection

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 24. 6. 2022
• Supervisor: PhD Bruno Rossi
• Reader: doc. Mouzhi Ge, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software systems and services management / Software Systems Development Management