Adaptive complementing of HTTPS flow volume for web traffic

Bc. Matej Macák

Master's thesis

Abstract:

Cieľom tejto práce je navrhnúť algoritmus na dopĺňanie jedného alebo viacerých parametrov zo zachytených tokov a poskytnúť ich vyhodnotenie. Dataset použitý v tejto práci pochádza z webovej prevádzky Masarykovej univerzity a pozostáva zo zalogovaných tokov a udalostí, ktoré sú navzájom korelované tokovo-centrickým spôsobom. V práci sú popísané jednotlivé parametre tokov a ich vzájomné vzťahy k ostatným parametrom, so zameraním na množstvo prenesených dát. Na základe nájdených vzťahov boli navrhnuté, implementované a vyhodnotené rôzne algoritmy na dopĺňanie chýbajúcich množstiev dát. Súčasťou tejto práce je aj popis techník strojového učenia, ktoré boli aplikované na vybraný algoritmus. Práca ďalej porovnáva dva dopĺňacie prístupy, pričom v prvom prípade sa na dopĺňanie využívajú korelované súbory a v druhom len súbor s tokmi. V poslednej časti je detailné vyhodnotenie prístupu s lepšími výsledkami.

Abstract:

This thesis aims to design the complementing algorithm for one or more missing parameters in the flows and provide their evaluation. The dataset used for this thesis comes from the web traffic of Masaryk university and contains flow and event logs correlated in a flow-centric manner. The thesis describes parameters in flow entry and their relationships to other parameters, focusing on data volumes. Different algorithms for complementing data volumes have been designed, implemented, and evaluated based on found relationships. Part of the thesis is also a description of machine learning techniques, which were applied to the selected complementing algorithm. This thesis also compares two complementing approaches using correlated files in the first case and only the file with flows in the second. The last part of the thesis is a detailed evaluation of the best-performing approach.

Keywords

flow, event, flow-event correlation, algorithm design, machine learning, Python, Scikit-learn

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 22. 6. 2022
• Supervisor: RNDr. Stanislav Špaček
• Reader: RNDr. Petr Velan, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software systems and services management / Software Systems Development Management