Categorizing and visualizing the Dark Web

Bc. Linda Hansliková

Master's thesis

Abstract:

Online svět přístupný běžným způsobem se skládá z většinou legálních, vzájemně propojených webů a stránek. Struktura dark webu se však může lišit kvůli charakteru této skryté části internetu. Vyvstávají otázky o propojení a kategorickém složení obsahu dark webu. Pro část dark webu jsme na tyto otázky chtěli najít odpovědi. K výsledkům naší práce patří klasifikační model, který kategorizuje stránky dark webu s přesností 88,2%. Porovnali jsme dva algoritmy k detekci komunit a usoudili jsme, že Leidenův algoritmus je vhodnější pro splnění našeho cíle. Stránky rozdělené do komunit jsme vizualizovali ve formě webového grafu. Pokud je nám známo, v době psaní této práce je námi zhotovená webová aplikace jediným veřejně dostupným nástrojem pro kategorizaci obsahu dark webu, zobrazení přehledného a přibližovatelného webového grafu s informacemi o skladbě kategorií a možností stažení dalších podrobností o stránkách.

Abstract:

The ordinarily accessible online world is composed of commonly legal, interlinked sites and pages. The structure of the dark web, however, may be different because of the nature of this hidden part of the Internet. Questions about the interconnection and the categorical makeup of the dark web content arise. We were interested in answering these questions for a portion of the dark web. The results of our work include a classification model which categorizes the dark web pages with an accuracy of 88.2\%. We compared two community detection algorithms and determined the Leiden algorithm to be more suited for the fulfilling of our goal. We visualized the pages divided into communities in form of a web graph. The final web application is to our knowledge, at the time of writing this thesis, the only publicly available software to categorize the dark web content, display a comprehensible and zoomable web graph with information about category makeup, and the option of downloading further page details.

Keywords

dark web, artificial neural networks, supervised learning, community detection, web graph, web application

Language used: English

Date on which the thesis was submitted / produced: 19. 5. 2020

Thesis defence

• Date of defence: 17. 6. 2020
• Supervisor: RNDr. Martin Stehlík, Ph.D.
• Reader: RNDr. Lukáš Němec

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Service Science, Management and Engineering