Categorizing and visualizing the Dark Web

Bc. Linda Hansliková

Diplomová práce

Anotace:

Online svět přístupný běžným způsobem se skládá z většinou legálních, vzájemně propojených webů a stránek. Struktura dark webu se však může lišit kvůli charakteru této skryté části internetu. Vyvstávají otázky o propojení a kategorickém složení obsahu dark webu. Pro část dark webu jsme na tyto otázky chtěli najít odpovědi. K výsledkům naší práce patří klasifikační model, který kategorizuje stránky dark webu s přesností 88,2%. Porovnali jsme dva algoritmy k detekci komunit a usoudili jsme, že Leidenův algoritmus je vhodnější pro splnění našeho cíle. Stránky rozdělené do komunit jsme vizualizovali ve formě webového grafu. Pokud je nám známo, v době psaní této práce je námi zhotovená webová aplikace jediným veřejně dostupným nástrojem pro kategorizaci obsahu dark webu, zobrazení přehledného a přibližovatelného webového grafu s informacemi o skladbě kategorií a možností stažení dalších podrobností o stránkách.

Abstract:

The ordinarily accessible online world is composed of commonly legal, interlinked sites and pages. The structure of the dark web, however, may be different because of the nature of this hidden part of the Internet. Questions about the interconnection and the categorical makeup of the dark web content arise. We were interested in answering these questions for a portion of the dark web. The results of our work include a classification model which categorizes the dark web pages with an accuracy of 88.2\%. We compared two community detection algorithms and determined the Leiden algorithm to be more suited for the fulfilling of our goal. We visualized the pages divided into communities in form of a web graph. The final web application is to our knowledge, at the time of writing this thesis, the only publicly available software to categorize the dark web content, display a comprehensible and zoomable web graph with information about category makeup, and the option of downloading further page details.

Keywords

dark web, artificial neural networks, supervised learning, community detection, web graph, web application

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 17. 6. 2020
• Vedoucí: RNDr. Martin Stehlík, Ph.D.
• Oponent: RNDr. Lukáš Němec

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Aplikovaná informatika / Služby - výzkum, řízení a inovace