Analýza diskuzních příspěvků z české Wikipedie

Albert Sukaný

Bakalářská práce

Analysis of Discussion Pages in Czech Wikipedia

Anotace:

Cílem této práce je vytvoření datové sady z komentářů na diskuzních stránkách české Wikipedie. Toho bylo dosaženo segmentací dat z XML dumpů, očištěním textu od značkování a uložením komentářů s~metadaty do relační databáze. Dohromady se jedná o více než 170 000 diskuzních příspěvků. Následně byly na získaná data aplikovány nástroje na rozpoznání jazyka, detekci témat, detekci vulgarit a detekci sentimentu. Fungování těchto nástrojů je vysvětleno, jejich použití opodstatněno a jsou uvedeny příklady výstupu. Výsledný program je schopen vytvořit aktuální datovou sadu, jelikož obsah dumpů je aktualizován každý měsíc. Vytvořená databáze je prezentována webovou stránkou projektu, její obsah je vyhodnocen a získaná data graficky i slovně znázorněna.

Abstract:

The goal of this thesis is to create a dataset from comments on Czech Wikipedia discussion pages. This was achieved by segmenting data from XML dumps, cleaning text from markup, and storing comments with metadata in a relational database. Altogether, there are more than 170,000 discussion comments. Subsequently, tools for language recognition, topic detection, offensive content detection and sentiment detection were applied to the obtained data. The operation of these tools is explained, their use is justified and examples of output are given. The resulting program is able to create an up-to-date dataset, as the contents of the dumps are updated every month. The created database is presented by the project website, its content is evaluated and the obtained data is graphically and verbally represented.

Klíčová slova

analýza textu, Wikipedie, analýza sentimentu, analýza jazyka, detekce vulgarismů, analýza témat, XML, relační databáze, diskuze, diskuzní příspěvek

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 20. 7. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 25. 9. 2020
• Vedoucí: RNDr. Zuzana Nevěřilová, Ph.D.
• Oponent: RNDr. Adam Rambousek, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Počítačové sítě a komunikace