Hate speech: semi-automatic recognition in Slovak texts

Bc. Lucia Horníková

Bachelor's thesis

Abstract:

Šírenie nenávistných prejavov v online komunikácii, často obmedzované legislatívou, spôsobuje nutnosť ich automatickej detekcie. Predkladaná bakalárska práca reaguje na túto požiadavku. Cieľom práce je preskúmať vlastnosti nenávistných prejavov v slovenčine a experimentovať s rôznymi metódami ich rozpoznávania, vrátane metód využívajúcich vektorovú reprezentáciu slov. Pre tento účel vzniká korpus 176 919 komentárov získaných zo slovenského internetového diskusného portálu. Na odlíšenie nenávistných textov a orientáciu v rozličnej náročnosti odhaľovania rôznych druhov nenávistných prejavov sa v práci využívajú indikátory nenávistných prejavov. Techniky klasifikácie nenávistných prejavov sa vyhodnocujú porovnaním ich výsledkov s výsledkami ručného anotovania. Hoci vyhľadávanie kľúčových slov indikujúcich nenávistné prejavy preukazuje najlepšie výsledky s presnosťou 80 %, využitie vektorovej reprezentácie slov so sebou napriek tomu prináša výhody: pomáha s objavovaním variant kľúčových slov vymyslených užívateľmi na obídenie cenzurujúcich filtrov, a navyše v kombinácii s tzv. riadeným tematickým modelovaním rozpoznáva nenávistné prejavy s presnosťou 64 %.

Abstract:

The spread of hate speech in online communication, often restricted by legislation, causes the need for its automatic detection. This bachelor's thesis responds to this demand. The thesis aims to investigate the characteristics of hate speech in the Slovak language and experiment with various detection methods, including methods using word embeddings. A corpus of 176 919 comments from a Slovak discussion website is acquired for that purpose. To distinguish hateful texts and to navigate the varying difficulty in detecting different kinds of hate speech, hate speech indicators are used. The techniques of hate speech classification are evaluated by comparing their results with the results of manual annotation. Although listing triggering words brings the best results, with an accuracy of 80%, word embeddings still prove beneficial: they help discover variants of triggering words invented by speakers to bypass censoring filters and using them with guided topic modelling recognises hate speech with 64% accuracy.

Keywords

hate speech, hate speech indicators, hate speech recognition, Slovak, word embeddings, FastText, BERT, topic modelling, nenávistný prejav, indikátory nenávistných prejavov, rozpoznávanie nenávistných prejavov, slovenčina, vektorová reprezentácia slov

Language used: English

Date on which the thesis was submitted / produced: 2. 5. 2023

Thesis defence

• Date of defence: 9. 6. 2023
• Supervisor: RNDr. Zuzana Nevěřilová, Ph.D.
• Reader: RNDr. Vojtěch Kovář, Ph.D.

Masaryk University

Faculty of Arts

Bachelor programme / field:
Computational Linguistics / Computational Linguistics