Building Spam Free Web Corpora

Mgr. Vít Suchomel

Advanced ('rigorózní') thesis

Abstract:

Počítačoví lingvisté využívají internet jako zdroj obrovského množství textových dat k rozličným úkolům zpracování přirozeného jazyka a jazykovým studiím. Internetové korpusy můžeme vytvářet ve velikostech steží dosažitelných pomocí tradičních metod sestavování korpusů. Ke zpracování neuspořádaných a nekontrolovaných internetových dat byly vyvinuty čisticí postupy. Přesto pozorujeme snížení použitelnosti nedávno vytvořených internetových korpusů spamováním. Přítomnost spamu v textových korpusech významně ovlivňuje výsledky odvozené ze statistického zpracování korpusových dat. Je tedy důležité zabývat se tímto problémem, abychom mohli během čištění korpusu odstraňovat i spam. Předkládané cíle práce jsou identifikovat spam v textu, nalézt způsob vyhnutí se spamu a vyvinout postupy k čištění textů poškozených spamováním.

Abstract:

The internet is used by computational linguists as an immensely large source of text data for various NLP tasks and language studies. Web corpora can be built in sizes which would be virtually impossible to achieve using traditional corpus creation methods. Cleaning techniques were devised to transform the messy nature of data coming from the uncontrolled environment of the internet. However, it can be observed that usability of recently built web corpora is hindered by spamming techniques. The presence of web spam in text corpora affect results derived from statistical processing of corpus data significantly. Therefore it is important to study the issue to be able to avoid web spam as a new cleaning stage in the process of building text corpora. The aims presented by this proposal are to identify the spam content, to find ways of avoiding spam and to implement methods for cleaning texts corrupted by spamming.

Keywords

text corpus, web corpus, web spam

Language used: English

Date on which the thesis was submitted / produced: 25. 2. 2015

Thesis defence

• Date of defence: 26. 5. 2015
• Reader: doc. Mgr. Václav Cvrček, Ph.D., Assoc. Prof. Serge Sharoff

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Artificial Intelligence and Natural Language Processing