Building Spam Free Web Corpora

Mgr. Vít Suchomel

Rigorózní práce

Anotace:

Počítačoví lingvisté využívají internet jako zdroj obrovského množství textových dat k rozličným úkolům zpracování přirozeného jazyka a jazykovým studiím. Internetové korpusy můžeme vytvářet ve velikostech steží dosažitelných pomocí tradičních metod sestavování korpusů. Ke zpracování neuspořádaných a nekontrolovaných internetových dat byly vyvinuty čisticí postupy. Přesto pozorujeme snížení použitelnosti nedávno vytvořených internetových korpusů spamováním. Přítomnost spamu v textových korpusech významně ovlivňuje výsledky odvozené ze statistického zpracování korpusových dat. Je tedy důležité zabývat se tímto problémem, abychom mohli během čištění korpusu odstraňovat i spam. Předkládané cíle práce jsou identifikovat spam v textu, nalézt způsob vyhnutí se spamu a vyvinout postupy k čištění textů poškozených spamováním.

Abstract:

The internet is used by computational linguists as an immensely large source of text data for various NLP tasks and language studies. Web corpora can be built in sizes which would be virtually impossible to achieve using traditional corpus creation methods. Cleaning techniques were devised to transform the messy nature of data coming from the uncontrolled environment of the internet. However, it can be observed that usability of recently built web corpora is hindered by spamming techniques. The presence of web spam in text corpora affect results derived from statistical processing of corpus data significantly. Therefore it is important to study the issue to be able to avoid web spam as a new cleaning stage in the process of building text corpora. The aims presented by this proposal are to identify the spam content, to find ways of avoiding spam and to implement methods for cleaning texts corrupted by spamming.

Keywords

text corpus, web corpus, web spam

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 25. 2. 2015

Obhajoba závěrečné práce

• Obhajoba proběhla 26. 5. 2015
• Oponent: doc. Mgr. Václav Cvrček, Ph.D., Assoc. Prof. Serge Sharoff

Masarykova univerzita

Fakulta informatiky

Rigorózní řízení / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka