Better Web Corpora For Corpus Linguistics And NLP

RNDr. Vít Suchomel

Doctoral thesis

Abstract:

Počítačoví lingvisté využívají internet jako zdroj obrovského množství textových dat k rozličným úkolům zpracování přirozeného jazyka a jazykovým studiím. Internetové korpusy můžeme vytvářet ve velikostech steží dosažitelných pomocí tradičních metod sestavování korpusů. Tato práce představuje stahovač navržený k získávání textů z internetu. Umožňuje sestavovat velké textové korpusy pro úlohy zpracování přirozeného jazyka a jazykové aplikace. Stahovač je snadno udržovatelnou náhradou jiného software díky návrhu založeném na asynchronní komunikaci (narozdíl od ovbyklého synchronního vícevláknového návrhu). Ke zpracování neuspořádaných a nekontrolovaných internetových dat byly vyvinuty čisticí postupy. Přesto pozorujeme snížení použitelnosti nedávno vytvořených internetových korpusů vinou několika činitelů: Výsledky statistického zpracování korpusových dat jsou značně ovlivněny přítomností netextu (internetového spamu, počítačově generovaného textu a strojového překladu) v textových korpusech. Je tedy důležité zabývat se tímto problémem, abychom se netextu mohli vyhnout, nebo jej během čištění korpusu odstraňovat. Druhým pozorovaným případem jsou internetové stránky nebo jejich části psané v různých jazycích. Vícejazyčné stránky by měly být rozpoznávány, jazyky určeny a textové části rozděleny do odpovídajících jednojazyčných korpusů. Tato práce přidává čisticí kroky do procesu vytváření textových korpusů, které pomáhají řešit uvedené problémy. Narozdíl od tradičních korpusů sestavovaných v posledních desetiletích z tištěných médií, zdroje internetových korpusů nejsou dobře rozčleněny a popsány. Tím je náročné rozhodovat o obsahu korpusů, nebo znát jejich vlastnosti. Poslední část této práce se zabývá anotací obsahu korpusů. Pojednává o mezianotátorskou shodou vedeným experimentem určení žánrů anglických textů a předkládá dva případy klasifikace typů textu v anglickém a estonském internetovém korpusu.

Abstract:

The internet is used by computational linguists, lexicographers and social scientists as an immensely large source of text data for various NLP tasks and language studies. Web corpora can be built in sizes which would be virtually impossible to achieve using traditional corpus creation methods. This thesis presents a web crawler designed to obtain texts from the internet allowing to build large text corpora for NLP and linguistic applications. An asynchronous communication design (rather than usual synchronous multi-threaded design) was implemented for the crawler to provide an easy to maintain alternative to other web spider software. Cleaning techniques were devised to transform the messy nature of data coming from the uncontrolled environment of the internet. However, it can be observed that usability of recently built web corpora is hindered by several factors: The results derived from statistical processing of corpus data are significantly affected by the presence of non-text (web spam, computer generated text and machine translation) in text corpora. It is important to study the issue to be able to avoid non-text at all or at least decrease its size in web corpora. Another observed factor is the case of web pages or their parts written in multiple languages. Multilingual pages should be recognised, languages identified and text parts separated to respective monolingual corpora. This thesis proposes additional cleaning stages in the process of building text corpora which help to deal with these issues. Unlike traditional corpora made from printed media in the past decades, sources of web corpora are not categorised and described well, thus making it difficult to control the content of the corpus. Rich annotation of corpus content is dealt with in the last part of the thesis. An inter-annotator agreement driven English genre annotation and two experiments with supervised classification of text types in English and Estonian web corpora are presented.

Keywords

Web corpora, Web crawling, Text processing, Language identification, Discerning similar languages, Spam removal, Corpus annotation, Inter-annotator agreement, Text types, Text topic, Text genre

Language used: English

Date on which the thesis was submitted / produced: 4. 5. 2020

Thesis defence

• Date of defence: 8. 7. 2020
• Supervisor: doc. Mgr. Pavel Rychlý, Ph.D.
• Reader: doc. Mgr. Václav Cvrček, Ph.D., Dr. Serge Sharoff

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies