Parallel Corpus from Wikipedia

Bc. Adéla Štromajerová

Bakalářská práce

Anotace:

Tato práce se zabývá tvorbou paralelního korpusu z Wikipedie. Zaměřuje se na anglicko-český pár, ale popsaný proces lze aplikovat i na jiné jazykové páry Wikipedie. Korpus sestává z českých a anglických článků z Wikipedie takových, že české články vznikly překladem těch anglických. Tyto články byly staženy, z textů byly vyextrahovány paralelní věty a výsledná data byla použita jako zdrojové texty korpusu. Byly vytvořeny soubory nutné pro kompilaci korpusu, tedy vertikální text, konfigurační soubory a mapovací soubor. Korpus byl zkompilován a zpřístupněn na stránkách Sketch Engine Masarykovy univerzity.

Abstract:

This thesis deals with the process of creating a parallel corpus from Wikipedia. It is focused on the English-Czech pair, however, the same steps can be followed when creating a parallel corpus also for other language versions of Wikipedia. The corpus consists of Czech and English Wikipedia articles, the Czech ones being translations of the English ones. Such articles were retrieved, parallel sentences were extracted from them, and the resulting data were used as source texts for the corpus. The files were processed and files needed for the compilation of the corpus, i.e., vertical files, configuration files and a mapping file, were created. The corpus was compiled and made accessible at the Sketch Engine site of Masaryk University.

Keywords

parallel corpus, Wikipedia, parallel sentence extraction, hunalign, jusText

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 24. 5. 2016

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2016
• Vedoucí: Mgr. et Mgr. Vít Baisa, Ph.D.
• Oponent: RNDr. Miloš Jakubíček, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka