Parallel Corpus from Wikipedia

Bc. Adéla Štromajerová

Bachelor's thesis

Abstract:

Tato práce se zabývá tvorbou paralelního korpusu z Wikipedie. Zaměřuje se na anglicko-český pár, ale popsaný proces lze aplikovat i na jiné jazykové páry Wikipedie. Korpus sestává z českých a anglických článků z Wikipedie takových, že české články vznikly překladem těch anglických. Tyto články byly staženy, z textů byly vyextrahovány paralelní věty a výsledná data byla použita jako zdrojové texty korpusu. Byly vytvořeny soubory nutné pro kompilaci korpusu, tedy vertikální text, konfigurační soubory a mapovací soubor. Korpus byl zkompilován a zpřístupněn na stránkách Sketch Engine Masarykovy univerzity.

Abstract:

This thesis deals with the process of creating a parallel corpus from Wikipedia. It is focused on the English-Czech pair, however, the same steps can be followed when creating a parallel corpus also for other language versions of Wikipedia. The corpus consists of Czech and English Wikipedia articles, the Czech ones being translations of the English ones. Such articles were retrieved, parallel sentences were extracted from them, and the resulting data were used as source texts for the corpus. The files were processed and files needed for the compilation of the corpus, i.e., vertical files, configuration files and a mapping file, were created. The corpus was compiled and made accessible at the Sketch Engine site of Masaryk University.

Keywords

parallel corpus, Wikipedia, parallel sentence extraction, hunalign, jusText

Language used: English

Date on which the thesis was submitted / produced: 24. 5. 2016

Thesis defence

• Date of defence: 23. 6. 2016
• Supervisor: Mgr. et Mgr. Vít Baisa, Ph.D.
• Reader: RNDr. Miloš Jakubíček, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing