Continuous automatic development of corpora from EU documents

Bc. Adil Khasenov

Bakalářská práce

Anotace:

Tato práce se soustředí na vytvoření sady nástrojů pro kontinuální automatické vytváření korpusů z dokumentů Evropské unie poskytované webovými stránkami Evropského parlamentu a EUR-Lexu. Sada nástrojů zpracovává texty obsahující všech 24 jazyků členských zemí EU. Prvotní data byla získána, řádně anotována a paralelní texty byly zarovnány na úrovni odstavců. V současné době výsledné korpusy čítají 1,6 miliardy slov pro EUR-Lex a 59.3 milionů slov pro Evropský parlamentský korpus, přičemž se corpusy neustále rozšiřují.

Abstract:

This thesis centers around the effort of creating a toolset for continuous automatic development of corpora from the European Union documents provided by the European Parliament and EUR-Lex websites. The toolset processes the texts containing all 24 languages of the EU member countries. The raw data was obtained and properly annotated, and parallel texts were aligned on the level of paragraphs. Currently, the resulting corpora amount to 1.6 billion words for EUR-Lex and 59.3 million words for the European Parliament, yet they are continuously expanding.

Keywords

EUR-Lex, European Parliamentary proceedings, EU documents, continuous crawling, corpus development

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 28. 6. 2024
• Vedoucí: RNDr. Miloš Jakubíček, Ph.D.
• Oponent: RNDr. Vít Suchomel, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika