Continuous automatic development of European parliamentary corpora

Bc. Ota Mikušek

Bakalářská práce

Anotace:

Tato práce poskytuje nástroje pro průběžné a automatické vytváření korpusů ze stenoprotokolů parlamentů členských států EU. Nástroje zpracovávají 22 členských států EU a jejich 30 parlamentních komor. V současnosti se jedná o první sadu nástrojů tohoto rozsahu. Ačkoli z parlamentních dat již bylo vytvořeno mnoho korpusů, tyto nástroje se zabývají otázkou možnosti kontinuálního shromažďování a vytváření takových korpusů s jednotnými metadaty a s minimálním lidským zásahem. Tyto nástroje využívají jako zdroj spolehlivých protokolů oficiální parlamentní webové stránky členských států EU. Po několika měsících vývoje, testování a používání bylo vytvořeno 30 korpusů obsahujících celkem přes 1 miliardu slov a 60 milionů vět a celý systém pokračuje v každodenním procházení, zpracování a vytváření parlamentních korpusů.

Abstract:

This thesis provides tools for continuous and automatic development of corpora from European parliamentary protocols. The toolchain covers 22 EU member states and their 30 parliamentary chambers. It is the first set of tools of this scope to this day. While many corpora have already been built from parliamentary data, this set of tools addresses the issue of being able to collect and build such corpora with minimum human supervision continuously, together with unified metadata. These tools use official parliamentary websites of EU member states as a source of reliable protocol data. After several months of development, testing and usage, 30 corpora have been built comprising altogether over 1 billion words and 60 million sentences and the whole system continues crawling, processing and building the respective parliamentary corpora on a daily basis.

Keywords

parliamentary protocols, continuous downloading, corpus processing, corpus development

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 18. 5. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 26. 6. 2023
• Vedoucí: RNDr. Miloš Jakubíček, Ph.D.
• Oponent: RNDr. Vít Suchomel, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika