Nejvýznamnější korpusy v českém a anglickém jazyce pro zpracovávání přirozeného jazyka

Petra Vokálová

Bakalářská práce

The most significant corpora in Czech and English for natural language processing

Anotace:

Cílem této práce je zhodnocení dostupných korpusů v českém a anglickém jazyce pro oblast umělé inteligence zpracování přirozeného jazyka pro úlohu analýza sentimentu a utvořit tak přehled těch nejčastěji se vyskytujících. Dalším cílem je nalézt odpověď na otázku, zda jsou korpusy v češtině kratší než anglické a zda jejich dostupnost bude horší. V první části práce je obecně vymezena oblast umělé inteligence, zpracování přirozeného jazyka a jeho využití a jsou stručně definovány korpusy. Druhá část je věnována jednotlivým korpusům v anglickém a českém jazyce, jejich zhodnocení a následném porovnání z hlediska velikosti a struktury, dostupnosti (dle licence a náročnosti jejich vyhledání), způsobu užití a kvality anotace z pohledu hodnotitele. V tomto porovnání byly shledány jako lepší anglické korpusy, které byly rozsáhlejší a na rozdíl od českých, které jsou omezeny pro osobní a akademické účely, je umožněno jejich volné využívání včetně komerčních účelů, a zároveň jsou početnější. Hodnocené anglické korpusy také obsahovaly méně rozporů s anotovaným sentimentem, protože byl kladen větší důraz na výběr dat a anotace probíhala pomocí více lidských anotátorů.

Abstract:

The aim of this work is to evaluate available Czech and English corpora for the field of artificial intelligence called natural language processing in the area of sentiment analysis and to create an overview of the most commonly available corpora. Secondly to answer the question whether the available corpora in Czech would be shorter than the English ones and whether there are limits to its availability. The first part of the work is based on an introduction to the field of artificial intelligence, natural language processing and a brief definition of its general usage. The second part is focused on evaluation of selected corpora in English and Czech, and their comparison in terms of size and structure, availability (according to their license and difficulty of finding them), their use cases and the quality of sentiment annotation from the point of view of the evaluator. In this comparison, English corpora was revealed to be more extensive, and unlike Czech corpora, which have restricted usage to personal and academic use, can be freely manipulated with, even for commercial purposes. English corpora are also superior to Czech corpora with regard to their quantity. The assessed corpora contained fewer contradictions in sentiment annotation, as more emphasis was placed on data selection and the annotation was carried out by more annotators.

Klíčová slova

Zpracování přirozeného jazyka, Analýza sentimentu, Korpusy

Keywords

Natural language processing, Sentiment analysis, Corpora

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 16. 11. 2018

Obhajoba závěrečné práce

• Obhajoba proběhla 12. 6. 2019
• Vedoucí: Soňa Karkošková
• Oponent: Filip Vencovský

Vysoká škola ekonomická v Praze

Bakalářský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika