Nástroje pro přípravu českého textu na strojové zpracování

Bc. Vlasta Matějková

Bakalářská práce

Tools for preprocessing Czech text for machine processing

Anotace:

Práce vysvětluje principy přípravy textu pro strojové zpracování. Mezi hlavními principy patří normalizace, segmentace, tokenizace, lemmatizace, stematizace, desambiguace, part of speech tagování a další. Tyto principy fungují obecně na většinu jazyků, pro správnou a detailní přípravu textu je ovšem třeba postupy upravit na základě požadovaného jazyka (v tomto případě češtinu) a budoucímu účelu. Práce uvádí řešení problematiky z hlediska filologického a programátorského. Filologický přístup zdůrazňuje důležitost porozumění specifik jazyka, gramatickým prvkům a kontextu. Programátorský přístup pak představuje vyzkoušení veřejně dostupných nástrojů, které implementují tyto principy. Práce pojednává o výhodách a omezeních používání veřejně dostupných nástrojů. Jedním z faktorů je například přesnost, chybovost, rychlost, adaptace, zachování významu v konkrétních scénářích (dlouhé texty, komplikovaná souvětí, ...).

Abstract:

The thesis explains principals of text preparation for machine processing. The main principals include normalization, segmentation, tokenization, lemmatization, stemmatization, disambiguation, part of speech tagging and more. These principals work in general for most languages, but for correct and detailed preparation of text, the procedures must be adjusted based on the wanted language (in this case Czech) and future purpose. The thesis presents a solution to the problem from a philological and programming point of view. The philological approach emphasizes the importance of understanding the specifics of language, grammatical elements and context. The programming approach the represents the testing of publicly available tools that implement these principles. The thesis discusses the advantages and limitations of using these tools. One of the factors is, for example, accuracy, error rate, speed, customization, keeping the meaning in specific scenarios (long texts, complicated sentences, …).

Klíčová slova

NLP, tokenizace, tagování POS, lemmatizace, desambiguace

Keywords

tokenization, tagging POS, lemmatization, NLP, disambiguation

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 7. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 28. 5. 2024
• Vedoucí: Mgr. Jiří Haviger, Ph.D.
• Oponent: Ing. Martina Husáková, Ph.D.

Univerzita Hradec Králové

Fakulta informatiky a managementu

Bakalářský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika