Automatické určení jazyka dokumentu založené na zpracování slabik

Bc. Jan Hegr

Diplomová práce

Syllable based automatic language identification of documents

Anotace:

V teoretické části práce jsou diskutovány metody určení jazyka dokumentu, dále pak jsou detailně vysvětleny dva přístupy k tomuto problému. První spočívá v porovnávání profilů frekvencí výskytů N-gramů znaků, druhý využívá aproximaci Markovského řetězu k určení pravděpodobnosti výskytů N-gramů slabik. Proto je zde věnován prostor i problému dělení slov na slabiky. V praktické části je pak popsána implementace druhého popisovaného algoritmu a jeho rozšíření o schopnost určit, že rozpoznávaný jazyk není žádným z algoritmu známých jazyků. Nakonec jsou oba přístupy otestovány jak z hlediska spotřeby výpočetních prostředků, tak z hlediska úspěšnosti rozeznání jazyka.

Abstract:

First part of this thesis focuses on methods of automatic language identification, especially those using N-gram statistics and Markov chain models. Language independent syllabification algorithms are also discussed. The next part deals with an implementation of the secondly mentioned algorithm for language identification. On top of that, the algorithm was extended to be able to decide that the language does not belong to the class of known languages. Finally, both the approaches are compared in detail in terms of efficiency and precision.

Klíčová slova

určení jazyka, kategorizace textů, N-gram, slabika, Markovský řetěz

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 10. 1. 2011

Obhajoba závěrečné práce

• Obhajoba proběhla 8. 2. 2011
• Vedoucí: doc. Mgr. Pavel Rychlý, Ph.D.
• Oponent: RNDr. Radim Řehůřek, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Informatika / Informatika