Analyzer of Japanese Texts for Language Learning Purposes

Bc. Alexander Macinský

Diplomová práce

Anotace:

Japončina používa tri rôzne písma. Nemá medzery medzi slovami. A jej gramatika je iná ako gramatika európskych jazykov. To vytvára vysokú vstupnú bariéru pre začínajúcich študentov japonského jazyka. Tieto skutočnosti nás motivovali k implementácii systému, ktorý analyzuje japonské texty a uľahčuje ich čítanie a porozumenie. Systém na vstupe dostane japonský text, spracuje ho a vytvorí výstup vo formáte JSON obsahujúci pôvodný text s identifikovanými slovami a gramatickými štruktúrami, vrátane foriem časovania a syntaktických vzorov. Aby sme to dosiahli, používame existujúce NLP nástroje na spracovanie japonských textov a nad nimi vytvárame vrstvu našich vlastných algoritmov a vylepšení. Systém demonštrujeme na japonských vetách.

Abstract:

Japanese uses three different writing scripts. It does not use spaces between words. And its grammar is dissimilar to that of European languages. This creates a high entry barrier for beginning Japanese language learners. These facts motivated us to implement a system that analyzes Japanese texts and makes them easier to read and understand. The system gets plain Japanese text on input, processes it, and produces a JSON output containing the original text with identified vocabulary and grammatical structures, including conjugation forms and syntactic patterns. To achieve this, we use existing NLP tools for processing Japanese texts and build a layer of our own algorithms and enhancements on top of them. We demonstrate the system on Japanese sentences.

Keywords

Japanese, Language Learning, Japanese Language, Japanese Grammar, Japanese Vocabulary, Japanese Text Analyzer, Japanese NLP, MeCab, SudachiPy, spaCy, JMdict

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 13. 12. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 1. 2023
• Vedoucí: RNDr. Zuzana Nevěřilová, Ph.D.
• Oponent: RNDr. Adam Rambousek, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Zpracování přirozeného jazyka