A hybrid approach to parallel text alignment

Bc. Adam Obrusník

Bachelor's thesis

Abstract:

Práce se zabývá automatickým zarovnáváním (alignmentem) dvojjazyčných paralelních textů. V teoretické části práce jsou popsány a porovnány současné přístupy k této problematice, které jsou rozděleny do tří kategorií: statistické, heuristické a založené na klíčových slovech. V praktické části je navržen a implementován hybridní algorithmus, který kombinuje prvky statistických metod a metod založených na klíčových slovech. Jedna z kapitol této práce je také věnována tvorbě jednojazyčného korpusu obsahujícího fyzikální abstrakty. Tento jednojazyčný korpus byl za použití elektronického dvojjazyčného slovníku a manuálního překladu použit ke tvorbě Česko-Anglického slovníku nejčastějších slov a termínů používaných ve fyzikálních textech. Vyvinutý hybridní algorithmus je následně testován na dvojjazyčných abstraktech fyzikálně zaměřených diplomových prací. Testování algoritmu ukázalo velice dobré výsledky a stabilitu a správné zarovnání (na úrovni vět) bylo vygenerováno skoro ve všech případech. Jediným případem, ve kterém se nedaří texty zarovnat zcela správně je situace kdy jedna z jazykových verzí textů obsahuje určitou informaci navíc. I v tomto patologickém případě však dokáže algoritmus správně zarovnat zbývající věty. Na závěr je krátce představeno uživatelské rozhraní, které bylo vyvinuto pro testování algoritmu a pro používání zarovnaných textů jako paralelního korpusu.

Abstract:

This work deals with automatic parallel text alignment. In the theoretical part, the existing parallel text alignment approaches are described and compared. The approaches are classified into three categories, statistical, heuristic and anchor word based. In the practical part, a hybrid algorithm combining elements of the statistical approach and anchor word based approach is designed and implemented. One chapter of this work is also dedicated to compiling a monolingual corpus consisting of physics abstracts. The latter was successfully used in combination with an electronic bilingual dictionary and manual translation to compile a Czech–English lexicon of the most frequent words and terms used in physics texts. The hybrid alignment approach is subsequently tested on abstracts of physics students’ theses. The testing of the alignment algorithm has shown that the algorithm performs very well, is very stable and the resulting alignments are correct in nearly all cases (on the sentence level). The only case in which the texts are not aligned properly is the case of extraneous information in one of the language versions. However, even in this pathological case, the algorithm is able to align the rest of the text successfully. The user interface for accessing the alignment algorithm and using the aligned sentences as a parallel corpus is also briefly introduced.

Keywords

automatické zarovnání, paralelní korpus, statistické zarovnání, korpusová lingvistika, počítačová lingvistika, automatic alignment, parallel corpus, statistical alignment, corpus linguistics, computational linguistics

Language used: English

Date on which the thesis was submitted / produced: 20. 1. 2013

Thesis defence

• Date of defence: 1. 2. 2013
• Supervisor: M.A. James Edward Thomas
• Reader: Ing. Mgr. Jiří Rambousek, Ph.D.

Masaryk University

Faculty of Arts

Bachelor programme / field:
Philology / English Language and Literature