Speeding up inference time of neural machine translation

Bc. Martin Geletka

Master's thesis

Anotácia:

Vďaka takzvaným Transformer modelom sa nedávno dosiahli signifikantné posuny v úlohách strojového prekladu. V praxi však tieto modely trpia vysokou latenciou, takže sú často nepoužiteľné v praktických aplikáciách. Táto práca študuje dôvody tejto vysokej latencie a zhrnuje, aplikuje a porovnáva techniky strojového učenia, ktorých cieľom je skrátenie inferenčného času Transformer modelov použitých pri úlohe strojového prekladu. V súčasnosti je zrýchlenie Transformer modelov horúcou témou výskumu. Avšak nenašli sme výskum,ktorý by túto tému riešil aplikovanú na český jazyk. Preto sa táto práca zameriava na úlohu strojového prekladu medzi angličtinou a češtinou a kladie si za cieľ posunúť výskum strojového prekladu a jeho urýchlenie na tomto jazykovom páre.

Abstract:

Large qualitative gains were recently made in machine translation tasks thanks to Transformers models. However, in practice, these models suffer from high latency, such that they often are hardly usable in practical applications. This thesis study studies the reasons behind high latency time and tries to overview, employ and compare techniques, which tries to decrease the inference time of the Transformer models used on the machine translation task. Currently, the speeding inference of Transformer models is a hot research topic worldwide. However, we did not find any ongoing research applied to the Czech language. Therefore this thesis will aim at translation task between English and Czech and set the goal to push the research of the machine translation and speeding its performance further on this language pair.

Keywords

Machine Translation, Neural Networks, Transformers, Neural Machine Translation, Optimization

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 14. 12. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 1. 2. 2022
• Vedúci: doc. RNDr. Petr Sojka, Ph.D.
• Oponent: RNDr. Vít Novotný

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Machine learning and artificial intelligence