Ein Beitrag zur Evaluierung von DeepL und Google Translate für die Sprachrichtung Deutsch-Tschechisch vor dem Hintergrund der aktuellen Tendenzen in der maschinellen Übersetzung

Bc. Lukáš Tamaškovič

Master's thesis

A contribution to the evaluation of DeepL and Google Translate for the language direction German-Czech against the background of current trends in machine translation

Abstract:

This diploma thesis deals with the subject of machine translation and the evaluation of the translation services DeepL and Google Translate. The theoretical part of the thesis provides an overview of the most important historical milestones that contributed to the formation of the current image of machine translation. Furthermore, it explains from a linguistic point of view how different approaches to machine translation work, focusing on the latest approach – neural machine translation. It also introduces the methods used to evaluate machine translation. The practical part aims to evaluate the translation quality of the free machine translation tools DeepL and Google Translate for the German-Czech language direction. Four texts of different text types are evaluated based on a two-stage evaluation. The first method is error analysis, which aims to assess which of the two systems makes fewer errors and what types of errors occur in the translations. The second method of evaluation is ranking, in which evaluators rank the translations of DeepL and Google Translate and a human translation of the same sentence from best to worst. The aim of this method is to find out whether evaluators prefer DeepL or Google translations, and to assess whether they prefer machine translation over human translation in some cases.

Abstract:

Tato diplomová práce se zabývá problematikou strojového překladu a hodnocením překladačů DeepL a Google Translate. Teoretická část poskytuje přehled nejdůležitějších historických milníků, které přispěly k formování současné podoby strojového překladu. Zároveň z lingvistického pohledu vysvětluje způsob fungování různých přístupů ke strojovému překladu se zaměřením na nejnovější přístup – neurální strojový překlad. Představuje také metody, které se využívají k hodnocení strojového překladu. Praktická část si klade za cíl vyhodnotit kvalitu překladu volně dostupných softwarů DeepL a Google Translate pro jazykový směr němčina-čeština. Na základě dvoustupňového hodnocení jsou hodnoceny čtyři texty různých textových druhů. První metodou je analýza chyb, jejímž cílem je posoudit, který z těchto dvou systémů dělá méně chyb a jaké typy chyb se v překladech vyskytují. Druhou metodou hodnocení je ranking, při kterém hodnotitelé seřazují překlady softwarů DeepL a Google Translate a lidský překlad stejné věty od nejlepšího po nejhorší. Cílem této metody je zjistit, zda hodnotitelé dávají přednost překladům DeepL nebo Google, a také vyhodnotit, jestli v některých případech upřednostňují strojový překlad před lidským.

Kľúčové slová

strojový překlad, DeepL, Google Translate, hodnocení, analýza chyb, ranking, machine translation, evaluation, error analysis

Jazyk práce: German

Datum vytvoření / odevzdání či podání práce: 2. 5. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 20. 6. 2022
• Vedúci: Mgr. Martina Trombiková, Ph.D.
• Oponent: PhDr. Zdeněk Mareček, Ph.D.

Masaryk University

Faculty of Arts

Master programme / odbor:
Translation of Romance and Germanic Languages / Translation of German