Porovnání překladů generativní umělé inteligence

Samuel Ponert

Bachelor's thesis

Comparison of translations of generative artificial intelligence

Abstract:

Hlavním cílem této bakalářské práce je porovnání schopnosti generativní umělé inteligence překládat text proti schopnostem neuronovému strojovému překladu. Pro dosažení tohoto cíle je představena historie, základní principy, výhody a nevýhody obou technologií. Jako dílčí cíle jsou zkoumány dopady oboru textu, délky textu a směru překladu, do češtiny a do angličtiny, na kvalitu překladu. Byly představeny způsoby měření kvality překladu, a to lidské, automatizované a spojení obou přístupů. Představeny byly metriky ChrF a HTER, které byly použity v empirické práci autora. Pro hodnocení kvality byly zvoleny texty ve čtyřech různých oborech a čtyřech různých délkách. Celkem bylo porovnáno osmdesát textů v šesti různých populárních službách. Jednalo se o tři služby neuronového strojového překladu a tři služby generativní umělé inteligence. Autor zjistil, že stávající populární přístup k překladu, neurální strojový překlad, má lepší výsledky. Přesto jedna ze sledovaných služeb generativní umělé inteligence, ChatGPT-4, překonala výsledky autorem dělaného lidského hodnocení jedné ze zvolených služeb neuronového strojového překladu. Dle autorových výsledků záleží na oboru textu a směru překladu při hodnocení kvality překladu. Jisté sledované obory mají významně lepší výsledky dle obou metrik a překlady do angličtiny mají ve všech sledovaných hodnotách lepší výsledky než výsledky překladu do češtiny. V případě dopadu délky textu na kvalitu překladu ukazují výsledky v autorově zvolených délkách na to, že délka nemá významný dopad na kvalitu překladu. Při růstu délky ale roste poměr chybných překladů z různých služeb, tedy s délkou roste počet překladů stejného textu od různých služeb, které potřebují alespoň jednu úpravu. Z dotazníkového šetření vyplynuly výsledky podobné těm nalezeným autorem.

Abstract:

The main goal of this bachelor thesis is to compare the ability of generative artificial intelligence in the translation of text against the capabilities of neural machine translation. To achieve this goal, the author presents both technologies' history, basic principles, advantages, and disadvantages. As partial objectives the author examines the impact of the field of the text, the length of the text, and the direction of translation, into Czech and English, on the quality of translation. Methods of measuring the quality of translation were introduced, namely human, automated, and a combination of both approaches. The ChrF and HTER metrics, which were used in the author's empirical work, were introduced. Texts in four different fields and four different lengths were chosen for evaluation of the quality of translation. A total of eighty texts were compared in six different popular services. There were three neural machine translation services and three generative AI services. The author found that the current popular approach to translation, neural machine translation, has better results. Still, one of the generative AI services evaluated, ChatGPT-4, outperformed one of the selected neural machine translation services in the results of the author's human evaluation. According to the author's results, the quality of the translation depends on the field of the text and the direction of the translation. Specific monitored fields have significantly better results according to both metrics, and translations into English have better results than translations into Czech in all observed values. In the case of the impact of text length on the quality of the translation, the results show that the author's chosen lengths do not significantly impact the translation quality. However, as the length increases, the proportion of translations that have errors from different services increases, i.e., the number of translations of the exact text from various services that need at least one modification increases with the length. The questionnaire survey showed results similar to those found by the author.

Keywords

generativní umělá inteligence, neuronový strojový překlad, strojový překlad, srovnání překladů, metriky překladu

Keywords

generative artificial intelligence, neural machine translation, machine translation, translation comparison, translation metrics

Language used: Czech

Date on which the thesis was submitted / produced: 5. 5. 2024

Thesis defence

• Date of defence: 18. 6. 2024
• Supervisor: Ladislav Luc
• Reader: Richard Antonín Novák

Vysoká škola ekonomická v Praze

Bachelor programme:
Aplikovaná informatika