Automatické doplňování a korekce interpunkce v češtině

Mgr. Jakub Machura, Ph.D.

Doctoral thesis

Automatic Punctuation Detection and Correction in Czech Language

Abstract:

Správně doplněná interpunkce je důležitým prvkem kultivovaného písemného projevu, přičemž norma česky psaných textů soustředí svou pozornost hlavně na psaní nejfrekventovanějšího interpunkčního znaménka – větné čárky. Prostý řetězec slov bez interpunkce totiž může být jen stěží pochopitelný, a to nejen pro člověka, ale i pro stroj. A proto automatické doplňování i případná korekce interpunkce není pouze jeden z nejdůležitějších podúkolů automatické kontroly pravopisu, ale hraje klíčovou úlohu při strojovém překladu, rozpoznávání řeči, sumarizaci textu a dalších úkolech počítačového zpracování přirozených jazyků. Disertační práce se snaží oprostit se od tradičního pojetí interpunkce jako nauky o členicích znaménkách a teoreticky ji zkoumá z anglosaské perspektivy. Těžištěm celé práce je nejprve stanovení typologie místa v české větě, kde se píše čárka, dále následuje popis nových lingvistických pravidel, jež řídí samotné doplňování a korekci čárek, a poté nechybí ani detailní vyhodnocení pravidel na textech různé povahy. Donedávna strojové učení ještě nedosahovalo takové úrovně, aby mohlo spolehlivě interpunkci doplňovat či korigovat. Současný rozmach neuronových sítí však nabízí nové možnosti a posouvá hranice napříč vědními obory. V disertační práci se tedy nachází také porovnání výsledků stávajících pravidel, jež jsou součástí interpunkčního modulu pro nový webový korektor, s nejnovějšími modely neuronových sítí, které byly natrénovány pro účely doplňování interpunkce v přepisech řeči. V samotném záměru práce jsou představeny návrhy na úpravu či doplnění výkladové i slovníkové části Internetové jazykové příručky, v současnosti nejdynamičtěji vyvíjející se kodifikační příručky pro češtinu, přičemž její autoři již tyto podněty do příručky zapracovali.

Abstract:

The correct use of punctuation is an important feature of sophisticated written text, and the norm for Czech texts primarily focuses on the most frequent punctuation mark – the comma. A plain string of words without punctuation can be barely comprehensible for humans, let alone machines. Thus, automatic punctuation insertion/restoration and eventual punctuation correction is not only one of the most important subtasks of automatic grammar checking, but it also plays a vital role in machine translation, speech recognition, text summarization, and other natural language processing tasks. This PhD thesis attempts to break away from the traditional conception of punctuation as a study of segmental marks and theoretically examines punctuation from the Anglo-Saxon perspective. The core of the whole thesis is first to establish a typology of the position of the comma in a Czech sentence, followed by a description of the new linguistic rules that govern the insertion and correction of commas, and then a detailed evaluation of the rules on different texts. Up until recently, machine learning had not yet reached the level of being able to perform reliable punctuation insertion or correction. However, the current neural network revolution offers new possibilities and pushes the frontiers across fields of science. Hence, this PhD thesis also compares the results of existing rules, which are part of a punctuation module for a new online proofreader, with state-of-the-art neural network models that have been trained for the purpose of punctuation restoration in automatic speech recognition. Suggestions for modifications and additions to Wordlist and Reference Sections in Internet Language Reference Book – currently the most dynamically developing codification reference book for the Czech language – were presented at the very end of the thesis, and its authors have already implemented these suggestions in the reference book.

Keywords

čárka, frázová koordinace, Internetová jazyková příručka, interpunkce, klauze, konektor, neuronová síť, lingvisticky motivované pravidlo, comma, phrasal coordination, Internet Language Reference Book, punctuation, clause, conjunction, neural network, linguistic rules

Language used: Czech

Date on which the thesis was submitted / produced: 12. 4. 2022

Thesis defence

• Date of defence: 21. 6. 2022
• Supervisor: RNDr. Vojtěch Kovář, Ph.D.
• Reader: doc. Mgr. Radek Čech, Ph.D., doc. RNDr. Vladimír Petkevič, CSc.

Masaryk University

Faculty of Arts

Doctoral programme / field:
Czech Language / Czech language