Detekce interpunkce v češtině: analýza problémů a vylepšení

Bc. Jakub Machura

Master's thesis

Punctuation detection in Czech: analysis and improvements

Abstract:

Automatická detekce interpunkce patří k nejdůležitějším podúkolům automatické kontroly česky psaného textu. Na rozdíl od korekce jednoduchých pravopisných chyb, detekce interpunkce představuje jeden z nejsložitějších úkolů vůbec. V Centru zpracování přirozeného jazyka na FI MU je vyvíjen nástroj SET, jehož součástí je gramatika specializovaná na detekci interpunkce. Tato gramatika v současnosti dosahuje jedny návrh změn, jež by vedly k ještě lepším výsledkům. Změny jsme navrhli tak, aby je bylo možné zautomatizovat a poté ověřit jejich přínos. Dosavadní výsledky také poukazovaly na skutečnost, že bude praktické propojit funkcionality dalších počítačových nástrojů, které se specializují na analýzu českého textu v různých jazykových rovinách. Nově vytvořený algoritmus propojuje analyzátor se softwarem Sketch Engine, který vyhledává slovní profily (word sketches) a sdružuje je na základě gramatických vlastností.

Abstract:

Automatic punctuation detection belongs to the most important automatic grammar checking subtasks for the Czech language. Unlike correcting simple spelling errors, it is one of the most difficult tasks of all. The SET parser has been developed at the NLP centre of the Faculty of Informatics of Masaryk University, containing the grammar specialised for automatic punctuation detection. Currently, the SET parser achieves some of the best results of punctuation detection and correction of the Czech language. The main goal of our work is to provide the detailed analysis of mistakes made by the SET parser and to suggest improvements that would lead to even better results. The changes have been designed so that they can be automatized and then verified with regard to their benefit. Existing results also pointed out that it would be practical to connect the functionality of other tools which are specialized in linguistics analysis of Czech text into various levels of linguistic structure. A new algorithm was made, connecting the SET parser with Sketch Engine software which searches for word sketches and groups them according to grammatical attributes.

Keywords

čárka, několikanásobný větný člen, slovní profil, analyzátor SET, automatické doplnění interpunkce

Language used: Czech

Date on which the thesis was submitted / produced: 18. 5. 2017

Thesis defence

• Date of defence: 9. 6. 2017
• Supervisor: RNDr. Vojtěch Kovář, Ph.D.
• Reader: RNDr. Zuzana Nevěřilová, Ph.D.

Masaryk University

Faculty of Arts

Master programme / field:
Philology / Czech Language with Orientation on Computational Linguistics