Evaluation of text tokenizers

Bc. Samuel Špalek

Bachelor's thesis

Abstract:

Táto práca detailne analyzuje rozdieli medzi dvoma tokenizérmi Unitok a Utok. Tokenizácia je podstatný krok v práci s naturálnym jazykom. Tokenizér rozdeľuje text na čo najmenšie zmysluplné elementy nazývané tokeny. Umožňuje to analyzovať elementy v kontexte ostatných elementov. Niektoré tokenizéry využívajú jednoduchú techniku rozdeľovania textu podla medzier. Zložitejšie a jazykovo zavislé prípady však potrebujú viac komplexné riešenia. Cieľ tejto práce je porovnať Unitok a Utok a nájsť najvhodnejšiu verziu výstupu programu. Unitok je napísaný v programovacom jazyku Python a používa knižnicu regex dodanú jazykom. Unitok má podporu pre veľa rôznych jazykov. Utok je rýchlejšia verzia Unitoku. Je napísaný v C++ a využíva knižnicu RE2. Aktuálne vie pracovať s jazykom Anglickým a Českým, no priložený konfiguračný súbor umožňuje podporu pre rôzne podobné jazyky. Pre otestovanie rýchlosti RE2 knižnice som vytvoril ďalšie programy ktoré používajú inú implementáciu pre regex. Jeden program je napísaný v Jazyku Rust a využíva priloženú knižnicu a druhý je tiež napísaný v jazyku Rust ale využíva knižnicu Hyperscan v jazyku C. Test rýchlosti ukazuje, že verzia s knižnicou RE2 je najrýchlejšia a je to výrazne zlepšenie oproti programu Unitok. Táto práca ukazuje výhody tokenizačného nástroju Utok a jeho potenciálu pre prácu v spracovaní naturálneho jazyka.

Abstract:

This thesis presents a detailed analysis of the differences between Unitok and Utok, two tokenizers for natural language processing. The tokenization process is a crucial step in NLP text processing and involves breaking down text data into minimal, meaningful elements called tokens. This allows machines to analyze and understand the context of each element in relation to the others. While some tokenizers use simple techniques, such as splitting text based on whitespace, more complex and language-dependent cases require special treatment. The main goal of this thesis is to compare Unitok and Utok and determine the best version of their output. Unitok is written in Python and uses the native Python regular expression (regex) library to support multiple languages. Utok, on the other hand, is a faster version of unitok. It is written in C++ and uses the RE2 regex library. Currently, utok supports English and Czech, but the provided default configuration file allows for easy support of similar languages (similar to English). To test the performance of the RE2 library, the utok tokenizer was compared to different regex libraries that use various regex engines. Two versions of utok were also created in the Rust language, one using the Rust native regex library and the other using the C library Hyperscan. Benchmarking results show that the utok C++ version is the fastest, with a significant improvement in performance compared to unitok. Overall, this thesis highlights the advantages of utok as a tokenization tool and its potential for use in NLP applications.

Keywords

NLP, lexical analysis, tokenization, unitok, utok

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2022

Thesis defence

• Date of defence: 30. 1. 2023
• Supervisor: doc. Mgr. Pavel Rychlý, Ph.D.
• Reader: RNDr. Vít Suchomel, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics