Enhancing Quality of Optical Character Recognition for Financial Document Processing

Bc. Dávid Meluš

Master's thesis

Abstract:

Optické rozpoznávanie znakov (OCR) hrá kľúčovú úlohu pri spracovaní dokumentov. Typické spracovanie dokumentov začína práve s procesom OCR, čo ovplyvňuje následujúce úlohy, ako je rozpoznávanie entít alebo získavanie informácií z dokumentov. Táto práca sa zaoberá špecializáciou univerzálných OCR modelov na konkrétne domény so zameraním na české faktúry. Táto diplomová práca sa zaoberá implementáciou a evaluáciou techník v rámci systému spracovania dokumentov, ktorý pochádza z grantového projektu Intelligent Back Office. Tieto techniky zahŕňajú generovanie syntetických datasetov, extrakciu údajov z digitálnych dokumentov a využitie tzv. Masked Language Modeling (MLM) na korekciu výstupov OCR. Použitím syntetických datasetov a digitálnych dokumentov sme dosiahli pozoruhodné zlepšenie a znížili mieru chybovosti znakov (CER) až o 56% a chybovosť slov (WER) až o 27%. Vďaka tejto optimalizácii sme dosiahli korektné spracovanie ďalších 14% faktúr, čo predstavuje významné zlepšenie celého systému. Okrem toho navrhujeme a evaluujeme deväť korekčných metód založených na MLM. Tieto metódy preukazujú vysoký potenciál pri korekcii výstupov OCR s minimálnou chybovosťou, čo viedlo k oprave až 33 % nesprávnych slov. No tieto metódy tiež majú tendenciu zvýšiť CER v neopravených slovách. Avšak, i keď opravy po OCR zlepšili kvalitu extrahovaného textu, ich účinnosť bola obmedzená v prípadoch, keď nebolo možné opraviť kritické časti textu. Toto obmedzenie sa prejavilo aj v procese spracovania faktúr, kde napriek použitiu týchto metód nedošlo k výraznému zlepšeniu.

Abstract:

Optical Character Recognition (OCR) plays a crucial role in document processing, impacting downstream tasks like Named-Entity Recognition and Information Retrieval. This thesis investigates the fine-tuning of general-purpose OCR models to specific domains, focusing on Czech invoice documents. This thesis involves implementing and evaluating techniques within the invoice processing pipeline that comes from the Intelligent Back Office grant project. These techniques include the generation of synthetic datasets, extraction of the data from born-digital documents, and utilization of Masked Language Modeling (MLM) for correction of OCR predictions. By employing synthetic datasets and born-digital documents, we achieved remarkable advancements, reducing the Character Error Rate (CER) by up to 56\% and the Word Error Rate (WER) by up to 27\%. Furthermore, this optimization resulted in a notable 14\% enhancement in the overall pipeline performance. Furthermore, we propose and evaluate nine MLM correction methods. These methods exhibit the potential to correct low error rate OCR predictions, effectively addressing up to 33\% of inaccurate words. However, this enhancement potentially led to increased CER due to the tendency to worsen uncorrected predictions. Moreover, while post-OCR corrections showed promise in improving text extraction quality, their efficacy was constrained when critical text segments could not be corrected. This constraint became apparent in our invoice processing pipeline, where despite the correction methods, the final task did not exhibit notable improvement.

Keywords

OCR, NLP, fine-tuning, invoice processing, financial document processing, dataset synthesis

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 8. 2. 2024
• Supervisor: Mgr. Michal Štefánik
• Reader: Mgr. Jiří Polcar

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Bioinformatics and systems biology