Aplikace Machine learningu pro získávání dat z dokumentů

Adéla Šolarová

Bachelor's thesis

Machine learning application for obtaining data from documents

Abstract:

Tato práce se zabývá vytvořením programu, schopného automatizovat proces čtení určitých předem definovaných informací z velkého množství strukturovaných PDF dokumentů. Velký důraz je kladen na klasifikaci dokumentů, z důvodu definování malé skupiny vzájemně si velmi podobných dokumentů a následného usnadnění identifikace informací z této jasně vymezené skupiny dokumentů. Pro testování programu byly vybrány protokoly z měření na rentgenových zařízeních. Byly porovnány dvě klasifikační metody učení bez učitele, konkrétně K-Means a DBSCAN. Obě vybrané klasifikační metody byly shledány vhodnými pro aplikaci na třízení vybraného typu dokumentů. Dále program využívá metodu učení s učitelem, konkrétně rozhodovacího stromu, pro nalezení potřebných informací. Program byl aplikován na jednu vybranou třídu protokolů a čtení informací bylo testováno na třech typech textových informací. Bylo zjištěno, že pokud se potřebná informace nachází v dokumentu na podobném místě, je metoda rozhodovacího stromu relativně vhodná, ovšem pro čtení informací, které se v dokumentech nachází pokaždé na jiném místě, nemusí být tato metoda příliš efektivní.

Abstract:

This work presents a software program designed to automate the process of extracting predefined data from a large set of structured PDF documents. The focus is on document classification, which aims to group together very similar documents, thus streamlining the information retrieval process. The chosen document type for the study is measurement protocols for X-ray devices. Two unsupervised learning methods, namely K-Means and DBSCAN, were evaluated for their effectiveness in document classification. Both methods were found to be suitable for sorting the target document type. A supervised learning method, specifically decision tree, was employed for reading the predefined data. The program was tested on one selected protocol class, and the performance was evaluated for three different types of textual information. The results indicate that the decision tree method is relatively effective when the predefined information is consistently located in a similar position in every document. However, for data located in different positions within the document, this method may not be as effective.

Keywords

PDF, machine learning, analýza textu, text mining, klasifikace dokumentů, document intelligence, python

Keywords

python, PDF, machine learning, text analysis, text mining, document classification, document intelligence

Language used: Czech

Date on which the thesis was submitted / produced: 18. 3. 2023

Thesis defence

• Date of defence: 18. 5. 2023
• Supervisor: doc. Ing. Jan Tyrychtr, Ph.D.
• Reader: David Novák, Ing.

Czech University of Life Sciences Prague

Faculty of Economics and Management

Bachelor programme:
Informatics