Metody strojového učení pro analýzu textu

Bc. Jakub Šenk

Master's thesis

Machine learning methods for text analysis

Abstract:

Tato diplomová práce se zabývá analýzou textu metodami strojového učení. Cílem práce je sestavit a porovnat modely strojového učení s použitím různých klasifikačních algoritmů. V teoretické části práce jsou vysvětleny jednotlivé algoritmy, následně proces předzpracování textu a vektorizační techniky. Konec teoretické části ukazuje různé validační přístupy a hodnotící metriky. Praktická část práce začíná popisem datového souboru a přípravou dat. Datový soubor tvoří dokumenty zabývající se solventností a finanční situací pojišťoven. Dále jsou v praktické části práce sestaveny jednotlivé modely strojového učení, které jsou také vyladěny za použití GridSearch metody. Jsou použity různé techniky rozdělení datové sady a také různé přístupy předzpracování textu. V kapitole výsledky a diskuse jsou vyhodnoceny tyto rozdílné přístupy a jsou porovnány úspěšnosti jednotlivých modelů. Rovněž jsou zmíněny nedostatky řešení a návrh na zlepšení a pokračování dané úlohy. K práci je rovněž přiložen Python kód jednotlivých částí úlohy.

Abstract:

This diploma thesis deals with text analysis using machine learning methods. The goal of the thesis is to build and compare machine learning models using different classification algorithms. In the theoretical part of the thesis, individual algorithms are explained, followed by the process of text preprocessing and vectorization techniques. The end of the theoretical part describes validation approaches and evaluation metrics. The practical part of the thesis begins with the description of the dataset and data preparation. The dataset consists of documents dealing with the solvency and financial situation of insurance companies. Afterwards, individual machine learning models are built and also fine-tuned using the GridSearch method. Various dataset partitioning techniques are used as well as different text preprocessing approaches. In the conclusion and discussion chapter, these different approaches are evaluated and the accuracy rates of individual models are compared. Limitations of the solution and a suggestion for improvement and further processing of the work are also discussed. Python code for each part of the task is attached at the end of the thesis.

Keywords

strojové učení, analýza textu, binární klasifikace, zpracování přirozeného jazyka, Python, scikit-learn

Keywords

machine learning, text analysis, binary classification, natural language processing, Python, scikit-learn

Language used: Czech

Date on which the thesis was submitted / produced: 4. 4. 2023

Thesis defence

• Date of defence: 25. 5. 2023
• Supervisor: doc. Ing. Arnošt Veselý, CSc.
• Reader: Richard Vágner, externi

Czech University of Life Sciences Prague

Faculty of Economics and Management

Master programme:
Informatika