Extrakce témat z nestrukturovaného textu

Ing. David Illner

Diplomová práce

Extraction of topics from unstructured text

Anotace:

Předmětem diplomové práce je vytvoření modelu pro extrakci témat z nestrukturovaného textu. Byla využita platforma KNIME a veřejně dostupný dataset, který obsahuje pouze abstrakty vědeckých článků. V teoretické části práce je popsána analýza přirozené řeči a vysvětlena důležitost předzpracování textu, aby bylo nadále možné s přirozenou řečí pracovat v prostředí informačních technologií. Pro předzpracování textu jsou použity metody odstranění stop slov, stemming a tokenizace. Pro extrakci témat je použita latentní Dirichletova alokace. Výsledky jsou zobrazeny graficky ve word cloud grafu. Model je poté upraven pro dosažení nejlepších výsledků a následně ohodnocen s využitím sémantické koherence. Průběh vytvoření modelu je detailně popsán včetně všech použitých nastavení v platformě KNIME.

Abstract:

The subject of this master thesis is to create a model for topic extraction from unstructured text using the KNIME platform and a publicly available dataset containing only abstracts of scientific articles. The analysis of natural language and the importance of pre-processing text with this language to be able to continue working with it in an information technology environment. Word stemming, stemming and tokenization methods are used for text preprocessing. For topic extraction Latent Dirichlet allocation is used. The results are displayed graphically in word cloud graph. The model is then adjusted for best results, and finally it is then ranked according to semantic coherence. This model creation process is described in detail including all the settings used in the KNIME platform.

Klíčová slova

Extrakce témat, latentní direchletova alokace, LDA, KNIME

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 23. 4. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 27. 5. 2024
• Vedoucí: Ing. Martina Husáková, Ph.D.
• Oponent: Mgr. Jiří Haviger, Ph.D.

Univerzita Hradec Králové

Fakulta informatiky a managementu

Magisterský studijní program / obor:
Informační management / Informační management