Explicitní sémantická analýza

Michal TUŠL

Bachelor's thesis

Explicit semantic analysis

Abstract:

Tato práce je zaměřena na sémantickou analýzu textů. Konkrétně na metody Explicitní sémantická analýza a Latentní sémantická analýza. Tyto metody jsou založené na trénování bez učitele a jako trénovací data využívají Wikipedii. Na výsledek metod je aplikován singulární rozklad matic, který redukuje paměťové nároky a zároveň vylepšuje výsledky metod. Testování výsledků je prováděno na standardních datasetech pro anglický a český jazyk. Tyto datasety obsahují páry slov a manuálně definovanou sémantickou podobnost. Kvalita sémantické reprezentace je měrena pomocí Pearsonovy a Spearmanovy korelace. Všechny testované metody dosahují na obou jazycích velmi dobrých výsledků.

Abstract:

This bachelor thesis investigates semantic analysis of texts in natural language. It focuses on Explicit Semantic Analysis and Latent Semantic Analysis methods. These methods are based on unsupervised machine learning and use Wikipedia as a training data. Singular Value Decomposition is used to reduce the memory requirements and also to improve the results. Standard English and Czech datasets are used for testing purposes. These datasets contain word pairs and manually annotated semantic similarity. The quality of semantic representation is evaluated by Pearson and Spearman correlation. All tested methods provide very promising results on both languages.

Keywords

zpracování přirozeného jazyka, distribuční sémantika, sémantická podobnost, vektorové sémantické prostory, Explicitní sémantická analýza, Latentní sémantická analýza, singulární rozklad

Language used: Czech

Date on which the thesis was submitted / produced: 4. 5. 2017

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Tomáš Brychcín, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Computer Science and Engineering / Information Systems