Explicitní sémantická analýza

Michal TUŠL

Bakalářská práce

Explicit semantic analysis

Anotace:

Tato práce je zaměřena na sémantickou analýzu textů. Konkrétně na metody Explicitní sémantická analýza a Latentní sémantická analýza. Tyto metody jsou založené na trénování bez učitele a jako trénovací data využívají Wikipedii. Na výsledek metod je aplikován singulární rozklad matic, který redukuje paměťové nároky a zároveň vylepšuje výsledky metod. Testování výsledků je prováděno na standardních datasetech pro anglický a český jazyk. Tyto datasety obsahují páry slov a manuálně definovanou sémantickou podobnost. Kvalita sémantické reprezentace je měrena pomocí Pearsonovy a Spearmanovy korelace. Všechny testované metody dosahují na obou jazycích velmi dobrých výsledků.

Abstract:

This bachelor thesis investigates semantic analysis of texts in natural language. It focuses on Explicit Semantic Analysis and Latent Semantic Analysis methods. These methods are based on unsupervised machine learning and use Wikipedia as a training data. Singular Value Decomposition is used to reduce the memory requirements and also to improve the results. Standard English and Czech datasets are used for testing purposes. These datasets contain word pairs and manually annotated semantic similarity. The quality of semantic representation is evaluated by Pearson and Spearman correlation. All tested methods provide very promising results on both languages.

Klíčová slova

zpracování přirozeného jazyka, distribuční sémantika, sémantická podobnost, vektorové sémantické prostory, Explicitní sémantická analýza, Latentní sémantická analýza, singulární rozklad

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 4. 5. 2017

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Tomáš Brychcín, Ph.D.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Bakalářský studijní program / obor:
Inženýrská informatika / Informační systémy