Sémantická analýza textů

Matěj Fries

Bachelor's thesis

Semantic texts analysis

Abstract:

Tato bakalářská se zabývá sémantickou analýzou textů. V teoretické části práce jsou popsány a vysvětleny základní způsoby sémantické analýzy textů, především česky psaných. V úvodu práce jsou popsány základní možnosti reprezentace textů ve vektorových prostorech, která je dostačující v malých kolekcích dokumentů. Slova se dají reprezentovat vícero způsoby, každý vhodný pro jiný případ dokumentů.V případě větších kolekcí a delších dokumentů nastává problém vysoké dimenzionality těchto vektorových reprezentací. Pro její redukci se používá výběr a extrakce příznaků. Při výběru příznaků se vybírají jen ty, které jsou pro nás nějak významné a jiné se odstraňují, například stop slova, překlepy apod. Při extrakci se kolekce dokumentů obměňuje, například lemmatizací, aby informací zůstalo stejně, ale počet dimenzí se snížil.V hlavní části práce je popsána a vysvětlena metoda nazvaná latentní sémantická analýza, která řeší problémy vektorové reprezentace textů včetně vysokého počtu dimenzí. Popsán je i matematický základ této metody, rozklad na singulární hodnoty, pomocí kterého se matice četnosti slov rozloží na tři matice, ze kterých je poté možné redukovat počet dimenzí.I když tato metoda řeší nedostatky modelu vektorového prostoru, sama má svoje nevýhody a proto byla zavedena další metoda a to pravděpodobnostní sémantická analýza, která je založena na statistickém modelu a je řešena maximalizací pravděpodobností. Tato metoda byla velkým krokem dopředu, avšak neúplným, protože má velké nevýhody zabraňující jejímu praktickému využití. Proto je v závěru teoretické části popsána a vysvětlena metoda latentní Dirichletovy alokace, která řeší nevýhody předchozí metody a je z těchto metod nejvíce využívána. Součástí práce je program v jazyku Java, ve kterém jsou popisované způsoby implementovány a v praktické části práce popsány na ukázkových datech. V praktické části je na dvou ukázkových souborech dat ukázána výkonost těchto postupů a jejich implementace. V závěru práce jsou rozebrány výsledky praktických využití práce a nejlepší využití jednotlivých metod.

Keywords

analýza textů sémantická, latentní sémantická analýza, latentní Dirichletova alokace, pravděpodobnostní latentní sémantická analýza

Language used: Czech

Date on which the thesis was submitted / produced: 28. 4. 2017

Thesis defence

• Date of defence: 1. 6. 2017
• Supervisor: Mgr. Jiří Haviger, Ph.D.
• Reader: Ing. Karel Mls, Ph.D.

University of Hradec Králové

Faculty of Informatics and Management

Bachelor programme / field:
Aplikovaná informatika / Aplikovaná informatika