Klasifikace dokumentů s použitím hierarchické reprezentace

Bc. Jakub MORÁVKA

Master's thesis

Document classification based on a hierarchical representation

Abstract:

Distribuovaným reprezentacím slov či větších úseků textu se v posledních několika letech dostává poměrně velké pozornosti. Na rozdíl od tradičních reprezentací typu Bag-of-words, je výhodou distribuovaných reprezentací schopnost zachytit sémantický význam. Cílem této práce bylo vyzkoušet klasifikaci neuronovými sítěmi, postavenou nad hierarchickou distribuovanou reprezentací dokumentů. Při hierarchické reprezentaci je dokument reprezentován po částech jeho přirozené hierarchické struktury (např. dokument -> odstavce -> věty -> slova). Předpoklad je takový, že reprezentace částí textu ve vyšší úrovni hierarchie by mohla zachytit abstraktnější sémantický význam. Díky tomu by, co se týče úspěšnosti klasifikace, mohla celková reprezentace dokumentu být kvalitnější. Dosažené výsledky ukazují, že některé hierarchické distribuované reprezentace většinou poráží nehierarchické distribuované reprezentace a~tudíž mají potenciál, přestože nepřekonaly některé dostupné výsledky jiných prací.

Abstract:

Recently, distributed representations of words or longer pieces of text have gotten quite an attention. In contrast with traditional representations like \emph{Bag-of-words}, distributed representations have the advantage of being able to capture semantic meaning. The main goal of this work was to try document classification via neural networks, which is built upon hierarchical distributed representations of documents. In case of hierarchical representation, document is represented as a collection of its segments (e,g. paragraphs or sentences). There is an assumption that representation of pieces of text at higher hierarchy level (than just words) can capture more abstract semantic meaning. That might lead to a document representation of better quality and thus increase the accuracy of classification. The results of conducted experiments show that some hierarchical distributed representations achieve better accuracy than most of the non-hierarchical ones, although they do not outperform some of the available results of other approaches.

Keywords

klasifikace dokumentů, distribuovaná reprezentace, hierarchická reprezentace

Language used: Czech

Date on which the thesis was submitted / produced: 28. 6. 2018

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Ladislav Lenc, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / field:
Computer Science and Engineering / Software Engineering