Propojení témat zpravodajských článků mezi jazyky

Bc. Petr KOPAL

Diplomová práce

Linking similar news across languages

Anotace:

Cílem této diplomové práce bylo prozkoumat možnosti metod pro výpočet podobnosti textů napříč jazyky. Následně na základě těchto poznatků navrhnout systém, který bude schopen propojit tematicky podobné zpravodajské články v různých jazycích. Pro získání příznakových vektorů byly kromě společných entit a Eurovoc deskriptorů použity sémantické distribuční modely natrénované na srovnatelném korpusu Wikipedie. Konkrétně šlo o metody CL-ESA, K-means a CL-LSA. Výsledné shluky byly vyhodnoceny evaluačními metrikami (zejména pak F-mírou a purity) a zdokumentovány v samostatné kapitole. Nejlepších výsledků bylo dosaženo metodou CL-LSA v kombinaci se společnými entitami.

Abstract:

The goal of this master thesis was to research cross-lingual document similarity methods, which were used then to design a system for linking of similar news topics across languages. Except of the common entities and Eurovoc descriptors, word embeddings models (CL-ESA, K-means, CL-LSA) were used as the main source of feature vectors. All these word embeddings models were trained on the Wikipedia comparable corpus. The clustering results were evaluated using various metrics (notably F-measure and purity) and documented in a separate chapter. The best results were achieved using the CL-LSA method in combination with common entities features.

Klíčová slova

vícejazyčná podobnost dokumentů, propojování článků, CL-LSA, CL-ESA, K-means, entity, Eurovoc, word embeddings, distribuční sémantické modely, wikipedia korpus

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 26. 6. 2019

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Doc. Ing. Josef Steinberger, Ph.D.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Magisterský studijní program / obor:
Inženýrská informatika / Softwarové inženýrství