Incremental News Clustering

Bc. Martin VÁŇA

Master's thesis

Abstract:

The goal was to research model-based clustering methods, notably the Distance Dependent Chinese Restaurant Process (ddCRP), and propose an incremental clustering system which would be capable of maintaining the growing number of topic clusters of news articles coming online from a crawler. LDA, LSA, and doc2vec methods were used to represent a document as a fixed-length numeric vector. Cluster assignments given by a proof-of-concept implementation of such a system were evaluated using various metrics, notably purity, F-measure and V-measure. A modification of V-measure -- NV-measure -- was introduced in order to penalize an excessive or insufficient number of clusters. The best results were achieved with doc2vec and ddCRP.

Abstract:

Cílem práce bylo prozkoumat možnosti shlukovacích metod založených na statistických modelech, zejména metodu založenou na Distance Dependent Chinese Restaurant Process (ddCRP), a navrhnout shlukovací systém, který bude schopný udržovat tematické shluky zpravodajských textů, které budou postupně přicházet z crawleru. Metody LDA, LSA a doc2vec byly použity k reprezentaci dokumentu jako číselný vektor fixní délky. Výsledné shluky odhalené proof-of-concept implementací takového systému byly vyhodnoceny zejména pomocí purity, F-measure a V-measure. Dále byla představena evaluační metrika NV-measure vycházející z V-measure, které penalizuje nadměrné či naopak nedostatečné množství shluků. Nejlepších výsledků bylo dosaženo pomocí doc2vec a ddCRP.

Keywords

inkrementální shlukování, shlukovací metody založené na statistických modelech, NV-measure, gensim, zpracování přirozeného jazyka, strojové učení, Distance Dependent Chinese Restaurant Process, doc2vec

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 17. 5. 2018

Zverejniť od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedúci: Doc. Ing. Josef Steinberger, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / odbor:
Computer Science and Engineering / Software Engineering