Scalability of Semantic Analysis in Natural Language Processing

RNDr. Radim Řehůřek, Ph.D.

Doctoral thesis

Abstract:

Práce se zabývá dolováním dat z rozsáhlých korpusů. Zaměřuje se na robustní statistické metody, které dokáží automatizovaně vytvořit kompaktní sémantickou reprezentaci volného textu, tj. bez použití metadat či ručního vstupu člověka. První část práce se zabývá škálovatelností metod Latent Semantic Analysis (LSA) a Latent Dirichlet Allocation (LDA). Představuji nové algoritmy pro škálovatelnou tvorbu těchto sémantických modelů. Škálovatelnost je dosažena 1) distribucí výpočtů na více strojů a 2) využitím pouze konstatního množství paměti vzhledem k velikosti trénovacích dat, a 3) trénováním modelu v omezeném počtu průchodů trénovacími daty (resp. pouze na jeden průchod v případě LSA, což umožňuje trénování na nekonečném, nestacionárním proudu trénovacích dat). Druhá část práce popisuje několik možných aplikací těchto obecných sémantických algoritmů. Prezentuji zde výsledky svého výzkumu v oblasti Information Retrieval (IR), jako je např. tématická segmentace volného textu, sémantická podobnost dokumentů v digitálních knihovnách či efektivní segmentace textu podle jazyka. Součástí práce je také open-source software, který obsahuje implementaci těchto metod.

Abstract:

Data mining applications that work over input of very large scale (web-scale problems) pose challenges that are new and exciting both academically and commercially. Any web-scale algorithm must be robust (dealing gracefully with the inevitable data noise), scalable (capable of efficiently processing large input) and reasonably automated (as human intervention is very costly and often impossible on such scales). This thesis consists of two parts. In the first part, I explore scalability of methods that derive a semantic representation of plain text documents. The focus will be entirely on unsupervised techniques, that is, on methods that don’t make use of manually annotated resources or human input. I develop and present scalable algorithms for Latent Semantic Analysis (LSA) and Latent Dirichlet Allocation (LDA), two general-purpose statistical methods for semantic analysis that serve as building blocks for more concrete, applied algorithms. Scalability is achieved by building the semantic models in a constant amount of memory and distributing the computation over a cluster of autonomous computers, connected by a high-latency network. In addition, the novel LSA training algorithm operates in a single pass over the training data, allowing continuous online training over infinite-sized training streams. The second part of the thesis deals with possible applications of these general semantic algorithms. I present my research in the field of Information Retrieval (IR), including work on topic segmentation of plain-text documents, on document-document similarities (“semantic browsing”) in digital libraries and on language segmentation of documents written in multiple languages.

Keywords

latent semantic analysis, latent dirichlet allocation, digital libraries, natural language processing

Language used: English

Date on which the thesis was submitted / produced: 19. 8. 2011

Thesis defence

• Date of defence: 12. 9. 2011
• Supervisor: prof. PhDr. Karel Pala, CSc.
• Reader: Dr. Johannes Leveling, Dr. Martin Rajman

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics