Text Clustering

Balakothandaraman Mani

Master's thesis

Abstract:

Tato práce se snaží analyzovat postupy a metody používané pro shlukování textových dokumentů. Také vysvětluje problémy při provádění technik sdružování dokumentů. Seskupování dokumentů budeme provádět analýzou dvou textových datových souborů v reálném světě: 20 diskusních skupin a Reuters, kde 20 zpravodajských skupin bylo rozděleno do dvou variant, přičemž jedna varianta je založena na záhlaví, zápatí a uvozovkách přítomných uvnitř textových dokumentů a druhá varianta obsahuje textové dokumenty bez těchto údajů. Zde budeme hovořit o různých metodách shlukování dokumentů, jejich podobnostech a výzvách při provádění těchto algoritmů shlukování, technikách ověřování kvality shluků a podrobném porovnání. Budeme také diskutovat techniky redukce rozměrů, jejich výhody s jejich podrobným porovnáním. Nakonec diskutujeme a docházíme k závěru, zda tyto metody redukce rozměrů přinášejí v obou těchto algoritmech lepší výsledky.

Abstract:

This thesis tries to analyse the procedures and the methods used for clustering text documents. Also, explains the challenges in performing the document clustering techniques. We will be performing the document clustering by analysing two real world text datasets: 20 News group and Reuters, where 20 News group has been split into two variants, in which one variant is based on headers, footers and quotes present inside the text documents and the other variant have text documents without these details. Here we will discuss different document clustering methods, their similarities and the challenges in performing these clustering algorithms, its cluster quality validation techniques and its detailed comparison. We will also discuss the dimension reduction techniques, their advantages with their detailed comparison. Finally we discuss and conclude whether these dimension reduction methods produce any better results on both these algorithms.

Keywords

shlukování dokumentů, shlukování textu, 20 diskusních skupin, Reuters, HAC, kmeans, buckshot

Keywords

Document clustering, text clustering, 20 News group, Reuters, HAC, kmeans, buckshot

Language used: English

Date on which the thesis was submitted / produced: 30. 4. 2020

Thesis defence

• Date of defence: 24. 6. 2020
• Supervisor: Jan Platoš
• Reader: Pavla Dráždilová

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Master programme / field:
Informační a komunikační technologie / Informatika a výpočetní technika