Graph Neural Networks for Text Classification: An Empirical Comparison with Recurrent Networks

Tomáš Felcán

Bakalářská práce

Grafové neuronové sítě pro klasifikaci textu: empirické srovnání s rekurentními sítěmi

Anotace:

Klasifikace textu přiřazuje text do jedné z předem definovaných kategorií a využívá se v aplikacích, jako jsou analýza sentimentu nebo tematická kategorizace. Přestože předtrénované Transformery v současnosti dominují celému oboru, lehčí modely zůstávají v praxi stále relevantní. Mezi nimi byly jako alternativa k rekurentním sítím navrženy grafové neuronové sítě (GNN), které reprezentují text jako graf namísto sekvence. Není však dobře zdokumentováno, zda grafová struktura skutečně přináší přidanou hodnotu oproti sekvenčnímu základnímu modelu. Cílem této práce je porovnat TextGCN a TextING se základním modelem BiLSTM v několika experimentálních podmínkách. Obě architektury GNN jsou porovnány s obousměrnou LSTM sítí (BiLSTM): TextGCN, která sestavuje jeden graf pro celý korpus, a TextING, která sestavuje samostatný graf pro každý dokument. Experimenty jsou provedeny na dvou datových sadách – Movie Review (binární sentiment) a 20 Newsgroups (tematická klasifikace do 20 tříd) – a pokrývají přesnost, datovou efektivitu, citlivost na hyperparametry, předzpracování textu a ablaci grafových komponent. Výsledky ukazují, že žádný z modelů nebyl nejlepší na obou datových sadách zároveň. BiLSTM dosáhla nejlepších výsledků na krátkých sentimentových datech, zatímco TextGCN byla nejsilnější na delších tematických datech. TextING jednoznačně nepřekonala BiLSTM na žádné z datových sad a její grafové komponenty nepřispěly k přesnosti měřitelným způsobem. Celkově práce poskytuje teoretické základy a systematické empirické srovnání všech tří modelů.

Abstract:

Text classification assigns a piece of text to one of a set of predefined categories and is used in applications such as sentiment analysis and topic categorization. While pre-trained Transformers currently dominate the field, lighter models remain relevant in practice. Among these, graph neural networks (GNNs) have been proposed as an alternative to recurrent networks, representing text as a graph rather than a sequence. However, it is not well established whether the graph structure actually adds value over a sequential baseline. The goal of this thesis is to compare TextGCN and TextING against a BiLSTM baseline across several experimental conditions. Experiments are conducted on two datasets, Movie Review (binary sentiment) and 20 Newsgroups (20-class topic classification), and cover accuracy, data efficiency, hyperparameter sensitivity, preprocessing, and ablation of graph components. The results show that no single model was best on both datasets. BiLSTM was strongest on short sentiment data, while TextGCN was strongest on longer topic data. TextING did not clearly outperform BiLSTM on either dataset, and its graph components did not measurably contribute to its accuracy. Overall, the thesis provides a theoretical background and a systematic empirical comparison of the three models.

Klíčová slova

slovní vektory, klasifikace textu, grafové neuronové sítě, rekurentní neuronové sítě, zpracování přirozeného jazyka, obousměrná LSTM, TextING, TextGCN, grafová konvoluční síť

Keywords

text classification, word embeddings, natural language, recurrent neural networks, bidirectional LSTM, TextING, TextGCN, graph convolutional network, graph neural networks

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 11. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 15. 6. 2026
• Vedoucí: Ondřej Zamazal
• Oponent: David Poslušný

Vysoká škola ekonomická v Praze

Bakalářský studijní program:
Data Analytics