Text classification with artificial neural networks

Bc. Anouk Wilstra

Bachelor's thesis

Abstract:

Umělé neuronové sítě umožňují modelování komplexnějších problémů včetně zpracování přirozeného jazyka. Schopnost počítačů číst a rozumět textu napsaného člověkem je v době big data a umělé inteligence kritickou a velmi zkoumanou oblastí. Tato práce se věnuje využití neuronových sítí pro profilování autorů, konkrétně klasifikaci textu do tří kategorií věku autorů. Pro vytvoření celé řady modelů je využito třech různých neuronových sítí, jmenovitě feedforward (FNN), konvolučních (CNN) a rekurzivních (RNN). Každý z typů má své vlastní přednosti a důvody pro použití. FNN jsou nejuniverzálnější a fungují dobře pro většinu problémů, CNN využívají výběru rysů a RNN se specializují na sekvenční data.Následující výsledky jsou porovnány s výsledky dosaženými využitím jiné metody strojového učení, naivního Bayesova klasifikátoru. Některé modely se uchýlily k hádání, čímž dosáhly až ~70% přesnosti, zatímco jiné se učily, dosahujíc horších výsledků, pouze okolo 50 %. Práce po vykonání mnoha experimentů vyvozuje závěr, že naivní Bayesův klasifikátor je vhodnější pro použitou sadu dat, těsně následován CNN, a vysvětluje důvody, proč tomu tak může být a zároveň popisuje další možnosti výzkumu, jak pomoci neuronové síti překonat minimální přesnost.

Abstract:

Artificial neural networks allow for the modelling of more complex problems, including natural language processing. The ability for computers to read and understand human written text is critical in the age of big data and artificial intelligence, and it is heavily researched. This thesis uses neural networks for author profiling, classifying texts into three author age categories. Three different neural network types are used to create a whole range of models, namely feedforward- (FNN), convolutional- (CNN) and recursive neural networks (RNN). Each of the types has its own strenghts and reasons to be used. FNNs are the most generic and work well for most problems, CNNs use feature extraction and RNNs specialize in sequential data. The subsequent results are then compared with the results achieved using a different machine learning technique, naive Bayes. Some models resorted to guessing, thus reaching accuracies as high as ~70%, whereas others learned, achieving worse results, around 50% only. After many experiments, the work concludes that naive Bayes is better suited for this data set, with CNNs a close second, and provides reasons why this may be so, along with further research options that may help the neural networks beat the baseline accuracy.

Keywords

artificial neural networks, naive bayes, natural language processing, supervised learning, convolutional neural network, recurrent neural network, feedforward neural network, blog authorship, feature extraction, age classification

Language used: English

Date on which the thesis was submitted / produced: 15. 8. 2022

Thesis defence

• Date of defence: 8. 9. 2022
• Supervisor: Ing. Milan Košťák
• Reader: Ing. Karel Mls, Ph.D.

University of Hradec Králové

Faculty of Informatics and Management

Bachelor programme / field:
Aplikovaná informatika / Aplikovaná informatika