Part-of-Speech Tagging Using Neural Networks

Bc. et Bc. Martin Frodl

Master's thesis

Abstract:

Značkování slovních druhů, tj. proces přiřazování značek slovních druhů jednotlivým slovům ve větách, má značné množství aplikací v oblasti zpracování přirozeného jazyka. Představuje důležitý mezikrok v dalších úlohách, jakými je např. syntaktická analýza nebo strojový překlad. Neuronové sítě představují jeden z méně typických přístupů ke značková\-ní slovních druhů a bývají v učebnicích nezřídka opomíjeny. V této práci předkládáme základní přehled některých význačných pokusů, které byly v oblasti značkování slovních druhů neuronovými sítěmi učiněny. Na jejich základě pak navrhujeme vlastní tagger založený na analogických principech. Tagger disponuje dvěma učicími metodami, mezi nimiž lze volit. První metoda využívá sadu rekurentních vícevrstvých sítí, které se učí nejpravděpodobnější značky na základě podmíněných lexikálních pravděpodobností vztahujících se ke slovům a značkám v kontextovém okně. Druhá metoda převádí slova na rysové vektory v mnohadimenzionálním prostoru; v tom jsou pak s využitím perceptronů hledány nadroviny oddělující vektory příslušející ke konkrétním značce od ostatních. Pro srovnání výkonnosti je k dispozici také třetí, statistická metoda. Při trénování taggeru na prvních 999 998 slovech Brownova korpusu a vyhodnocení na zbývající části bylo první metodou dosaženo nejlepší přesnosti 94.93 %. Výsledky pro druhou metodu byly pro tři nejmenší testovací sady výrazně lepší oproti metodě první, vzhledem k dlouhým časům běhu však nebylo možné přesnost pro největší trénovací sadu. Obě metody dosáhly lepších výsledků než metoda třetí.

Abstract:

Part-of-speech tagging, the process of assigning parts of speech to words in sentences, has a vast field of applications in natural language processing. It constitutes an important intermediate step in other tasks such as syntactic analysis or machine translation. Out of the methods that have been employed in solving this problem, neural networks belong to the rather non-typical ones, being often neglected in textbooks. In this work we provide an overview on some notable attempts that have been made in part-of-speech tagging with neural networks. Based on these, we also propose our own tagger based on similar principles. The tagger provides two rather different training methods that can be chosen freely. The first method employs a set of recurrent multilayer perceptron networks which learn the most likely tags from the word-to-tag probabilities of the words within a context. The second method converts words into feature vectors in a multidimensional space; subsequently, the hyperplanes separating the data in one class from the other ones are searched for using perceptrons. An additional statistical method is available as a baseline to compare the performance. Training on the first 999,998 words in the Brown corpus and evaluating on the rest, the best accuracy was 94.93%, achieved by the first method. The second method was significantly more successful for smaller training sets, nevertheless, long training times prevented us from determining the accuracy for the largest set. Both methods did systematically better than the baseline.

Keywords

part of speech, part-of-speech tagging, tagger, neural network, neuron, perceptron, MLP, slovní druhy, značkování slovních druhů, neuronové sítě

Language used: English

Date on which the thesis was submitted / produced: 7. 1. 2014

Thesis defence

• Date of defence: 10. 2. 2014
• Supervisor: doc. Mgr. Pavel Rychlý, Ph.D.
• Reader: RNDr. Pavel Šmerk, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Artificial Intelligence and Natural Language Processing