Determining Authorship of Anonymous Texts

Mgr. Jan Rygl

Rigorózní práce

Anotace:

Cílem rozpoznávání autorství je na základě analýzy textu dokumentu zjistit skutečného autora dokumentu. Zkoumání metod zjišťování autorství má počátek v 18. století, kdy bylo motivováno zpochybněním autorství významných literárních děl a historických dokumentů. Od té doby se stalo určování autorství důležitou součástí forénzní lingvistiky. V poslední době probíhá v oblasti určování autorství rozsáhlý výzkum a využívá se nejnovějších poznatků ze zpracování přirozeného jazyka a strojového učení. Má práce je zaměřena na vylepšování technik strojového učení používaných při zjišťování autorství a na návrh a implementaci nových charakteristik autora použitelných jako vstupní atributy pro strojového učení: 1. Navrhli jsme a implementovali dvouvrstvé strojové učení. Lidskými experty navržené heuristiky sloužící k extrakci autorských charakteristik jsou nahrazeny další vrstvou strojového učení. 2. Kromě podobnosti autora a zkoumaného dokumentu vzhledem k dané autorské charakteristice používáme i pořadí této podobnosti vůči podobnostem autora s ostatními kandidátními dokumenty. 3. Implementovali jsme konvertování výstupu syntaktického analyzátoru SET na autorskou charakteristiku, kterou jsme následně srovnali s již zavedenou autorskou charakteristikou. Dále se práce věnuje získávání dokumentů z Internetu. Vytváříme korpus českých dokumentů pomocí inteligentních metod monitorování Internetu a stahování dokumentů. Přestože jsou algoritmy optimalizovány pro český jazyk, většina nových poznatků je použitelná s malými úpravami i pro další jazyky.

Abstract:

In the authorship recognition task, texts are analysed to determine who is their real author. Disputed authorships of historical documents and literary works have been explored by many research studies since the 18th century and an authorship attribution of anonymous documents has played an important role in many criminal investigations. Over the past few years, authorship recognition techniques have been developed significantly, taking advantage of research advances in natural language processing and machine learning (ML). The work is aimed at improving the ML approach and developing new authors' characteristics usable as attributes for ML: 1. A two-layer ML technique is proposed. Heuristic algorithms for generating attribute values for ML are replaced by the first layer of ML. 2. We replace similarities between an author and a document (according to the authors' characteristics) with the author's positions in rankings (generated from these similarities). 3. A syntactic authors' characteristic is implemented and evaluated. The method is based on the syntactic analyser SET. We not only focus on the authorship recognition task but also the process of collecting documents from the Internet. Intelligent methods of web monitoring and crawling are explored and utilized to build a corpus of Czech documents. We are interested mainly in processing Czech but most of the proposed techniques are relevant for other languages as well.

Keywords

určování autorství, authorship recognition, strojové učení, machine learning, stylometrie, stylometry

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 29. 3. 2013

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 5. 2013
• Oponent: prof. Ing. Karel Ježek, CSc., Mgr. et Mgr. Tatiana Tkačuková, Ph.D., Prof. Dr. Walter Daelemans

Masarykova univerzita

Fakulta informatiky

Rigorózní řízení / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka