Určování autorství anonymních textů na základě automaticky nalezených charakteristických znaků

Bc. Jan Rygl

Diplomová práce

Determining Authorship of Anonymous Texts Based on Automatically Discovered Characteristic Features

Anotace:

V práci vycházíme z řady osvědčených postupů pro určování autorství anonymních dokumentů a vytváříme nové. Již existující a používané techniky kombinujeme, optimalizujeme a inovujeme pro tři hlavní úlohy: Automatické přiřazení autora podle dané množiny autorských dokumentů, Verifikace autorství daného dokumentu vybraným autorem, Shlukování dokumentů podle autorství. Námi implementované algoritmy jsou testovány na češtině, systém je však navržen modulárně a pokud vypustíme či nahradíme několik jazykově závislých komponent, lze v tuto chvíli pracovat s dokumenty napsanými v libovolném jazyce. Vše je naprogramováno ve skriptovacím jazyce Python. Součástí systému jsou i nástroje pro předzpracování vstupních dat pro češtinu a jejich správu v databázi PostgreSQL. Dalším přínosem práce kromě vývoje systému pro řešení tří zmíněných úloh jsou empiricky podložená pozorování, jak se chovají nejpoužívanější algoritmy na určování autorství dokumentů na dokumentech v češtině. Dosud se většina měření prováděla na anglicky psaných textech (knihy, novinové články, zřídka e-maily) a chyběla možnost srovnání při vývoji aplikací pro češtinu a jí podobné jazyky.

Abstract:

The work is based on the most successful methods for determining authorship of anonymous documents. We combine, optimize and revise these methods and create new techniques for three main tasks: Automatic assignment of the authorship with the given set of documents, Verification of the authorship of the document by selected author, Clustering of documents according to their authorships. Our implemented algorithms are tested on the Czech documents, but system is modular and if we remove or replace some language-dependent components, we can process documents written in any language. Everything is coded in the Python. The system contains tools for preprocessing of Czech data and for management of stored documents in the PostgreSQL database. The thesis also makes empirical observations of performance of the most popular methods for determining authorship of Czech documents. Most measurements were performed on English texts (books, newspaper articles, rarely e-mails) and until now the statistics for Czech data were missing.

Klíčová slova

anonymní dokument, charakteristický rys autora, přiřazování autorství, shlukování podle autorství, SVM, strojové učení

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 26. 5. 2011

Obhajoba závěrečné práce

• Obhajoba proběhla 30. 6. 2011
• Vedoucí: doc. RNDr. Aleš Horák, Ph.D.
• Oponent: doc. Mgr. Pavel Rychlý, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka