Tvorba textových korpusů z blogů

Bc. Jakub Jančo

Bachelor's thesis

Building text corpora from blogs

Abstract:

When processing and studying natural language is often the need to obtain a large amount of text. The text should contain coherent sentences and thoughts, to form a thought units, the which can be taught by programs and scientists can observe on them historical changes in languages. In order to do things on computers, it is good if text is tagged. Large collection of tagged text is called a corpus. The aim of this work is to create a program that would be able to collect data from data from Internet and specifically from blogging systems, and create from them corpus. The blogs can be assumed that the text does not contains shuffled sentences over one another, but give a comprehensive sense, such as a banner, article and comments belong together. The second aim is the possibility to collect data continuously by restrictive conditions, in this work it is the date of the oldest text to download.

Abstract:

Pri spracovávaní a študovaní prirodzeného jazyka je často potreba získať veľké množstvo textu. Text by mal obsahovať súvislé vety a myšlienky a vytvárať tak myšlienkové celky, na ktorých sa dajú učiť programy a vedci na nich môžu pozorovať historické zmeny v jazyku. Aby sa do tohto procesu mohli zapojiť počítače, je vhodné aby bol text značkovaný. Veľké množsto značkovaného textu pokope sa nazýva aj textový korpus. Cieľom práce je vytvoriť program, ktorý by dokázal zbierať dáta z internetu a to konkrétne z blogovacích systémov a vytvárať z nich textový korpus. V blogoch sa dá predpokladať, že text nie sú len zamiešané vety jedna cez druhú, ale dávajú ucelený zmysel, napríklad titulok, článok a komentáre patria k sebe. Druhým cieľom je možnosť tieto dáta zbierať kontinuálne pomocou obmedzujúcej podmienky, v tejto práci to je dátum, od ktorého prebieha sťahovanie z~webstránky, pričom staršie dáta sa sťahovať nebudú. Výsledná práca sa bude skladať z textovej časti popisujúcej porovnanie s podobnými projektami, analýzu problému, návrh programu a jeho otestovanie a funkčnú implementáciu programu.

Keywords

Korpus, internet, blog, automatická tvorba korpusu, blogovacie systémy, textový korpus, extrakcia dát z blogu, kontinuálny zber dát z blogu

Language used: Slovak

Date on which the thesis was submitted / produced: 7. 1. 2015

Thesis defence

• Date of defence: 4. 2. 2015
• Supervisor: RNDr. Miloš Jakubíček, Ph.D.
• Reader: Mgr. et Mgr. Vít Baisa, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing