Information Extraction from Websites using Extraction Ontologies

Martin Labský

Disertační práce

Extrakce informací z webových stránek pomoci extrakčních ontologií

Anotace:

S rozvojem Internetu a růstem množství textových dokumentů vzrostla během posledního desetiletí poptávka po nástrojích pro automatickou extrakci informací (IE - information extraction). Úkolem IE je nalézt v analyzovaných dokumentech údaje předem specifikovaného sémantického typu a tyto extrahovat pro potřeby dalších aplikací. Analyzovanými dokumenty mohou přitom být webové stránky, e-maily, dokumenty uvnitř firemních informačních systémů, ale i běžné textové zdroje jakými jsou noviny a časopisy. Aplikace, které nejčastěji využívají výsledky IE, zahrnují tradiční textové vyhledávače, které lze pomocí IE rozšířit o tzv. strukturované vyhledávání, dále systémy pro automatické zodpovídání otázek nebo např. aplikace pro podporu posuzování kvality webových stránek. Tato práce se zabývá vývojem metod a nástrojů pro IE, které jsou obzvláště vhodné pro extrakci ze semi-strukturovaných dokumentů, jakými jsou webové stránky, a pro situace kdy existuje málo trénovacích dat. Hlavním přínosem této práce je navržený přístup rozšířených extrakčních ontologií, který v sobě kombinuje využití extrakčních znalostí tří typů: (1) expertem zadané extrakční znalosti, (2) znalosti naučené z trénovacích dat a (3) znalosti indukované na základě opakující se formátovací struktury, která se často ve webových stránkách nachází. Naše hypotéza je, že současné využití všech tří typů znalostí extrakčním algoritmem může přispět k celkové přesnosti a robustnosti extrakce. Motivací pro tuto práci byl malý počet dosud popsaných metod pro IE, které by využívaly všechny zmíněné typy extrakční znalosti. Jako první je v tomto textu popsán statistický trénovaný přístup k IE založený na skrytých markovských modelech, který je dále integrován s několika trénovanými klasifikátory obrázků tak, aby bylo možno extrahovat jak textové položky, tak obrázky. Přístup je demonstrován a hodnocen na úloze extrakce popisů bicyklů nabízených různými internetovými obchody. Popsáno je i několik algoritmů pro klasifikaci obrázků s použitím různých množin rysů pro klasifikaci. Tyto trénované přístupy jsou posléze integrovány v rámci navržené metody rozšířených extrakčních ontologií, navazující na práci D.W. Embleyho, kterou rozšiřuje o současné využití všch tří výše zmíněných typů extrakční znalosti. Zamýšlenými přínosy extrakčních ontologií jsou rychlý vývoj funkčního prototypu, jeho plynulý přechod do finální IE aplikace a možnost využít různá množství tří typů extrační znalosti podle jejich dostupnosti. Protože extrakční ontologie je typicky odvozena z vhodné doménové ontologie a zůstává ve středu extrakčního procesu, minimalizuje tento přístup úsilí nutné pro zpětnou konverzi extrahovaných výsledků pro populaci zdrojové ontologie či datového schématu. Výsledky navrženého přístupu jsou prezentovány pro několik reálných domén.

Abstract:

Automatic information extraction (IE) from various types of text became very popular during the last decade. Owing to information overload, there are many practical applications that can utilize semantically labelled data extracted from textual sources like the Internet, emails, intranet documents and even conventional sources like newspaper and magazines. Applications of IE exist in many areas of computer science: information retrieval systems, question answering or website quality assessment. This work focuses on developing IE methods and tools that are particularly suited to extraction from semi-structured documents such as web pages and to situations where available training data is limited. The main contribution of this thesis is the proposed approach of extended extraction ontologies. It attempts to combine extraction evidence from three distinct sources: (1) manually specified extraction knowledge, (2) existing training data and (3) formatting regularities that are often present in online documents. The underlying hypothesis is that using extraction evidence of all three types by the extraction algorithm can help improve its extraction accuracy and robustness. The motivation for this work has been the lack of described methods and tools that would exploit these extraction evidence types at the same time. This thesis first describes a statistically trained approach to IE based on Hidden Markov Models which integrates with a picture classification algorithm in order to extract product offers from the Internet, including textual items as well as images. This approach is evaluated using a bicycle sale domain. Several methods of image classification using various feature sets are described and evaluated as well. These trained approaches are then integrated in the proposed novel approach of extended extraction ontologies, which builds on top of the work of Embley [21] by exploiting manual, trained and formatting types of extraction evidence at the same time. The intended benefit of using extraction ontologies is a quick development of a functional IE prototype, its smooth transition to deployed IE application and the possibility to leverage the use of each of the three extraction evidence types. Also, since extraction ontologies are typically developed by adapting suitable domain ontologies and the ontology remains in center of the extraction process, the work related to the conversion of extracted results back to a domain ontology or schema is minimized. The described approach is evaluated using several distinct real-world datasets.

Klíčová slova

modelování znalostí, strojové učení, extrakce informací, expertní systémy, ontologie

Keywords

machine learning, ontologies, expert systems, knowledge engineering, information extraction

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 30. 9. 2002

Obhajoba závěrečné práce

• Obhajoba proběhla 11. 6. 2009
• Vedoucí: Petr Berka
• Oponent: Petr Strossa, Peter Vojtáš, Václav Snášel

Vysoká škola ekonomická v Praze

Doktorský studijní program / obor:
Aplikovaná informatika / Informatika