Automatické určení domény a klíčových slov stránky

Bc. Jiří Materna, Ph.D.

Diplomová práce

Web page classification and keyword extraction

Anotace:

Cílem této práce je navrhnout a otestovat přístup, který umožní automatickou klasifikaci webových stránek do domén a určení klíčových slov stránky. Klasifikace stránek je založena na použití strojového učení. Hlavním problémem je však malý rozsah webových stránek, který užití metod strojového učení znesnadňuje. V práci jsou navrženy dva přístupy, které se snaží tento nedostatek minimalizovat. Prvním z nich je zohledňování širšího kontextu webové stránky, to znamená, že se analyzují i stránky, umístěné ve stejné internetové doméně, které jsou ze zkoumané stránky odkazovány. Druhou metodou je shlukování termů dokumentu na základě jejich podobného gramatického kontextu. Pro tyto účely je vytvořen poměrně rozsáhlý thesaurus a z něho shlukový slovník.

Abstract:

The aim of this master thesis is to design and evaluate a method of automatic web page classification and keyword extraction. The classification is based on the machine learning. However, there are some problems with short web pages in the classification. In this thesis we proposed two approaches to eliminate the lack of information. In the first approach we consider a wider context of the web page. That means to analyze some web pages referenced from the investigated page. The second approach is based on sophisticated clustering of terms by their similar grammatical context. The keyword extraction is done after web page classification. We use information about domain to select appropriate keywords.

Klíčová slova

klasifikace, klíčová slova, strojové učení, klasifikace webových stránek, thesaurus

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 23. 5. 2008

Obhajoba závěrečné práce

• Obhajoba proběhla 1. 7. 2008
• Vedoucí: doc. RNDr. Lubomír Popelínský, Ph.D.
• Oponent: doc. RNDr. Petr Sojka, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Informatika / Informatika