Automatické určení domény a klíčových slov stránky

Bc. Jiří Materna, Ph.D.

Master's thesis

Web page classification and keyword extraction

Abstract:

Cílem této práce je navrhnout a otestovat přístup, který umožní automatickou klasifikaci webových stránek do domén a určení klíčových slov stránky. Klasifikace stránek je založena na použití strojového učení. Hlavním problémem je však malý rozsah webových stránek, který užití metod strojového učení znesnadňuje. V práci jsou navrženy dva přístupy, které se snaží tento nedostatek minimalizovat. Prvním z nich je zohledňování širšího kontextu webové stránky, to znamená, že se analyzují i stránky, umístěné ve stejné internetové doméně, které jsou ze zkoumané stránky odkazovány. Druhou metodou je shlukování termů dokumentu na základě jejich podobného gramatického kontextu. Pro tyto účely je vytvořen poměrně rozsáhlý thesaurus a z něho shlukový slovník.

Abstract:

The aim of this master thesis is to design and evaluate a method of automatic web page classification and keyword extraction. The classification is based on the machine learning. However, there are some problems with short web pages in the classification. In this thesis we proposed two approaches to eliminate the lack of information. In the first approach we consider a wider context of the web page. That means to analyze some web pages referenced from the investigated page. The second approach is based on sophisticated clustering of terms by their similar grammatical context. The keyword extraction is done after web page classification. We use information about domain to select appropriate keywords.

Keywords

klasifikace, klíčová slova, strojové učení, klasifikace webových stránek, thesaurus

Language used: Czech

Date on which the thesis was submitted / produced: 23. 5. 2008

Thesis defence

• Date of defence: 1. 7. 2008
• Supervisor: doc. RNDr. Lubomír Popelínský, Ph.D.
• Reader: doc. RNDr. Petr Sojka, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Informatics