Automatická identifikace webových stránek příslušejících k národnímu webu

Bc. Ivan Vlček

Master's thesis

Automatic identification of web pages belonging to a national web

Abstract:

Cieľom diplomovej práce je pokračovať vo vývoji prvej verzie systému WebAnalyzer, ktorý dokáže identifikovať a archivovať český web mimo národnú doménu. Práca musí zhrnúť výsledky predchádzajúcej verzie a popísať návrh na nový projekt v súlade so štandardnými procesmi projektového manažmentu. Práca musí obsahovať oficiálne zadanie projektu, detailný popis požiadavkov, predbežný projektový plán s hlavnými mílnikami, identifikované riziká a výčet nevyhnutných zdrojov na úspešné dokončenie projektu. Časový odhad projektového plánu musí byť založený na analýze jednotlivých požiadavkov, ktorá bude súčasťou práce. Samotný systém má byť vylepšený vo viacerých smeroch ako napríklad užívateľské rozhranie spĺňajúce štandardy systému Heritrix, zmeny v architektúre systému tak aby bolo možné identifikovať nielen český web ale aj národné webové informačné zdroje iných krajín, reportovací nástroj, ktorý dokáže generovať štatistiky analýz vo vizuálnej forme a v neposlednej rade bude systém rozšírený o nové kritéria použité počas analýzy webových stránok. Keďže väčšina národných knižníc a iných inštitúcií používa Heritrix 1.14, je nevyhnutné integrovať WebAnalyzer do tejto verzie a rovnako aj do novej verzie Heritrix 3, ktorá bola vydaná v decembri 2009 a je značne odlišná od predchádzajúcich verzií.

Abstract:

The goal of the thesis is to continue work on the first version of WebAnalyzer, a system for identifying and archiving the Czech Web outside the national domain. Thesis must summarize results from the previous version of the system and include the proposal for new project that complies with standards of project management methodology. Thesis must further include project charter, detailed description of requirements, preliminary project plan with main milestones, identified risks and list of required resources needed to successfully deliver the project. Time estimation in project plan must be based on the analysis of particular requirements that must be part of the thesis. The system itself will be improved in several ways such as a user-friendly interface that complies with the Heritrix standards, architectural changes so that the system can be used to identify not only Czech Web but also the national Web spaces of other nations, a reporting tool that can generate statistics of analyses in a visualized form and, last but not least, enhancement of criteria that are used to analyze the web pages. Since the vast majority of National Libraries and other organizations are using Heritrix 1.14 it is crucial to integrate WebAnalyzer into this version as well as into a new Heritrix 3 that was released in December 2009 and is significantly different from previous versions.

Keywords

identification of national web, Heritrix, WebAnalyzer, web crawling, web analysis

Language used: English

Date on which the thesis was submitted / produced: 4. 6. 2010

Thesis defence

• Date of defence: 29. 6. 2010
• Supervisor: Ing. Petr Žabička
• Reader: Ing. Libor Coufal

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Service Science, Management and Engineering