Integrace a automatizace systémů v pracovních procesech projektu WebArchiv

Bc. Adam Brokeš

Master's thesis

System integration and automation in WebArchive workflows

Anotácia:

Cílem práce je dokumentace a zefektivnění procesů v rámci projektu WebArchiv. Součástí práce je popis stavu současného řešení archivace webového obsahu. V práci jsou rozpracovány přístupy několika světových institucí, které jsou dlouhodobými aktivními hráči v oboru archivace webu. Práce obsahuje aktuální analýzu projektu WebArchiv, která zahrnuje historii a současnost archivu, popis použitých nástrojů, dokumentaci a diagramy jednotlivých probíhajících procesů. V práci je uveden přehled způsobů akvizice dat, spolu se specifiky a dopady na budoucí vývoj. Na základě analýzy procesů je vytvořena specifikace, podle které je navržena aplikace usnadňující správu existujících dat v projektu a zároveň automatizující ručně prováděné úkony. Aplikace je realizována ve webovém frameworku Grails a je rozložena do jednotlivých komponent - modely, řadiče a pohledy - spolu s podpůrnými třídami zajišťujícími? další služby, jako napojení na WA Admin a extrakci odkazů z dynamicky generovaných stránek. Cílem práce bylo zároveň vytvoření "manuálu", který by mohl případného zájemce o obor uvést do technických specifik archivace webu v České republice.

Abstract:

Aim of the thesis is to document processes in the project WebArchiv and make them more efficient. Part of the work is description state of art in web archiving in present. In the thesis is detailed description of few key players approaches to web archiving. Work contains actual analysis of project WebArchiv, which covers history and nowadays content of archive, delineation of used tools, documentation and diagrams particular ongoing processes. The work includes overview of acquisition possibilities with specifics and impacts to future development. Based on process analysis is further in the work created specification, which is used for design an application helping management of selected existing data in the project and automate manual operations. Application is implemented in web framework Grails and has separated layers - models, views and controllers - along with supporting classes securing other services (connection to WA Admin and link extraction from dynamically generated web pages). Goal of the work was at the same time creation of “manual”, which could help interested person providing background technical information about web archiving in the Czech Republic.

Kľúčové slová

WebArchiv, archivace webu, Grails, webová aplikace, Heritrix, Internet, webarchiving, web application, sklízecí robot, crawler, WA Harvester, WA Admin

Jazyk práce: Czech

Datum vytvoření / odevzdání či podání práce: 10. 1. 2011

Obhajoba závěrečné práce

• Obhajoba proběhla 10. 2. 2011
• Vedúci: RNDr. Miroslav Bartošek, CSc.
• Oponent: Ing. Libor Coufal

Masaryk University

Faculty of Informatics

Master programme / odbor:
Informatics / Information Systems