Automatizované zpracování hydrogeologických dat

Daniel Kendík

Bakalářská práce

Automation of groundwater data processing

Anotace:

Tato práce popisuje postup při tvorbě návrhu reportu a transformací, které zajistí zpracování dat o hydrogeologických vrtech z formátu XML a v požadovaném formátu tato data zapíše do SQL databáze. Následně dojde k vytvoření a zaslání reportu uživateli prostřednictvím emailem. První část práce popisuje použité prostředky, zdrojová data a výstupní formát. Následuje popis samotné realizace transformací dat, které byly vytvořeny v nástroji Pentaho Data Integration. Dále popisuji tvorbu definice reportu vytvořeného v Pentaho Report Designer a také vlastní implementaci převedení dat z XML souborů do výstupních CSV souborů pro zápis do databáze pomocí programovacího jazyka Python. Nakonec je zhodnoceno použití zvolených nástrojů, jejich přednosti a nedostatky, a zejména je srovnávána tvorba transformací dat pomocí Pentaho Data Integration s vlastní implementací v Pythonu.

Abstract:

This work describes the procedure of making transformations that will ensure processing data about hydrogeological wells from the XML format and insert them into SQL database in required format. Subsequently, will be create a report and send to the user via an email. The first part of work describes the used resources, the source data and the output format. This is followed by the description of data transformations implementation that was made in Pentaho Data Integration tool, definition of report created in Pentaho Report Designer and also description of my own implementation of data transformation from XML files to CSV output format for inserting to database by programming language Python. In the last part of work is evaluation of used tool, its advantages and weaknesses. In particular, it compares the creation of a transformation in Pentaho with my own Python implementation.

Klíčová slova

datové transformace, ETL, Kettle, Pentaho Data Integration, Pentaho Report Designer, XML, Python

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 15. 5. 2017

Obhajoba závěrečné práce

• Obhajoba proběhla 14. 6. 2017
• Vedoucí: Mgr. Kamil Nešetřil, Ph.D.

Technická univerzita v Liberci

Fakulta mechatroniky, informatiky a mezioborových studií

Bakalářský studijní program / obor:
Informační technologie / Informační technologie