Optimalizace publikace datových sad na portále Open Data

Bc. Tomáš Hrnčiar

Master's thesis

Optimalization of data sets publication on Open Data portal

Abstract:

Open data constantly produced by cities are thought to belong to the taxpayers as well as to the city itself, therefore there is a need for easy accessibility for all. This trend is supported by the state government as well as the European Union. The issue is, the data that are supposed to be published are often not integrated enough. Different departments and workers are in charge of different datasets. Employees who work with raw data can lack needed technical expertise and have little time for this, on top of their normal workload. That can give rise to mistakes and later deliverance of open data to people. The goal of this diploma thesis was to automate the process of open data publishing. Automation was performed by developing scripts that ensure the whole process of data publishing. Different algorithms were used for different datasets. Raw data were processed to erase all sensitive information that would prevent lawful publishing. Moreover, the form of data was adjusted to fit national recommendations. The developed scripts start up automatically in defined intervals and provide input into portal CKAN. In collaboration with city Žďár nad Sázavou we were able to automate the publishing of three selected city datasets, including publishing all accessible data from the past. In conclusion, we compared the estimated overall costs of manual data publishing to automatic publishing by developing a script and presented future visions.

Abstract:

Otvorené dáta, ktoré vznikajú v rámci miest, sú majetkom občanova preto je žiaduce, aby boli dostupné pre verejnosť. Tento trend je podporovaný na úrovni štátu aj Európskej Únie. Avšak pri zverejňovanídát, ktoré sú určené na publikovanie, je problémom ich fragmentácia. Rôzne dáta spadajú pod rôzne oddelenia a zamestnancov. Z toho vyplýva závislosť od jednotlivcov a teda aj chybovosť, nedôslednosť, prípadne neaktuálnosť. Zamestnanci častokrát nemajú potrebné technické skúsenosti a je to niečo nad rámec ich bežnej pracovnej činnosti. Cieľom práce bolo automatizovať proces zverejňovania dátových sád. Automatizácia bola riešená pomocou skriptov, ktoré zabezpečujú celý proces zverejňovania dát. Vytvorenie rôznych algoritmov bolo navrhnuté pre použiteľnosť v rôznych dátových sadách. Získané dáta sú spracovávané tak, aby sa z nich odstránili všetky citlivé dáta, ktoré by mohli brániť ich publikovaniu. Navyše sú dáta upravované podľa odporúčaní Ministerstva vnútra Českej republiky. Boli vytvorené skripty,ktoré sa podľa nastavených pravidiel spúšťajú automaticky na serveri a zabezpečujú vkladanie a aktualizovanie do portálu CKAN. V spolupráci s mestom Žďár nad Sázavou sa podarilo zautomatizovať zverejňovanie troch vybraných dátových sád vrátane zverejnenia dostupných dát z minulosti. Záverom bol vyhodnotený rozdiel nákladov pri automatickom zverejňovaní dát oproti manuálnemu nahrávaniu.

Keywords

Smart City, otvorené dáta, verejná správa, CKAN, automatická aktu-alizácia dát

Language used: Slovak

Date on which the thesis was submitted / produced: 20. 7. 2020

Thesis defence

• Date of defence: 16. 9. 2020
• Supervisor: Ing. Leonard Walletzký, Ph.D.
• Reader: doc. Ing. RNDr. Barbora Bühnová, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Service Science, Management and Engineering