Extending a Data Platform with Data from the Information System for Research, Development, and Innovation

Bc. Samuel Hudák

Bachelor's thesis

Anotácia:

Informačný systém výskumu, vývoja a inovácií (IS VaVaI) je ústredným verejným registrom projektov, výsledkov, programov, súťaží a organizácií výskumu a vývoja v Českej republike. Hoci systém poskytuje štruktúrované dáta prostredníctvom verejného rozhrania API, jeho heterogénna štruktúra registrov, vnorené záznamy, doménovo špecifické číselníky a premenlivá kvalita metadát sťažujú jeho systematické analytické využitie. Údaje z IS VaVaI zároveň neboli dostupné na Informačnej a dátovej platforme (IDP), čo analytikom bránilo dopytovať sa na dáta z oblasti výskumu a vývoja spoločne s inými inštitucionálnymi dátovými sadami. Táto práca navrhuje a implementuje rozšírenie platformy IDP, ktoré integruje dáta z IS VaVaI do relačného analytického dátového skladu. Práca analyzuje hlavné registre IS VaVaI, navrhuje rozšírenia normalizovanej schémy pokrývajúce kľúčové entity a ich vzťahy a implementuje ETL pipeline v jazyku Python s inkrementálnym načítavaním, detekciou zmien založenou na hašovaní, verzovaním typu SCD-2, spracovaním opakovaných pokusov a sledovateľnosťou (observability). Riešenie je nasadené v kontajnerizovanom prostredí Kubernetes a doplnené o dashboard v nástroji Streamlit na interaktívny analytický prieskum integrovaných dát. Implementovaná pipeline bola overená automatizovanými testami pokrývajúcimi parsovanie, stránkovanie, konverziu typov, správanie verzovania, orchestráciu synchronizácie a pomocné funkcie pre dopyty v dashboarde. Úplná synchronizácia naplnila dátový sklad viac ako 62 000 záznamami o projektoch CEP, viac ako dvoma miliónmi záznamov o výsledkoch RIV a viac ako ôsmimi miliónmi riadkov tvorcov výsledkov. Výsledné analýzy ukazujú, že integrovaný dátový sklad umožňuje reprodukovateľný prieskum dát o výskume a vývoji a odhaľuje silnú koncentráciu poskytovateľov, štruktúru výskumných výstupov orientovanú na publikácie, významnú účasť veľkých univerzít a odlišné vzorce kompletnosti metadát naprieč registrami.

Abstract:

The Information System for Research, Development, and Innovation (IS VaVaI) is the Czech Republic's central public registry of research and development projects, results, programmes, competitions, and organizations. Although the system provides structured data through a public API, its heterogeneous register structure, nested records, domain-specific codebooks, and varying metadata quality make systematic analytical use difficult. At the same time, IS VaVaI data was unavailable on the Information and Data Platform (IDP), preventing analysts from querying Czech R&D data together with other institutional datasets. This thesis designs and implements an extension of the IDP that integrates IS VaVaI data into a relational analytical warehouse. The work analyzes the main IS VaVaI registers, proposes normalized schema extensions covering the core entities and their relationships, and implements a Python ETL pipeline with incremental loading, hash-based change detection, SCD-2 versioning, batching, retry handling, and observability. The solution is deployed in a containerized Kubernetes environment and complemented by a Streamlit dashboard for interactive analytical exploration of the integrated data. The implemented pipeline was verified by automated tests covering parsing, pagination, type conversion, versioning behavior, synchronization orchestration, and dashboard query helpers. A full synchronization populated the warehouse with more than 62,000 CEP project records, more than two million RIV result records, and more than eight million result creator rows. The resulting analyses demonstrate that the integrated warehouse enables reproducible exploration of Czech R&D data and reveals strong provider concentration, publication-oriented research output composition, prominent participation by large universities, and differing metadata completeness patterns across registers.

Keywords

IS VaVaI, research and development data, data warehouse, ETL pipeline, Information and Data Platform, Czech RDI, Python, PostgreSQL, Streamlit, data integration, analytical dashboard

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 21. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2026
• Vedúci: RNDr. Jaroslav Ráček, Ph.D.
• Oponent: Mgr. Zuzana Hruška

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Programming and development / Programming and development