Design and Implementation of Unified Data Warehouse for Smart City Applications

Ilkin Sadigzade

Diplomová práce

Anotace:

České obce čelí problémům s přístupem k datům o inteligentních městech, která jsou roztříštěna na několika nezávislých platformách s nekonzistentními formáty a omezenou interoperabilitou. Tato práce popisuje návrh a implementaci jednotného datového skladu, který konsoliduje šest českých zdrojů dat o inteligentních městech (Strategy Database, Good Practice Database, Finance Database, Obce PRO, Smart City Compass a SmartDash) do jediné analytické platformy přístupné prostřednictvím REST API. Sklad integruje 9 335 823 záznamů pomocí kontejnerizovaných Python ETL pipeline nasazených jako Kubernetes CronJobs na infrastruktuře CERIT-SC. Strukturovaná data jsou uložena v PostgreSQL, zatímco nestrukturované dokumenty jsou spravovány v objektovém úložišti MinIO. Aplikace FastAPI zpřístupňuje 26 REST koncových bodů podporujících stránkování, filtrování a časové dotazy. Automatická noční synchronizace udržuje sklad aktuální, přičemž provozní monitorování zajišťují Prometheus a Grafana. Implementace řeší praktické integrační výzvy, včetně nekonzistentních identifikátorů obcí, konfliktních tematických taxonomií a fragmentovaných časových reprezentací, prostřednictvím jednotného dimenzionálního modelu s časovým verzováním. Výsledná platforma umožňuje obcím a výzkumným pracovníkům provádět analýzy napříč zdroji, které byly dříve neproveditelné, když data zůstávala izolovaná, jako je korelace finančních příležitostí se strategickými cíli nebo sledování vzorců přijetí v různých regionech. Tato práce dokazuje, že open-source technologie v kombinaci s akademickou infrastrukturou mohou poskytovat udržitelné datové platformy pro veřejný sektor bez komerčních licenčních nákladů, což vytváří základ pro vývoj politiky založené na důkazech v českých obcích.

Abstract:

Czech municipalities face challenges accessing Smart City data scattered across multiple independent platforms with inconsistent formats and limited interoperability. This thesis describes the design and implementation of a unified data warehouse that consolidates six Czech Smart City sources (Strategy Database, Good Practice Database, Finance Database, Obce PRO, Smart City Compass, and SmartDash) into a single analytical platform accessible through a REST API. The warehouse integrates 9,335,823 records using containerised Python ETL pipelines deployed as Kubernetes CronJobs on CERIT-SC infrastructure. Structured data is stored in PostgreSQL, while unstructured documents are managed in MinIO object storage. A FastAPI application exposes 26 REST endpoints supporting pagination, filtering, and temporal queries. Automated nightly synchronisation keeps the warehouse current, with operational monitoring provided by Prometheus and Grafana. The implementation addresses practical integration challenges including inconsistent municipality identifiers, conflicting thematic taxonomies, and fragmented temporal representations through a unified dimensional model with temporal versioning. The resulting platform enables municipalities and researchers to perform cross-source analyses previously impractical when data remained isolated, such as correlating funding opportunities with strategic goals or tracking adoption patterns across regions. The work demonstrates that open-source technologies combined with academic infrastructure can deliver maintainable public-sector data platforms without commercial licensing costs, providing a foundation for evidence-based policy development in Czech municipalities.

Keywords

Smart Cities, municipal data, data warehouse, ETL, data integration, public sector, decision support

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 30. 1. 2026
• Vedoucí: doc. RNDr. Vlastislav Dohnal, Ph.D.
• Oponent: RNDr. Jaroslav Ráček, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Software Systems and Services Management / Smart Service Design and Systems Thinking