Implementace nástroje pro analýzu dat z Registru smluv

Zdeněk Tomka

Master's thesis

Tool implementation for data analysis from the Registry of Contracts

Abstract:

Tato diplomová práce se zabývá tématem vytěžování a analýzy dat z Registru smluv, v němž jsou obsaženy miliony záznamů. Díky tomu je Registr smluv zdrojem obsahujícím velké množství zajímavých dat z oblasti veřejných zakázek. Na samém počátku zpracování této práce bylo třeba si položit otázku, jak tyto objemy dat zpracovat. Obdobnou tématikou se zabýval kolektiv autorů z Vysoké školy ekonomické v Praze, kteří vytvořili Přehled obvyklých cen ICT prací pro Ministerstvo vnitra České republiky. Jednalo se však o smluvní výzkum, který nebyl zadavatelem zveřejněn. K dispozici jsou tedy pouze fragmenty výzkumu v podobě odborných článků a kvalifikačních prací. Snahou autora této práce je tak poskytnout otevřené a snadno nasaditelné řešení, které budou moci další autoři využívat, navazovat na něho a případně jej dále rozšiřovat. Na základě těchto skutečností a posbíraných poznatků byl definován cíl této diplomové práce. Hlavním cílem této práce je vyvinout a zveřejnit open-source systém pro automatizovanou těžbu dat z Registru smluv a dalších vybraných zdrojů a následně jej aplikovat na příkladu zpracování vytěžených dat v kontextu řízení ICT projektů. Jako metoda dosažení cíle, respektive jeho první části věnující se vývoji systému pro automatizovanou těžbu dat, byl vybrán přístup vývoje vycházející z vodopádového modelu. Kapitoly v této práci tak čtenáře provázejí analýzou, návrhem, implementací a testováním. Testování výsledného řešení je provedeno formou použití systému na praktickém příkladu, což naplňuje druhou část cíle. Výsledkem práce je funkční systém schopný vytěžovat data z Registru smluv a poskytovat jeho uživateli prostředí k provádění datové analýzy. Zdrojové kódy výsledné implementace, využívající technologií Docker, Python, MySQL a Elasticstack, jsou volně dostupné na internetu. Další výsledky práce pak přináší použití systému na praktickém příkladu, v rámci něhož vznikly analytické výstupy, které čtenářovi poskytují nové informace z oblasti řízení ICT projektů, které byly získány analýzou textů smluv veřejných zakázek.

Abstract:

This thesis deals with the subject of data extraction and analysis from the Registry of Contracts, which contains millions of records. This makes the Registry of Contracts a source containing a large amount of interesting procurement data. At the very beginning of this work, it was necessary to ask how to process these volumes of data. A similar subject was addressed by a collective of authors from the Prague University of Economics and Business, who created an Overview of Usual ICT Work Prices for the Ministry of the Interior of the Czech Republic. However, this was contract research which was not published by the contracting authority. Thus, only fragments of the research in the form of scholarly articles and theses are available. The author of this work strives to provide an open and easy-to-deploy solution to another authors, who will be able to use it, follow up on the work and possibly improve it. On the basis of these facts and the knowledge gathered, the aim of this thesis was defined. The main objective of the thesis is to develop and publish an open-source system for the automated data extraction from the Registry of Contracts and other selected sources and then apply it to the example of extracted data processing in the context of ICT project management. A development approach based on a waterfall model was chosen as the method of achieving the first part of the objective which is to develop the data mining system. Chapters in this work guide the reader through analysis, design, implementation, and testing. The testing of the resulting solution is done by applying the system to a practical example, which fulfils the second part of the objective. The work results in a functional system capable of extracting data from the Registry of Contracts and providing its user with an environment to perform data analysis. Final implementation source codes, using Docker, Python, MySQL and Elasticstack technologies, are freely available on the Internet. The application of the system to a practical example, which produced analytical outputs that provide readers with new information from the management of ICT projects, obtained by analysing the texts of public procurement contracts, yields further results.

Keywords

ETL, otevřená data, analýza dat, Registr smluv

Keywords

data analysis, ETL, open data, Registry of Contracts

Language used: Czech

Date on which the thesis was submitted / produced: 5. 12. 2021

Thesis defence

• Date of defence: 28. 1. 2022
• Supervisor: Dušan Chlapek
• Reader: Tomáš Bruckner

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie