Návrh a implementace modelu pro distribuované dolování dat z veřejných rejstříků.

Bc. Tomáš DAVID

Master's thesis

Design and implementation of a model for distributed data mining from public registers

Abstract:

Tato diplomová práce je zaměřena na distribuované dolování dat z veřejných databází. Součástí této práce je tvorba programu, který zadala KSG PřF OU. Účelem tohoto programu je automatizované dolování dat z databázi ARES a RES a následné uložení dat do databáze programu, aby je bylo možné exportovat do csv souborů a použít je k dalšímu výzkumu a studiu. Na začátku práce je úvod, který následuje zadání zákazníka. V další části je popsán datový formát odpovědí těchto databází. Následuje případ užití programu a metodika vývoje. Poté jsou popsány chyby, které byly odhaleny během vývoje. Dále následuje model technického řešení, kde je vysvětleno, jak program funguje. V této části je vysvětleno, jak program pracuje distribuovaně a jakým způsobem je kontrolován vstup. Následují kapitoly vysvětlující HTTP požadavky a databázi MongoDB. Další částí práce je demonstrace programu. Další kapitola popisuje způsob testování. Poslední část práce obsahuje komentář zákazníka.

Abstract:

This master's thesis is about distributed data mining from public databases. A program ordered by KSG PřF OU was developed as a part of this thesis. The point of the program is automated mining of data from the ARES and RES databases and saving the data to the database of the program so that it can be exported as csv files and used for further studies. The thesis starts with an introduction, followed by the customer's requests. The next part describes the format of the response of those databases. This part is followed by the Use Case of the program and the explanation of the development method. Then bugs encountered during development were explained. The technical explanation follows and explains how the program works. How the program is distributed is explained, as well as the input checking. The next chapters explain HTTP requests and the MongoDB database. The next part of the thesis is the program demonstration. The next chapter is about the method of testing. The last part is a commentary of the customer.

Keywords

distribuovaný systém, databáze, HTTP, MongoDB, ARES, RES

Language used: Czech

Date on which the thesis was submitted / produced: 20. 4. 2021

Accessible from:: 31. 12. 2999

Thesis defence

• Date of defence: 16. 6. 2021
• Supervisor: Ing. Pavel Smolka, Ph.D.

University of Ostrava

Faculty of Science

Master programme / field:
Information Science / Information Systems