Koncept Data Lakehouse pro zpracování medicínských dat

Bc. Lukáš MOUČKA

Master's thesis

Data Lakehouse concept for medical data processing

Abstract:

Diplomová práce se zabývá problematikou nového typu úložiště Data Lakehouse, které je koncipováno pro ukládání heterogenních dat. V teoretické části je zmíněna evoluce jednotlivých typů úložišť a zevrubně je popisuje. Hlavním cílem je ukládat medicínské záznamy do tohoto typu úložiště a následně s nimi pracovat. Toto aktuálně řeší MRE platforma, která je vyvíjena a provozována na FAV ZČU. Pro ověření vhodnosti úložiště pro oblast medicínských dat byla vyvinuta aplikace, která implementuje úložiště Data Lakehouse za pomocí open-source projektu Delta Lake. První část aplikace tvoří administrace, která poskytuje kompletní správu uživatelů a obsahuje sekce zajišťující správu úložiště. Druhou část tvoří úložiště a skrze REST API poskytuje veškeré funkce pro jeho správu. Výsledné testování aplikace ukazuje vhodnost použití úložiště pro medicínská data. Na základě testování jsou popsány i náměty pro případná zlepšení a rozšíření stávající práce.

Abstract:

The master thesis deals with a new type of Data Lakehouse, which is designed for heterogeneous data storage. In the theoretical part, it deals with the evolution of different types of storage and describes them in detail. The main goal is to store medical records in this type of storage and then work with them. This is currently solved by the MRE platform, which is developed and operated at the FAV ZČU. To verify the suitability of the storage for the medical data area, an application was developed that implements the Data Lakehouse using the open-source Delta Lake project. The first part of the application consists of the administration, which provides complete user management and contains sections to ensure the management of the repository. The second part consists of the storage and provides all the functionality for its management through a REST API. The final testing of the application shows the suitability of using the storage for medical data. Based on the testing, suggestions for possible improvements and extensions to existing work are also described.

Keywords

medicínská data, koncept úložiště, Data Lakehouse, Delta Lake, MRE platforma, DASTA, RES-Q, DICOM, HL7, ETL, ELT, FAIR data

Language used: Czech

Date on which the thesis was submitted / produced: 18. 5. 2023

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Doc. Dr. Ing. Jana Klečková

University of West Bohemia

Faculty of Applied Sciences

Master programme / field:
Computer Science and Engineering / Information Systems