Application of Common Provenance Model for MLFlow

Bc. Vojtěch Jurka

Master's thesis

Abstract:

Provenience je definována jako termín odkazující na dokumentovanou historii původu, vlastnictví a přenosu objektu nebo informace. Tyto informace mohou být reprezentovány strukturovaným datovým modelem a tyto datové modely mohou být propojeny a vytvořit tak řetězec informací o provenienci. Tato diplomová práce popisuje návrh a implementaci nástroje pro automatickou generaci provenience pro výpočetní proces strojového učení uložený v MLflow. Tento výpočetní proces je použit v digitální patologii, kde je trénován model strojového učení pro detekci karcinomových buněk ve snímcích lidské prostaty. Řešení je implementováno jako modulární a rozšiřitelná kódová základna v jazyce Java, která je začleněna do aplikace demonstrující její použití.

Abstract:

Provenance is defined as a term referring to the documented history of origin, ownership, and transfer of an object or piece of information. This information can be represented by a structured data model, and these data models can be connected to form a chain of provenance information. This thesis describes the design and implementation of an automatic provenance generation tool for a machine-learning pipeline stored in MLflow. The pipeline is applied for use in digital pathology, where a machine-learning model is trained for carcinoma cell detection in high-resolution images of the human prostate. The solution is implemented as a modular and extensible Java codebase, which is incorporated into an application demonstrating its use.

Keywords

provenance, W3C PROV, PROV-DM, Common Provenance Model, MLflow, Java

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 17. 6. 2024
• Supervisor: RNDr. Rudolf Wittner
• Reader: Mgr. Matej Gallo

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems