Distributed Scientific Data Management Application

Bc. Adrián Chlpík

Master's thesis

Abstract:

Cieľom tejto diplomovej práce je vytvoriť základ aplikácie pre správu dát, špecificky prispôsobenú pre zefektívnenie pracovných postupov s vedeckými dátami v prostredí s vysokým prietokom a objemom dát. Táto práca je vypracovaná v spolupráci s firmou TESCAN, výrobcom elektrónových mikroskopov, a jej výstup bude začlenený do jej softvérovej zbierky. Hlavným prípadom použitia tejto aplikácie je umožniť koncovým používateľom mikroskopu pohodlné ukladanie a neskôr prístup k veľkým dátovým sadám. Navrhovaná aplikácia využíva škálovateľný, distribuovaný úložný systém S3. Riešenie by malo byť bezproblémovo integrované s existujúcim používateľským rozhraním, čím zlepši použiteľnosť, dodrží dizajn a uľahčí budúcu integráciu. Práca popisuje kroky vývoja a problémy navrhnutého riešenia. Pozrie sa na architektonické rozhodnutia a potenciálny dopad vyvinutej služby správy distribuovaných dát na pracovné postupy vedeckého výskumu. Hlavným výsledkom tejto práce sú dve časti: jedno stránková interaktívna webová aplikácia a škálovateľná backendová aplikácia, ktorá zabezpečuje orchesteráciu dát na úložiskovýh uzloch a poskytuje rozhranie súborového systému.

Abstract:

The aim of this thesis is to create a base of applications for data management specifically tailored to streamline scientific data workflows within a high-throughput, high-volume scientific environment. This thesis is written in collaboration with TESCAN, a producer of electron microscopes, and its output will be incorporated within its software collection. The primary use case for this application is to allow end users of the microscope to store and later access large data sets conveniently. The proposed application utilizes a scalable, distributed S3 storage system. The solution should be integrated seamlessly with the existing UI, enhancing usability, complying with the design, and facilitating future integrations. The thesis describes the steps of development and the problems of the proposed solution. It looks at the architectural choices and the potential impact of the developed distributed data management service in scientific research workflows. The main outcome of this thesis consists from two parts an interactive single-page web application and a scalable backend application to handle data orchestration on storage nodes and provide a filesystem interface.

Keywords

Distributed storage, Filesystem, Data management, S3, GO, Vue

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 12. 2. 2024
• Supervisor: RNDr. Michal Batko, Ph.D.
• Reader: RNDr. Jakub Peschel

Masaryk University

Faculty of Informatics

Master programme / field:
Software systems and services management / Software Systems Development Management