Event stream storage solution for sparse datasets in electron microscopy

Bc. Jiří Sternwald

Diplomová práce

Anotace:

Cílem této diplomové práce bylo vyvinout efektivní řešení pro ukládání sparse, event-driven dat z detektorů ve čtyřrozměrné skenovací transmisní elektronové mikroskopii (4D-STEM). Práce se zabývá různými přístupy k organizaci a načítání dat z hybridních pixelových detektorů Timepix3, které generují event streamy s časovou značkou, jež je nutné efektivně reorganizovat pro následnou analýzu. Teoretická část se zaměřuje na charakterizaci raw výstupu detektoru, zhodnocení existujících formátů pro ukládání dat a analýzu systémových požadavků v rámci 4D-STEM workflow. Praktická část popisuje návrh modulárního benchmarkingového rámce, implementaci několika strategií ukládání dat a komplexní vyhodnocení jejich výkonu na reálných experimentálních datech. Výsledky ukazují, že navržený přístup k ukládání dat dosahuje rychlého načítání řezů při výrazně nižších paměťových nárocích, což umožňuje interaktivní analýzu na běžných pracovních stanicích a bezproblémovou integraci se zavedenými analytickými nástroji.

Abstract:

The aim of this thesis was to develop efficient storage solution for sparse, event-driven detector data in four-dimensional scanning transmission electron microscopy (4D-STEM). The thesis explores various approaches to organizing and retrieving data from Timepix3 hybrid pixel detectors, which generate temporally ordered event streams that must be efficiently reorganized for analysis. The theoretical part focuses on characterizing raw detector output, evaluating existing storage formats, and analyzing system requirements for 4D-STEM workflows. The practical part covers the design of a modular benchmarking framework, implementation of multiple storage strategies, and comprehensive performance evaluation using real experimental datasets. The results demonstrate that the proposed storage approach achieves fast slice retrieval times while significantly reducing memory requirements, enabling interactive analysis on standard workstations and seamless integration with established analysis tools.

Keywords

4D-STEM, sparse data storage, Timepix3, event-driven detectors, electron microscopy, coordinate list format, HDF5, benchmarking framework

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 17. 6. 2026
• Vedoucí: prof. RNDr. Michal Kozubek, Ph.D.
• Oponent: doc. RNDr. Pavel Matula, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů