Geometric Representation and Data Generation for Sequential Data Analysis

Zhonghai Bai

Disertační práce

Anotace:

Sekvenční data, včetně sekvencí lidského pohybu, rehabilitačních pohybů kostry a biomedicínských časových řad, hrají důležitou roli v inteligentní zdravotní péči, interakci člověka s počítačem a asistenčních systémech. Efektivní analýza těchto dat vyžaduje modelování časové dynamiky při zachování strukturálních charakteristik a řešení praktických výzev, jako je nelineární geometrie, omezená dostupnost dat a nerovnováha tříd. Tradiční euklidovské přístupy často mají potíže zachytit vnitřní strukturální závislosti v pohybových datech, zatímco reálné biomedicínské signály často trpí nerovnováhou dat, která ovlivňuje spolehlivost klasifikace. Tato práce zkoumá analýzu sekvenčních dat s důrazem na geometrické reprezentace a strategie generování dat a dále zkoumá robustnost klasifikace v nerovnovážných scénářích biomedicínských časových řad. Nejprve jsou vyvinuty symetrické pozitivně definitní (SPD) reprezentace založené na varietách pro rozpoznávání gest rukou a hodnocení rehabilitace. U sekvencí gest zachycují regionální SPD deskriptory prostorové korelace, zatímco časová dynamika je integrována prostřednictvím logaritmicko-euklidovské fúze, aby vytvořila časoprostorovou reprezentaci. Pro hodnocení rehabilitace jsou pohybová data modelována na SPD manifoldu a hodnocena pomocí několika diskriminačních strategií k posouzení správných a nesprávných pohybů, což prokazuje silný výkon napříč subjekty na veřejných datových sadách. Za druhé, s ohledem na omezenou dostupnost a variabilitu datových sad sekvencí kostry je navržen lehký generativní rámec pro syntézu pohybových dat. Tato metoda kombinuje neuronovou síť Neural Gas Network pro hrubou generaci sekvencí s časoprostorovou refinační sítí, aby se zvýšila anatomická věrohodnost, časová plynulost a realističnost pohybu. Experimentální výsledky ukazují zlepšení oproti stávajícím přístupům v několika metrikách kvality pohybu. Generovaná data zvyšují rozmanitost datových sad a přispívají ke zvýšení robustnosti následných hodnotících modelů. Nakonec, s vědomím, že sekvenční data z reálného světa mohou vykazovat závažnou nerovnováhu tříd, rozšiřuje tato práce výzkum na klasifikaci biomedicínských časových řad pomocí kardiotokografických (CTG) signálů. Je navržena multifúzní strategie integrující podvzorkování, optimalizaci prahových hodnot a soubory klasifikátorů s cílem zlepšit detekci patologických případů v nerovnovážných distribucích. Experimentální výsledky ukazují podstatné zlepšení v identifikaci menšinových patologických případů ve srovnání s referenčními modely, což podtrhuje význam optimalizace na úrovni rozhodování v analýze sekvenčních dat ve zdravotnictví. Stručně řečeno, tato práce přispívá k sekvenční analýze dat prostřednictvím geometrických metod reprezentace pro modelování strukturovaného pohybu, technik generování dat pro zvýšení rozmanitosti datových sad a klasifikačních strategií pro zpracování nevyvážených biomedicínských signálů. Navrhované přístupy zlepšují účinnost a robustnost modelování v aplikacích souvisejících s porozuměním pohybu a zdravotní péčí.

Abstract:

Sequential data, including human motion sequences, skeletal rehabilitation movements, and biomedical time-series signals, play an important role in intelligent healthcare, human–computer interaction, and assistive systems. Effective analysis of such data requires modeling temporal dynamics while preserving structural characteristics and addressing practical challenges such as nonlinear geometry, limited data availability, and class imbalance. Traditional Euclidean-based approaches often struggle to capture intrinsic structural dependencies in motion data, while real-world biomedical signals frequently suffer from data imbalance that affects classification reliability. This thesis investigates sequential data analysis with an emphasis on geometric representation and data generation strategies, and further examines classification robustness in imbalanced biomedical time-series scenarios. First, Symmetric Positive Definite (SPD) manifold-based representations are developed for hand gesture recognition and rehabilitation assessment. For gesture sequences, region-based SPD descriptors capture spatial correlations, while temporal dynamics are integrated through Log-Euclidean fusion to form a spatio-temporal representation. For rehabilitation evaluation, motion data are modeled on the SPD manifold and evaluated using multiple discriminative strategies to assess correct and incorrect movements, demonstrating strong cross-subject performance on public datasets. Second, to address the limited availability and variability of skeleton sequence datasets, a lightweight generative framework is proposed for motion data synthesis. The method combines a Neural Gas Network for coarse sequence generation with a spatiotemporal refinement network to enhance anatomical plausibility, temporal smoothness, and motion realism. Experimental results demonstrate improvements over existing approaches across multiple motion quality metrics. The generated data increase dataset diversity and contribute to improved robustness of downstream assessment models. Finally, recognizing that real-world sequential data may exhibit severe class imbalance, this thesis extends the investigation to biomedical time-series classification using cardiotocography (CTG) signals. A multifusion strategy integrating undersampling, threshold optimization, and ensemble classifiers is proposed to improve pathological case detection under imbalanced distributions. Experimental results show substantial improvements in identifying minority pathological cases compared with baseline models, underscoring the importance of decision-level optimization in healthcare sequential data analysis. In summary, this thesis contributes to sequential data analysis through geometric representation methods for structured motion modeling, data generation techniques for enhancing dataset diversity, and classification strategies for handling imbalanced biomedical signals. The proposed approaches improve modeling effectiveness and robustness across motion understanding and healthcare-related applications.

Klíčová slova

Sekvenční data, SPD Manifold, Geometrická reprezentace, Skeleton Action, Generování pohybu, Rozpoznávání gest, Biomedicínské časové řady

Keywords

Sequential Data, SPD Manifold, Geometric Representation, Skeleton Action, Motion Generation, Gesture Recognition, Biomedical Time-Series

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 10. 3. 2026

Obhajoba závěrečné práce

• Vedoucí: Vo Dinh Bay

VŠB – Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Doktorský studijní program:
Informatika