Application on Geometric Machine Learning

Lingping Kong

Doctoral thesis

Abstract:

Geometrizace problémů strojového učení je dána potřebou zpracování velkých dat. Pro aplikace metod ML je potřeba umístit data do prostoru, který umožní zpracování těchto dat. Geometrické strojové učení (GML) slouží k vývoji modelu ML, který sjednocuje ML s geometrickým modelem dat. Tato práce zkoumá geometrické modely ML pro různé typy dat. Práce se zaměřuje na zobecnění transformátorů v grafových neuronových sítích (GNN) a model regrese dat v časových řadách. Nejprve se zabýváme otázkami vysvětlitelnosti a expresivity v grafových neuronových sítích a studujeme geometrii mechanismu vícehlavé pozornosti. Náš výzkum navrhuje spojení hlubokých neuronových sítí a konceptů fuzzy modelování. Počet fuzzy pravidel roste exponenciálně s počtem funkcí, které způsobují výpočetní neefektivnost. Kromě toho se perspektiva geometrického chápání vztahuje na standardní regresní problémy a predikce dat časových řad poskytuje jasný pohled na geometrii klasifikátorů. Analýza časových řad zahrnuje měření podobnosti mezi dvěma sekvencemi, které se mohou lišit rychlostí. Během procesu predikce se může objevit geometrické zkreslení dvou dat časových řad. Predikovaná hodnota se nemusí shodovat s pozorovanými sekvencemi podle přesného časového indexu. Proto je nutné a praktické vážení předpovědního rozdílu k pozorování z indexových bodů jedna ku jedné nebo různého časového indexu jedna ku jedné. Integrace geometrické synchronizace do analýzy časových řad je dalším hlavním cílem této práce. Na závěr jsou všechny metodiky připraveny pro řadu aplikací v reálném světě. Řešíme problematiku fetálního monitorování pro problémy s časnou abnormální detekcí. Konkrétně jsou příspěvky a práce následující, aby zaplnily výše uvedenou mezeru a dokončily práci. \begin{enumerate} \item Prozkoumejte transformátory a mechanismus vícehlavé pozornosti a zobecnění na grafovou neuronovou síť pro graf specifická data. Navrhněte grafově orientované řešení pozornosti pro grafové neuronové sítě, které bude přínosem pro studium aplikací v úlohách grafových dat a zpracování signálů. \item Prozkoumejte skladová data časové řady a problém trénovacích dat v predikci s minulým nebo budoucím datovým bodem časové značky. Zejména prozkoumejte nástroj dynamického borcení času pro synchronizaci geometrického prototypu. \item Prozkoumejte včasnou detekci problému fetálních abnormalit a nezbytnost studie. Prozkoumejte navrhované optimalizační algoritmy založené na metaheuristice a neuronových sítích pro tento problém. Poté navrhněte praktický rámec pro obecnou aplikaci.

Abstract:

The geometrization of machine learning problems is driven by the need to process big data. For the application of ML methods, the data needs to be placed in a space that allows processing of these data. Geometric machine learning (GML) is used to develop an ML model that unifies ML with a geometric data model. This paper explores geometric ML models for different types of data. This work focuses on the generalization of transformers in graph neural networks (GNNs) and the time-series data regression model. We first address the issues of explainability and expressiveness in graph neural networks and study the geometry of the multihead attention mechanism. In our study, we suggest a fusion of deep neural networks and fuzzy modeling principles for feature representation learning. Two critical challenges demand our focus in this framework. Firstly, the exponential increase in fuzzy rules tied to the number of features poses computational inefficiencies. Secondly, the complexity of the division subspace, stemming from the integration of fuzzy rules, gives rise to nonlinear relationships between dependent and independent variables. To overcome these hurdles, we present a feature sampling method and employ simulations utilizing diverse fitting curves based on polynomial functions. In addition, the perspective of geometric understanding applies to standard regression problems, and the prediction of time series data provides a clear insight into the geometry of classifiers. Time-series analysis involves measuring the similarity between two sequences that may differ in speed. During the prediction process, geometric distortion of two-time series data may occur. The predicted value may not match the observed sequences according to the exact time index. Therefore, weighting the predicted difference to observations from one-to-one index points or different one-to-one time indexes is necessary and practical. Integrating geometric synchronization into time series analysis is another major goal of this work. Finally, all methodologies are ready for several real-world applications. We address the problem of fetal monitoring for early abnormal detection problems. The goals of the thesis are the following. \begin{enumerate} \item Investigate and study transformer and graph neural networks and conceive of a graph-specific attention mechanism from a geometric perspective. \item Research the geometric understanding of feature representation and incorporate the fuzzy concept into feature learning. \item Investigate a time-warping tool for geometric prototype synchronization and employ the principle of machine learning for objective optimization. \item Organize and summarize current research gaps and issues in fetal monitoring. Then, propose a practical framework for the general application. \end{enumerate} }

Keywords

Grafové neuronové sítě, Geometrické strojové učení, Časové řady, Fetální fonokardiografie, Fetální elektrokardiogram, Fuzzy učení

Keywords

Graph Neural Network, Geometric Machine Learning, Time series, Fetal phonocardiography, Fetal electrocardiogram, Fuzzy learning

Language used: English

Date on which the thesis was submitted / produced: 26. 2. 2024

Thesis defence

• Supervisor: Václav Snášel
• Reader: Zuzana Komínková Opatková, Aboul Ella Hassein, Peter Vojtáš

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Doctoral programme / field:
Informatika, komunikační technologie a aplikovaná matematika / Informatika