Solvers and their implementations for machine learning problems and applications

Marek Pecha

Doctoral thesis

Abstract:

Strojové učení (z anglického Machine Learning) je souhrn statistických technik a optimalizačních algoritmů, které se používají k vytvoření modelů na základě trénovacích (vzorových) dat bez explicitního programování instrukcí v rozhodovacím algoritmu. Cílem je dosáhnout generalizace modelu z vlastností (rysů) trénovacích dat pro co nejpřesnější predikci na vzorcích, které nebyly použity v rámci trénovacího procesu. Strojové učení se jako takové považuje za podoblast umělé inteligence (Artificial Intelligence). Hlavní náplní této práce je studium použitelnosti klasických modelů strojového učení pro řešení komplexních a datově náročných aplikací, volba vhodných optimalizačních algoritmů a jejich adaptace pro paralelní trénování modelů na superpočítačových systémech, v neposlední řadě také navržení workflow zahrnující efektivní analýzu, fúzování a transformace velkých big dat. Je věnována také pozornost vhodnému uložení dat např. do formátu HDF5 pro jejich efektivní paralelní načítání na superpočítačových systémech. Významná část práce je věnována strojovému učení s učitelem (supervised learning), konkrétně klasifikačním modelům typu Support Vector Machines (SVM), jejich přizpůsobení pro sémantickou segmentaci multispektrálních satelitních snímků v čase a následné použití k lokalizaci výskytu lesních požárů na Aljašce v horizontu jednoho roku. Problematika lesních požárů byla řešena ve spolupráci se dvěma prestižními výzkumnými pracovišti v USA, konkrétně s národními laboratořemi Argonne a Oak Ridge. Pro vlastní natrénování segmentačních modelů byl použit open-source nástroj \mbox{PermonSVM}, jehož implementace je nedílnou součástí této disertační práce. Tento nástroj také podporuje trénování pravděpodobnostních modelů s použitím techniky Plattova škálování v kombinaci s modely typu SVM. Pro řešení optimalizační úlohy v rámci trénovacího procesu SVM modelů byly použity a adaptovány řešiče MPRGP, SMALXE a jejich varianty, které jsou implementované v softwarovém balíku PermonQP. Tyto řešiče byly vyvinuty a optimalizovány pro úlohy kvadratického programování a jsou dále rozvíjené skupinou profesora Dostála na Katedře aplikované matematiky (VŠB -- Technická univerzita Ostrava) a na Ústavu geoniky AV ČR. Druhá část této práce je zaměřena na strojové učení bez učitele (unsupervised learning). Konkrétně je zde provedena rešerše metod vektorové kvantifikace založených na algoritmech Lloydova typu a metod spektrálního shlukování. Dále je představena paralelní implementace těchto metod v programovacím jazyce C++ a statistický přístup, který je založený na Bartlettově testu homogenity variancí pro odhad násobnosti nulových vlastních čísel Laplaceovy matice. Počet nulových čísel této matice odpovídá počtu komponent souvislosti podobnostního grafu, které mohou představovat např. objekty na obrazové scéně. V praktické části jsou představeny dvě aplikace. První z nich se zaměřuje na detekci křehkých a houževnatých lomů na vzorku ocele API 5L X-70 pomocí technik vektorové kvantifikace. Ve druhé aplikaci je ukázáno použití spektrálního shlukování pro segmentaci obrazu bez anotovaných dat.

Abstract:

Machine learning is a set of statistical techniques and optimization algorithms used to create models based on training data without explicitly programming instructions in the decision algorithm. The goal is to achieve the generalization ability of a model from training data properties (features) for the most accurate prediction on unseen samples. Note that machine learning is considered as a subfield of artificial intelligence. This work focuses mainly on studying the applicability of the classical machine learning models for solving complex and data-intensive applications, choosing appropriate optimization algorithms and their adaptation for parallel training of models on supercomputer systems, and last but not least on designing and programming a workflow involving efficient analysis, fusion and transformation for big data. Attention is also paid to storing the data in HDF5 file format for efficient parallel I/O operations on supercomputer systems. A significant part of the work is devoted to supervised machine learning, specifically Support Vector Machines (SVM) classification models, their adaptation for semantic segmentation of multispectral-temporal satellite images, and subsequent use for wildfire localization in Alaska in a time horizon of one year. This application was addressed in collaboration with two world-leading research institutes in the USA, namely Argonne and Oak Ridge National Laboratories. The open-source tool called PermonSVM was used to train such segmentation models; implementation of this software is another integral part of this doctoral thesis. PermonSVM also supports training probabilistic models using Platt's scaling combined with models of the SVM type. The solvers MPRGP, SMALXE and their variants implemented in the PermonQP software package were used and adapted to solve an underlying optimization problem associated with training the models. These solvers have been developed and optimized for quadratic programming problems. They are further developed by Professor Dostal's group at the Department of Applied Mathematics (VSB -- Technical University of Ostrava) and the Institute of Geonics of the Czech Academy of Sciences. The second part of this thesis focuses on unsupervised machine learning. Specifically, a review of methods related to vector quantification based on Lloyd-type algorithms and spectral clustering is conducted. Furthermore, a parallel implementation of the vector quantification methods in the C++ programming language and a statistical approach based on the Bartlett's test of homogeneity of variances for estimating the multiplicity of zero eigenvalues related to the Laplace matrix are presented. The multiplicity of zero eigenvalues of this matrix corresponds to the number of components of the similarity graph (equals number of zero eigenvalues associated with graph Laplacian matrix); these components could represent objects in an image scene for example. In the practical part, two applications are introduced. The first focuses on detecting brittle and ductile fractures on steel sample (API 5L X-70) using vector quantization techniques. The second application shows employing spectral clustering for image segmentation without annotated data.

Keywords

strojové učení, kvadratické programování, dualita, Support Vector Machines, lokalizace lesních požárů na Aljašce, zpracování velkých dat, paralelení trénování modelů, sémantická segmentace obrazu, vektorová kvantifikace, křehké a houževnaté lomy, spektrální shlukování

Keywords

machine learning, quadratic programming, duality, Support Vector Machines, wildfires localization in Alaska, big data analysis, parallel model training, semantic segmentation, vector quantification, brittle and ductile fracture, spectral clustering

Language used: English

Date on which the thesis was submitted / produced: 29. 2. 2024

Thesis defence

• Date of defence: 30. 10. 2024
• Supervisor: David Horák
• Reader: Jan Sýkora, František Zbořil, Josef Malík

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Doctoral programme / field:
Informatika, komunikační technologie a aplikovaná matematika / Výpočetní a aplikovaná matematika