Improving Quadratic Programming Algorithms

Jakub Kružík

Doctoral thesis

Abstract:

Hlavním cílem této práce je představit vylepšení algoritmů kvadratického programování. Tato vylepšení urychlují řešení problémů kvadratického programování, s omezeními i bez nich, které jsou klíčové v různých oblastech včetně ekonomie, inženýrství a strojového učení. Hlavní vylepšení jsou zaměřena na řešení problémů kvadratického programování s omezením ve tvaru boxu. Algoritmus MPRGP (Modified Proportioning with Reduced Gradient Projections) je analyzován a na základě této analýzy vylepšen. Analýza ukazuje, že rozšíření aktivní množiny pomocí projekcí redukovaného gradientu je nejdražší částí algoritmu. Naše modifikace kroku rozšíření aktivní množiny pomocí projektovaného konjugovaného gradientu se ukazuje jako výrazně lepší než původní algoritmus ve většině případů. Představené fallback kroky a kritéria mohou být použity k zajištění konvergence po konečném počtu iterací nebo dokonce rychlosti konvergence alespoň stejně dobré jako standardní algoritmus MPRGP. Další představenou modifikací je použití metody Spektrálních Projektovaných Gradientů (SPG) jako kroku rozšíření aktivní množiny. To se ukazuje jako velmi efektivní v určitých případech, ale o něco méně v jiných. Numerické experimenty ukazující účinnost navrhovaných metod a srovnání s metodou SPG jsou prezentovány na řadě benchmarků. Další vylepšení MPRGP spočívá v předpodmínění, které není snadné implementovat, když má problém omezení. Naše vylepšení spočívá v levné aproximaci předpodmínění v takzvané face, které musí být přepočítáno pokaždé, když se změní aktivní množina, pomocí předpodmínění, které je sestaveno pouze jednou. Numerické experimenty ukazují zrychlení mezi $5.1$ a $13.4$ ve srovnání s algoritmem bez předpodmínění. Předchozí modifikace kroku rozšíření aktivní množiny je klíčovou ingrediencí pro efektivní algoritmus s předpodmíněním. Numerické experimenty jsou doplněny o analýzu chyby porovnávající standardní a aproximovanou variantu předpodmínění ve face. Další vylepšení se týkají škálovatelnosti metod doménové dekompozice typu FETI (Finite Element Tearing and Interconnecting), což nám umožňuje řešit problémy s více než jednou miliardou neznámých pomocí desítek tisíc výpočetních jader na velkých superpočítačích. Většina představených algoritmů je implementována v knihovně PERMON, jejímž správcem a hlavním přispěvatelem byl autor této práce během doktorského studia. Hlavním cílem knihovny PERMON je poskytnout škálovatelné řešení velkých kvadratických problémů. Dalším softwarovým příspěvkem byl víceúrovňový deflační předpodmiňovač PCDEFLATION do knihovny PETSc určené pro vědecké výpočty.

Abstract:

The main objective of this thesis is to present improvements in quadratic programming algorithms. These improvements speed up the solution of quadratic programming problems, with or without constraints, which are key in various fields, including, but not limited to, economics, engineering, and machine learning. The main improvements are for solving box-constrained quadratic programming problems. The MPRGP (Modified Proportioning with Reduced Gradient Projections) algorithm is analyzed and, based on this analysis, improved. The analysis reveals that the expansion of the active set through the reduced gradient projections is the most expensive part of the algorithm. Our modification of the expansion step, using the projected conjugate gradient, proves significantly superior to the original algorithm in most cases. The presented fallback steps and criteria can be used to guarantee convergence or even ensure that the convergence rate is at least as good as that of the standard MPRGP algorithm. Another presented modification is to use the Spectral Projected Gradient (SPG) method as the expansion step. This proves to be extremely effective in certain cases, but a little less so in others. Numerical experiments showcasing the effectiveness of the proposed methods, as well as a comparison with the SPG method, are presented on a number of benchmarks. Another improvement of MPRGP is in preconditioning, which is not straightforward to implement when the problem is constrained. Our improvement is to cheaply approximate the preconditioning in face, which must be recomputed every time the active set changes, with a preconditioner that is set up only once. The numerical experiments show speedups between $5.1$ and $13.4$ compared to the unpreconditioned algorithm. The previous expansion step modification is a key ingredient for an effective preconditioned algorithm. An error analysis comparing the standard and the approximate variant of the preconditioning in face is provided to complement the numerical experiments. Further improvements include the scalability of FETI (Finite Element Tearing and Interconnecting) domain decomposition methods, which allow us to solve problems with more than one billion unknowns using tens of thousands of computational cores on large supercomputers. Most of the presented algorithms are implemented in the PERMON library, of which the author of this thesis was the maintainer and the main contributor throughout their doctoral studies. The main aim of PERMON is to provide a scalable framework for the solution of large-scale quadratic problems. Another software contribution was the multilevel deflation preconditioner, PCDEFLATION, in the PETSc library for scientific computing.

Keywords

kvadratické programování, optimalizace, projekce gradientu, předpodmínění, deflace, hrubý problém, metoda penalty, MPRGP, SPG, SMALE, FETI, BETI, hybrid FETI, PERMON, PCDEFLATION

Keywords

quadratic programming, optimization, gradient projections, conjugate gradients, preconditioning, deflation, coarse problem, penalty method, MPRGP, SPG, SMALE, FETI, BETI, hybrid FETI, PERMON, PCDEFLATION

Language used: English

Date on which the thesis was submitted / produced: 18. 8. 2024

Thesis defence

• Supervisor: David Horák
• Reader: Jaroslav Kruis, Jakub Šístek, Radek Kučera

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Doctoral programme / field:
Informatika, komunikační technologie a aplikovaná matematika / Výpočetní a aplikovaná matematika