Řešení optimalizační úlohy LASSO pomocí proximálních algoritmů

Ing. Václav Langr

Bakalářská práce

Solution to LASSO Using Proximal Algorithms

Anotace:

Tato bakalářská práce je zaměřena na rekonstrukci řídkého vektoru z jeho komprimovaného pozorování. Pro rekonstrukci se využívá optimalizačního problému LASSO a jeho řešení pomocí proximálních algoritmů. Po vytvoření takového algoritmu, který je schopen původní signál rekonstruovat, se využívá metody Monte Carlo pro pozorování závislosti chyby řešení na parametru lambda. U takto získaného výpočtu je zjištěna kvadratická chyba řešení LASSO vzhledem k původnímu vektoru dat. Vypracování bylo rozděleno do několika navazujících částí. Prvním a také nejdůležitějším krokem bylo nastudování vlastností proximálních algoritmů a výpočet proximálního operátora při různých vstupních funkcích. Po takto provedené rešerši proximálních algoritmů proběhla také rešerše vlastností optimalizační úlohy LASSO a jejích variant. V dalším kroku bylo možné přistoupit k implementaci algoritmu v programovacím jazyce a vývojovém prostředí MATLAB. Při postupné implementaci byl algoritmus upraven tak, aby vždy zkonvergoval ke správnému nebo alespoň co nejbližšímu přibližnému řešení optimalizačního problému. Z tohoto důvodu byl algoritmus rozšířen o podmínky optimality, jež ukončují výpočet při dosažení poměrně přesné aproximace. Dále byl algoritmus rozšířen o výpočet dynamické velikosti kroku, aby uživatel nemusel zadávat tento parametr, který velice ovlivňuje celkový chod algoritmu. S takto připraveným algoritmem mohla být použita metodika Monte Carlo k vytvoření numerické simulace, jež generuje nekomprimovaný řídký vektor dat, měřící matice s prvky, které mají Gaussovo rozložení a parametr lambda v zadaném rozsahu s logaritmickým rozdělením. Závěrečnou fází této práce bylo vytvoření metod vytvářející analytickou předpověď spolu s numerickou simulací pro rešeršní účely. Zároveň tato práce navrhuje způsoby, jak může být pokračováno s nástroji, jež byly vytvořeny v průběhu jejího zpracování a získat tak přesnější výsledky.

Abstract:

This bachelor thesis is focused on the reconstruction of a sparse vector from its compressed observation. For the reconstruction, the LASSO problem is used and its solution using proximal algorithms. After the implementation of an algorithm that is able to restore the original signal, Monte Carlo method is used to analyze the dependence of computation error of the lambda parameter. Realization was divided into several parts. The very first and the most important step was a study of the properties of proximal algorithms and the evaluation of proximal operator for different functions. After the study on proximal algorithms there was also survey on the properties of LASSO and its variants. After that is was possible to implement an algorithm using the MATLAB language and its development environment. The algorithm was modified during the implementation so it always converges to the correct or, at least, approximate solution of LASSO. Because of this reason optimality conditions were added that terminates the optimization process if the approximation is sufficiently accurate. Then a computation of dynamical step size was added that affects the whole algorithm so the user does not have to choose it. This algorithm could be numerically analysed using the Monte Carlo approach that generates uncompressed sparse vector of data, random measurement matrix with Gaussian distribution, and a lambda parameter within an interval with logarithmic spacing. The last step was to study methods for analytic prediction of the numerical simulation. At the same time, this bachelor thesis suggests how it can be used to continue with prepared tools that were created during this project and how to arrive at more accurate results.

Klíčová slova

MATLAB, proximální algoritmus, proximální operátor, LASSO, Monte Carlo

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 16. 5. 2016

Obhajoba závěrečné práce

• Obhajoba proběhla 14. 6. 2016
• Vedoucí: doc. Ing. Zbyněk Koldovský, Ph.D.

Technická univerzita v Liberci

Fakulta mechatroniky, informatiky a mezioborových studií

Bakalářský studijní program / obor:
Informační technologie / Informační technologie