Data-Driven Dynamic Autotuning: Optimizing Autotuning Overhead with Prior Tuning Data

Mgr. et Mgr. Jaroslav Oľha

Doctoral thesis

Abstract:

Moderné vysokovýkonné výpočty často využívajú na dosiahnutie maximálneho výkonu heterogénne hardwarové zdroje -- tento prístup predstavuje zjavné výhody, keďže kombinuje výpočetný výkon viacerých procesorov a umožňuje im väčšiu mieru špecializácie. Takéto výpočty však musia byť naprogramované s ohľadom na daný hardware, čo kladie väčšiu záťaž na programátorov, ktorí musia zabezpečiť, aby ich programy boli schopné naplno využiť širokú škálu procesorov. Tento problém je možné vyriešiť tzv. autotuningom zdrojového kódu – vopred je zadefinovaných viacero možných implementácií, a tá najvhodnejšia sa nájde až vo chvíli keď je známy dostupný hardware a ďalšie podmienky výpočtu. Problém efektívnych výpočtov sa tak mení na vyhľadávací problém. V niektorých prípadoch sa podmienky, ktoré určujú efektivitu implementácií, zistia až za behu, alebo sa počas vykonávania neustále menia a vyžadujú si prispôsobenie počas výpočtu. V takomto prípade môže byť nutné automaticky ladiť kód popri behu samotnej aplikácie, čo sa typicky označuje ako dynamický autotuning. Oproti štandardnému autotuningu sa dynamický autotuning väčšinou snaží o rýchle hľadanie približných riešení, namiesto hľadania globálneho optima. Táto práca sa venuje niekoľkým problémom, ktoré v tomto kontexte vznikajú. Okrem predstavenia kľúčových konceptov a technických riešení je hlavným cieľom práce riešenie problému režijných nákladov spojených s autotuningom. Keďže pri typickom využití dynamického autotuningu prebieha proces optimalizácie súbežne so samotnou aplikáciou, akákoľvek réžia autotuningu ide zvyčajne na úkor hlavného výpočtu. Zníženie týchto nákladov je teda ešte dôležitejšie, než je tomu v prípade tradičnejších offline autotuning prístupov. Autor sa zameriava na dva hlavné aspekty minimalizácie režijných nákladov autotuningu: rýchlejšie nájdenie efektívnych implementácií kódu, a nastavenie optimálnej dĺžky prehľadávania, tak aby bola celková doba behu aplikácie čo najnižšia. Vhodne zvolená dĺžka prehľadávania zaisťuje, že autotuning neplytvá výpočetnými zdrojmi nadmerne dlhou optimalizáciou kvôli drobným vylepšeniam kódu, ale zároveň neskončí predčasne. V oboch prípadoch zohrávajú dôležitú rolu dáta získané z predchádzajúceho autotuningu -- zber a analýza dát o výkone jednotlivých optimalizácií na rôznom hardware nám umožňuje predvídať priebeh autotuningu na novom hardware, a následne zvyšovať jeho efektivitu. Experimentálne výsledky prezentované v tejto práci ukazujú, že rôzne vlastnosti prehľadávacích priestorov v autotuningu, napríklad dôležitosť rôznych parametrov, relatívne podiely rýchlych implementácií, alebo vzťahy medzi autotuning parametrami a rôznymi hardwarovými ukazateľmi, sú vysoko podobné aj pre odlišné hardvérové modely. Tieto zistenia viedli k vývoju vyhľadávača založeného na hardwarových ukazateľoch výkonu, ktorý bol schopný výrazne zrýchliť autotuning na rôznych prehľadávacích priestoroch, a k vývoju metódy na odhad dĺžky prehľadávania, ktorá je schopná optimalizovať počet iterácií autotuningu – obe metódy zvyšujú efektívnosť dynamického autotuningu a minimalizujú jeho negatívny dopad na ladenú aplikáciu.

Abstract:

Modern high performance computing applications often rely on heterogeneous hardware resources to achieve maximum performance. This approach presents obvious benefits, combining the processing power of multiple different processors and allowing them to be more specialized. However, since HPC applications typically need to be programmed in a hardware-aware manner to achieve maximum performance, this places more burden on programmers to ensure that their programs can take full advantage of a wide variety of processing units. This issue can be addressed with source code autotuning -- many implementation variants are defined in advance, and the most appropriate one is found once all execution conditions, such as the available hardware, become known. The problem of efficient computing is thus transformed into a searching problem. In some cases, the conditions that determine the efficiency of implementations only become known at runtime, or they keep changing during execution and require adaptation on the fly. In such a scenario, it is possible to overlap the autotuning process with the actual execution of the tuned code, which is commonly referred to as dynamic autotuning. The objectives of dynamic autotuning are shifted towards finding approximate solutions quickly, rather than searching for the global optimum. This thesis addresses several issues that arise in this context -- the main focus of this work, in addition to introducing key concepts and presenting technical solutions, is to address the problem of autotuning overhead. Since the typical dynamic autotuning use case requires the tuning process to run concurrently with the tuned application, any autotuning overhead usually comes at the expense of the actual computation. Thus, reducing this overhead becomes even more critical than it is for traditional offline autotuning approaches. The author focuses on two main aspects of minimizing autotuning overhead: finding well-performing configurations more quickly, and setting a tuning budget that ensures minimal application run time. A well-chosen tuning budget ensures that autotuning neither wastes computational resources by running too long for minor code improvements, nor ends prematurely, leaving potential performance gains untapped. In both cases, historical data from previous autotuning efforts plays a major role, highlighting the importance of collecting and reusing this data. The experimental results presented in this thesis clearly show that various properties of tuning spaces, such as tuning parameter importance, relative portions of well-performing configurations, or the relationships between tuning parameters and hardware performance counters, are transferable across different hardware models. These findings led to the development of a profile-based searcher, which has shown considerable ability to improve autotuning convergence, and a tuning budget estimation method, which can ensure a near-optimal number of tuning iterations -- both enhancing the effectiveness of dynamic autotuning methods and minimizing their negative impact on the tuned application.

Keywords

dynamic autotuning, high-performance computing, GPU acceleration, performance optimization, performance modeling

Language used: English

Date on which the thesis was submitted / produced: 7. 8. 2024

Thesis defence

• Date of defence: 28. 1. 2025
• Supervisor: prof. RNDr. Luděk Matyska, CSc.
• Reader: doc. Ing. Lubomír Říha, PhD., prof. Ana Lucia Varbanescu, PhD

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Computing Technology and Methodology