Dynamic autotuning of SpMV kernel in CUSP library

Bc. Miroslav Demek

Master's thesis

Abstract:

Násobení řídké matice vektorem (SpMV) je hlavní operací v mnoha iterativních metodách pro řešení systémů lineárních rovnic a je tedy vhodným kandidátem pro akceleraci na GPU. Výkon SpMV však závisí jak na použité architektuře GPU, tak i na rozmístění nenulových prvků matice. Pro dosažení optimálního výkonu je tedy vhodné, aby implementace SpMV byla přizpůsobena použitému GPU a konkrétní vstupní matici, což lze zajistit pomocí dynamického autotuningu. Cílem této práce je implementovat dynamický autotuning SpMV kernelu na GPU pro DIA a ELL formáty na reprezentaci řídkých matic. Autotuning je implementován skrze knihovnu KTT a tato implementace je integrována do knihovny CUSP. V rámci této práce jsou identifikovány možné parametry pro automatické ladění zmíněných formátů a ty jsou následně implementovány do optimalizovaných GPU kernelů. Navržené parametry a jejich implementace jsou vyhodnoceny pro oba formáty porovnáním s původní implementací v knihovně CUSP a práce obsahuje také vyhodnocení potenciálního zrychlení skrze autotuning. Výsledné automaticky laděné kernely dosahují až 2krát většího výkonu než fixní implementace.

Abstract:

Sparse matrix-vector product (SpMV) is a central operation in many iterative methods for solving linear systems and as such is an attractive candidate for acceleration on the GPU. However, the performance of the SpMV kernel can vary depending both on the target architecture as well as on the sparsity pattern of the matrix. Thus, to achieve optimal performance, the implementation might need to be adjusted for each particular matrix and architecture, which can be achieved through dynamic autotuning. The goal of this thesis is to implement dynamic autotuning of the SpMV kernel on the GPU for the DIA and ELL sparse matrix formats using the KTT autotuning framework and integrate it into the CUSP library. As part of the thesis, a set of possible tuning parameters for both formats is identified and they are implemented into optimized GPU kernels. The proposed tuning parameters and their implementation is evaluated by comparing the autotuned kernels with the original CUSP kernels on a set of representative matrices and by examining the contribution of autotuning. The results show that the autotuned kernels can reach up to about 2 times better performance compared to a fixed implementation.

Keywords

SpMV, autotuning, GPU acceleration, CUDA, Kernel Tuning Toolkit, KTT

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2023

Thesis defence

• Date of defence: 20. 6. 2023
• Supervisor: RNDr. Jiří Filipovič, Ph.D.
• Reader: doc. Ing. Jiří Jaroš, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Software systems