Dynamic autotuning of SpMV kernel in CUSP library

Bc. František Bráblík

Master's thesis

Abstract:

Násobení řídké matice s vektorem představuje důležitou operaci v mnoha oblastech vědeckých výpočtů. Rychlost této operace je tak velmi důležitá. Dynamický tuning je proces ladění určité implementace s pomocí předdefinovaných parametrů, dokud není nalezena optimální konfigurace. Tato diplomová práce dále rozšiřuje modifikovanou verzi knihovny CUSP představením nových kernelů pro CUDA GPU pro formáty COO a CSR podporujících dynamický tuning. Součástí práce je vyhodnocení, které ukazuje, že za pomocí dynamického tuningu je výkon původního kódu knihovny CUSP překonán v průměru více než dvojnásobně (pro COO) a více než desetinásobně (pro CSR). Výkon je zároveň srovnán s implementací moderní knihovny cuSPARSE. Výsledky ukazují, že vyladěný kód pro COO je schopný dosáhnout v průměru srovnatelného výkonu jako cuSPARSE. Pro CSR jsou výsledky lepší a pro něj je vyladěný kód schopný dosáhnout průměrně o 6% vyšší výkon.

Abstract:

The SpMV (sparse matrix-vector multiplication) operation is an important part of many scientific computations. The efficiency of the operation can be of huge importance. Dynamic tuning is a process of tweaking an implementation with a predefined set of parameters until an optimal configuration is found. This thesis further extends a modified version of the CUSP library by introducing dynamic tuning in SpMV kernels for CUDA GPU for the two formats, COO and CSR. An evaluation shows that the best configuration outperforms the original implementation by more than 2× for COO and 10× for CSR on average. Performance comparison is also made against the state-of-the-art cuSPARSE implementation. Results show that, on average, the tuned implementation reaches comparable speed (COO) or achieves a noticeable improvement of 6% (CSR).

Keywords

SpMV, CUDA, CUSP, cuSPARSE, GPU, COO, CSR, sparse matrix, matrix-vector multiplication, dynamic tuning, autotuning

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 18. 6. 2024
• Supervisor: doc. RNDr. Jiří Filipovič, Ph.D.
• Reader: Mgr. et Mgr. Jaroslav Oľha

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Software systems