Designing Data-Parallel Graph Algorithms for Model Checking

RNDr. Milan Češka, Ph.D.

Doctoral thesis

Abstract:

Ověřování modelů (model checking) je rozšířená technika automatické formální verifikace softwarových a hardwarových systémů. Cílem této techniky je pro daný formální popis systému (konečně stavový model) a požadovanou vlastnost systematicky analyzovat graf všech dosažitelných konfigurací a rozhodnout, zda systém tuto vlastnost splňuje či ne. Proces ověřování modelů typicky trpí tzv. problémem stavové exploze, který způsobuje, že grafy, které je nutno analyzovat, jsou pro skutečné systémy příliš velké. Z tohoto důvodu je efektivita fundamentálních grafových algoritmů (prohledávání do šířky, hledání nejkratších cest, rozklad na silně souvislé komponenty, detekce akceptujících cyklů, atd.), které tvoří základní stavební kameny pro techniky ověřování modelů, velmi důležitá. Nicméně výkonnost sekvenčních implementací těchto algoritmů se ukazuje nedostatečná pro zpracování extrémně velkých grafů. Tato skutečnost mimo jiné vedla k návrhu a implementaci paralelních grafových algoritmů, které jsou schopny efektivně využít výkon paralelních architektur, jako jsou počítačové clustery či více-jádrové procesory. I když je algoritmický přechod k paralelnímu zpracování možný, sekvenční kód musí být vhodně modifikován, aby mohl využít výkon paralelních architektur. To platí zejména pro moderní masivně paralelní grafické výpočetní jednotky (graphics processing units - GPUs). Tyto zařízení obsahují stovky výpočetních jednotek a jsou tak schopny poskytnout zasadní akceleraci mnohých výpočetně náročných vědecko-technických aplikací. Klíčem k efektivnímu využití těchto architektur pro vědecko-technické výpočty je návrh a implementace efektivních datově paralelních algoritmů, které jsou schopny škálovat do stovek úzce propojených výpočetních jednotek. V této tezi se zaměřujeme zejména na datově paralelní algoritmy, které se využívají v procesu ověřování modelů. Nicméně náš přístup je obecnější a lze ho rovněž aplikovat i na jiné grafové algoritmy. V tezi podrobně diskutujeme a popisujeme návrh efektivních datově paralelních algoritmů pro detekci akceptujících cyklů, rozklad na silně souvislé komponenty, detekci optimálních cyklů a grafové řešení soustavy booleovských rovnic. Zejména se zaměřujeme na návrh datově paralelních grafových primitiv a ukazujeme, jak tyto primitiva využít ke konstrukci zmíněných algoritmů. Zatímco hrubá výpočetní síla, kterou mohou moderní masivně paralelní grafické výpočetní jednotky nabídnout, je ohromující, její efektivní využití je často redukováno náročnou přípravou vhodných datových struktur a je limitováno na malé či středně velké instance kvůli omezené paměti, kterou tyto architektury poskytují. Tudíž dále navrhujeme metody, které jsou schopny tyto limity překonat pomocí více-jádrové konstrukce kompaktních datových struktur a využití několika grafických výpočetních jednotek zároveň. Abychom mohli vyhodnotit efektivitu popsaných technik, provedli jsme experimentální ověření výkonnosti navržených datově paralelních algoritmů a provedli jsme jejich srovnaní s nejlepšími sekvečními protějšky. Naše experimenty ukazují, že navržená akcelerace pomoci grafických výpočetních jednotek vede k výraznému zrychlení grafových algoritmů. Navíc experimentální vyhodnocení založené na objektivním výběru použitých instancí ukázalo, že náš nástroj DiVinE-CUDA (využívající grafické výpočetní jednotky pro akceleraci navržených datově paralelních algoritmů pro detekci akceptujících cyklů a více-jádrové architektury pro zrychlení navržené paralelní konstrukce kompaktní reprezentace stavového prostoru) je nejrychlejší mezi současnými nástroji pro LTL ověřov

Abstract:

ání modelů.

Abstract:

Model checking is a wide-spread technique for automated formal verification of software and hardware systems. For a given formal description (finite-state model) of a system and desired system property, the goal of the model checking procedure is to systematically analyze a graph of all reachable configurations in order to decide whether the model satisfies the property or not. The model checking techniques generally suffer from the so-called state space explosion problem that causes the graphs to be very large for realistic systems. Therefore, the performance of fundamental graph algorithms (breadth-first search, shortest path detection, strongly connected component decomposition, accepting cycle detection, etc.) that form building blocks of the model checking algorithms is crucial. However, sequential implementations of these algorithms become impractical for extremely large graphs to be processed. As a result, parallel graph algorithms have been devised to efficiently use computer clusters and multi-core architectures. Even though the algorithmic shift to parallel processing is possible, sequential code needs to be rewritten to take proper advantage of parallel architectures. This especially applies to recently introduced massively parallel general purpose graphics processing units (GPUs). These devices contain hundreds of arithmetic units and can be harnessed to provide tremendous acceleration for many computation-intensive scientific applications. The key to effective utilization of GPUs for scientific computing is the design and implementation of efficient data-parallel algorithms that can scale to hundreds of tightly coupled processing units. In this thesis, we primarily focus on data-parallel graph algorithms for model checking. However, our approach is more general and applicable to other graph algorithms. We discuss and propose how to design efficient data-parallel algorithms for accepting cycle detection, strongly connected component decomposition, optimal cycle detection and graph-based resolution of boolean equation systems. In particular, we design basic data-parallel graph primitives and show how the aforementioned algorithms can be built from them. While the raw computing power of massively parallel GPU devices is tremendous, its effective utilization is, however, quite often reduced by the costly preparation of suitable data structures and limited to small or middle-sized instances due to space restrictions. Hence, we further suggest how to overcome these limitations using multi-core construction of the compact data structures and employing multiple GPU devices for acceleration of fine-grained communication-intensive parallel algorithms. In order to evaluate the efficiency of the proposed techniques we experimentally demonstrate the performance of the suggested data-parallel graph algorithms and compared them with best sequential counterparts. Our experiments show that the proposed GPU acceleration results in a significant speedup of the graph algorithms. Moreover, the experimental evaluation positions our GPU accelerated DiVinE-CUDA tool (LTL model checker based on our data-parallel algorithm for accepting cycle detection and on a novel multi-core construction of the compact state space representation) as the fastest among the state-of-the-art parallel LTL model checkers using an unbiased selection of model checking instances.

Keywords

formální verifikace, paralelní ověřování modelů, datově paralelní grafové algoritmy, grafické výpočetní jednotky, formal verification, parallel model checking, data-parallel graph algorithms, graphics processing units

Language used: English

Date on which the thesis was submitted / produced: 13. 4. 2012

Thesis defence

• Date of defence: 11. 6. 2012
• Supervisor: prof. RNDr. Luboš Brim, CSc.
• Reader: prof. Ing. Tomáš Vojnar, Ph.D., Prof. Keijo Heljanko

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics