Automatic Bug-finding Techniques for Large Software Projects

Mgr. Jiří Slabý, Ph.D.

Doctoral thesis

Abstract:

Cílem této práce je výzkum aplikovatelnosti současných technik pro automa- tické hledání chyb na velkých softwarových projektech. Vzhledem k tomu, že tyto projekty bývají komplexní, je poptávka po výkonných analyzátorech, které mohou takové projekty zpracovat bez přílišného generování falešných hlášení. Ke splnění tohoto cíle se práce zaměřuje na statické analyzátory, zejména pak na ty, které používají techniky jako abstraktní interpretace a symbolická exekuce. Od doby jejich uvedení v 70. letech 19. století se jejich použití v současnosti zvyšuje díky rychlým procesorům. Jedině díky tomu jsou tyto techniky použitelné na velkých softwarových projektech. Práce shrnuje aktuální stav vybraných technik implementovaných v sou- časných statických analyzátorech. Nadále diskutuje několik velkých softwa- rových projektů, které mohou být použity jako základna pro vyzkoušení technik. Nakonec jako základnu pro zkoušení zvolíme Linuxové jádro. Kromě prozkoumaného stavu současných technik navrhujeme v práci naše vlastní techniky. Práce prezentuje nástroj Stanse, který používá abstraktní inter- pretaci a který nemá obtíže se zpracováním Linuxového jádra. Nástroj také filtruje falešná hlášení z některých inspektorů kódu. Filtrace je založena na vyhledávání vzorů, což se ukázalo být nedostatečné. Proto jsme se následně snažili situaci zlepšit symbolickou exekucí. K tomu účelu používáme sym- bolický exekutor Klee v našem novém nástroji Symbiotic. Ale protože symbolická exekuce potřebuje dlouhý výpočetní čas, nejprve kód prořezá- váme technikou „static program slicing”. Během našich experimentů jsme si vytvořili povědomí o kategoriích chyb, které jsou obvykle přítomné v kódu jako je Linuxové jádro. Prozkoumali jsme je dále a vyvinuli databázi známých chyb v jedné verzi jádra. Databáze je veřejně dostupná a obsahuje informace o chybách a falešných hlášeních nalezených několika nástroji hledajícími chyby. To může pomoci vývojářům nových statických analyzátorů, aby si porovnali jejich zcela nový analyzátor oproti databázi a zjistili, jak se jejich nástroj chová vzhledem k falešným hlášením, k chybám, které minul a samozřejmě k chybám, které správně našel. Zúčastnili jsme se také s nástrojem Symbiotic soutěže Software Ve- rification Competition. Nástroj musel být upraven na potřeby soutěže. A protože jsme se zúčastnili s příliš předčasnou verzí, výsledky nebyly příliš povzbudivé. Nicméně, nástroj byl vylepšen a nyní dává dobré výsledky – získáváme téměř všechny body v některých kategoriích soutěže. Plánujeme se zúčastnit s naším nástrojem dalšího ročníku soutěže.

Abstract:

This thesis studies the application of contemporary automatic bug-finding techniques to large software projects. As they tend to be complex systems, there is a call for efficient analyzers that can exercise such projects without generating too many false positives. To fulfill these requirements, this thesis aims at the static analysis with the primary focus at techniques like the abstract interpretation and symbolic execution. Since their introduction in 1970’s, their applicability is increasing thanks to current fast processors. Only this renders the techniques usable for larger software. The thesis summarizes the current state of the art of chosen techniques implemented in the current static analyzers. Further, we discuss some large code bases which can be used as a test-bed for the techniques. Finally, we choose the Linux kernel. On the top of the explored state of the art, we develop our own techniques. We present the framework Stanse which utilizes the abstract interpretation and has no issues with handling the Linux kernel. The framework also prunes false positives resulting from some checkers. The pruning method is based on the pattern matching, but it turns out to be weak. Hence we subsequently try to improve the situation by the symbolic execution. For that purpose we use an executor called Klee in our new tool Symbiotic. But since the symbolic execution requires a long computation time, we slice the code by a static slicer first. During our experiments, we cumulated knowledge about categories of bugs usually present in code such as the Linux kernel. We investigated it more and developed a database of known bugs in a fixed version of the kernel. It is publicly available and contains information about errors and false positives found by several bug-finding tools. This can help developers of new static analyzers to compare their brand new tool against the database and see how their tool stands with respect to false positives, missed errors and of course error hits. We also participated with Symbiotic in the Software Verification Competition. The tool had to be adapted to the competition needs. Since we participated only with a too preliminary version of the tool, the results were not so encouraging. Nonetheless, the tool was improved later and it gives good results now -- we collect nearly all points in some competition categories. We plan to compete in the competition with our tuned tool again.

Keywords

bug-finding, large software, static analysis, abstract interpretation, symbolic execution, slicing, bug database, software competition

Language used: English

Date on which the thesis was submitted / produced: 31. 10. 2013

Thesis defence

• Date of defence: 4. 3. 2014
• Supervisor: prof. RNDr. Antonín Kučera, Ph.D.
• Reader: prof. Ing. Tomáš Vojnar, Ph.D., Prof. Dr. Dirk Beyer

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics