Validation of Violation Witnesses in Software Verification

Bc. Paulína Ayaziová

Master's thesis

Abstract:

V posledných rokoch sa generovanie svedkov spolu s výsledkom verifikačnej úlohy stalo bežnou praxou u nástrojov softvérovej verifikácie, keďže tieto svedky umožňujú automatické a nezávislé overenie verifikačného výsledku. Práca najprv rozoberá používaný generický formát verifikačných svedkov (formát 1.0) a poukazuje na niekoľko problémov súvisiacich s validáciou svedkov v tomto formáte pre programy v jazyku C. Tieto problémy podnietili návrh nového formátu pre verifikačné svedky, formát 2.0. V práci prezentujeme časť tohto formátu definujúcu svedky nekorektnosti. Ďalej navrhujeme a implementujeme validátor svedkov nekorektnosti v tomto novom formáte založený na symbolickej exekúcii, Witch 3. Experimentálna evaluácia ukazuje, že náš prístup je porovnateľný s jediným ďalším dostupným nástrojom na validáciu svedkov nekoretnosti v tomto novom formáte, CPAchecker, a dokonca ho vo veľkom počte prípadov prekonáva. Ďalej vyhodnocujeme vplyv nového formátu na proces validácie porovnaním nášho validátora s validátorom Symbiotic-Witch 2, ktorý je založený na podobnej technológii a podporuje svedky vo formáte 1.0. Výsledky ukazujú podstatné zlepšenie u svedkov vyprodukovaných verifikačnou technikou, ktorá je odlišná od prístupu validátora. Z týchto výsledkov usudzujeme, že nový formát je vhodný na nezávislé overovanie svedkov nekorektnosti.

Abstract:

Producing witnesses alongside the verdict for a verification task has become standard for software verifiers, as it allows for automatic and independent validation of the result. This work revisits the widely used generic format of verification witnesses, the witness format 1.0, and shows several problems in its definition related to the validation of witnesses for C programs. These issues motivated the proposal of a new format for these witnesses, the witness format 2.0. We present a part of this format for expressing witnesses of violated properties. Further, we design and implement a validator of violation witnesses in this new format, Witch 3, which is based on symbolic execution. Our experimental evaluation shows that the performance of our tool is comparable with the only other available validator of violation witnesses in this new format, CPAchecker, and even outperforms it in a large number of instances. We also evaluate the effect of the format on the validation performance by comparing our validator with Symbiotic-Witch 2, a tool based on similar technology designed for the validation of violation witnesses in witness format 1.0. The results show a substantial improvement in performance given witnesses produced by a verification technique that is different to the approach of the validator, proving that the new format is suitable for independent validation of violation witnesses.

Keywords

software verification, verification witnesses, witness-based validation, symbolic execution, program analysis

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 21. 6. 2024
• Supervisor: prof. RNDr. Jan Strejček, Ph.D.
• Reader: prof. RNDr. Jiří Barnat, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Theoretical computer science / Formal analysis of computer systems