Improving user experience in the sec-certs web tool

Bc. Martin Hofbauer

Diplomová práce

Anotace:

Webový nástroj sec-certs řeší zásadní výzvy při analýze bezpečnostních certifikací, jako jsou Common Criteria (CC) a FIPS 140, které jsou klíčové pro ověřování bezpečnosti IT produktů. Tyto certifikace jsou však zveřejňovány jako nestrukturované PDF dokumenty, což omezuje automatizaci, možnosti vyhledávání a rozsáhlé analýzy. Nástroj sec-certs tyto dokumenty zpracovává do strukturovaných datových sad, díky čemu může nabídnout pokročilé funkce, jako je porovnávání certifikátů, sledování zranitelností a analýza trendů. Navzdory své rozsáhlé funkcionalitě představuje uživatelský prožitek (UX) nástroje překážku pro jeho hlavní uživatele – bezpečnostní odborníky, prodejce certifikovaných produktů a výzkumníky. Tato práce se zaměřuje na zlepšení UX webového nástroje sec-certs prostřednictvím návrhu orientovaného na uživatele. Byla provedena rozsáhlá uživatelská studie, která zahrnovala rozhovory, dotazníky a testování na mezinárodní konferenci Common Criteria (ICCC 2024). Zjištění odhalila klíčové problémy s použitelností nástroje sec-certs, včetně nekonzistentní navigace, neefektivního vyhledávání a obtížného používání některých funkcí. K jejich řešení byl mimo jiné navrhnut sjednocený navigační systém, zjednodušeno vyhledávací rozhraní a přepracovány stránky s certifikáty. Tyto úpravy, postupně vylepšované pomocí prototypování a zpětné vazby, vedly k intuitivnějšímu a efektivnějšímu uživatelskému prožitku. Tato práce přispívá k větší transparentnosti v oblasti bezpečnostních certifikací a vytváří základ pro budoucí vylepšení, jako je integrace nového standardu EUCC nebo lepší podpora pro mobilní zařízení.

Abstract:

The sec-certs web tool addresses critical challenges in analyzing security certifications like Common Criteria (CC) and FIPS 140, which are essential for verifying the security of IT products. However, these certifications are published as unstructured PDFs, limiting automation, searchability, and large-scale analysis. The sec-certs tool processes these documents into structured datasets, enabling advanced functionalities such as cross-certificate comparisons, vulnerability tracking, and trend analysis. Despite its technical capabilities, the tool’s user experience (UX) presents obstacles for its primary users – security professionals, vendors, and researchers. This thesis focuses on improving the UX of the sec-certs web tool through a user-centered design approach. We conducted a comprehensive user study involving interviews, surveys, and observational testing at the International Common Criteria Conference (ICCC 2024). Our findings identified key usability issues in the sec-certs tool, including inconsistent navigation, inefficient search, and poor feature discoverability. To address these, we introduced a unified navigation system, streamlined the search interface, redesigned certificate pages, and improved feedback and accessibility. These enhancements, refined through iterative prototyping and feedback, led to a more intuitive and efficient user experience. This work supports greater transparency in security certifications and lays the groundwork for future improvements such as EUCC integration and enhanced mobile support.

Keywords

CRoCS, Red Hat, security, SPP, user interface, user study

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 21. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 6. 2025
• Vedoucí: RNDr. Martin Ukrop, Ph.D.
• Oponent: RNDr. Vít Rusňák, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Nasazení a provoz softwarových systémů