Two Cases of Human-Centered Computer Science: Usable Developer Interaction with TLS Certificates and Effective Teaching Assistant Training

RNDr. Martin Ukrop

Doctoral thesis

Abstract:

V 21. století se design začal více zaměřovat na lidi: Ve všech oblastech, od návrhu výrobků až po služby, se odborníci začali zaměřovat na motivace, potřeby a potíže svých zákazníků. V informatice byl však důraz dlouho kladen pouze na koncové uživatele a zanedbávaly se potřeby zkušených uživatelů (vývojářů, správců, pedagogů a podobně). <br><br> Tato dizertační práce představuje výsledky informatického výzkumu zkoumajícího specifika lidí jakožto uživatelů. Text je rozdělen do dvou částí, které odpovídají mému dvojímu zaměření: na bezpečnost a vzdělávání. Na jedné straně jde o oblast tzv. „použitelné bezpečnosti“, kde se zaměřuji na zacházení s certifikáty veřejného klíče ve vývoji softwaru. Na druhé straně, v informatickém vzdělávání, se dívám na roli cvičících v univerzitních kurzech. <br><br> První část, týkající se bezpečnosti, začíná pohledem na koncové uživatele: analyzuje komunikaci bezpečnosti směrem k uživateli a hlášení chyb TLS spojení v prohlížečích. Poté se zaměření práce přesouvá na stranu vývojářů a prozkoumává použitelnost standardních nástrojů pro manipulaci s certifikáty a jejich chybová hlášení. Provedli jsme několik studií, při nichž jsme přímo pozorovali zkušené uživatele, jak tyto nástroje používají. Použitelnost i těch nejběžnějších nástrojů se ukázala jako obecně poměrně nízká, což vedlo k dalším studiím zaměřujícím se na důvěru v nevalidní certifikáty a porozumění výsledků validace. S využitím existujících zásad použitelnosti jsme na základě našich výsledků navrhli novou verzi příslušných chybových hlášení a doprovodné dokumentace, s opětovným testováním na větším množství zkušenějších uživatelů. Všechny výsledky naší práce kolem použitelnosti validace certifikátů shrnujeme na webové stránce x509errors.org. Několik zjištěných drobných nedokonalostí jsme opravili přímo v upstreamu. <br><br> Ve druhé části se práce zaměřuje na cvičící jako zásadní lidský prvek univerzitního informatického vzdělávání. Kvůli rostoucímu množství studentů informatiky obsazuje mnoho velkých univerzit na tuto pozici studenty vyšších ročníků. Ačkoli výzkumy ukazují, že cvičící z řad studentů jsou pro ostatní studenty přístupnější a napomáhají efektivnímu učení, jejich odborné i pedagogické znalosti mohou za zkušenými vyučujícími znatelně zaostávat. Přestože na Fakultě informatiky Masarykovy univerzity pomáhají s výukou studenti již od jejího založení, pedagogická podpora na institucionální úrovni nebyla po mnoho let k dispozici. Tato dizertační práce popisuje návrh a vývoj tzv. „Teaching Labu“ – fakultního vzdělávacího kurzu pro začínající cvičící. Kurz stojí na třech pilířích: reflexe, inspirace a komunita. Na podporu tohoto reflektivního procesu používáme vlastní strukturovaný deník. V závěru zobecňujeme mimo naši instituci a zkoumáme výzvy, kterým čelí začínající cvičící na několika evropských univerzitách.

Abstract:

Human-centered design started rapidly gaining traction in the 21st century: Everywhere, from product design to services, professionals began focusing on the motivations, needs and concerns of their customers. Nevertheless, in computer science applications, emphasis has long been put solely on end users, neglecting the needs of professionals (developers, administrators, educators and similar). <br><br> This thesis presents several achievements of human-centered research in computer science. The text is split into two parts corresponding to my joint background in security and education. A human-centered approach in security is manifested in the subfield of usable security, where I focus on handling public-key certificates in software development. Within education, I concentrate on the role of teaching assistants in university-level courses. <br><br> The first (security-focused) part starts by investigating end-user aspects: the security-related user dialogs and TLS warnings in browsers. Afterward, we shift perspective to the other side of the same coin and investigate the usability of standard tools for certificate manipulation and validation warnings they output. Incorporating the principles of human-centered design, we conduct several empirical experiments directly observing IT professionals using these tools. We find the usability of even the most common tools to be generally low, leading to further experiments exploring perceived trust and understanding of flawed certificates. In alignment with the results and general usability principles, we propose a redesign of the relevant error messages and the accompanying documentation and validate it with more IT professionals. While patching multiple small tool imperfections upstream directly, we consolidate the growing work on certificate validation documentation on a dedicated public website x509errors.org. <br><br> In the second part, I focus on the essential human element of university computer science education – the teaching assistants. Due to the rising enrollment in computer science, many major universities employ students for this position. Although research shows they are better approachable and significantly help student performance, both their content knowledge and pedagogical knowledge may notably lag behind the senior teachers. Although the Faculty of Informatics, Masaryk University, has had students assisting with teaching from its foundation, no institutional pedagogical support was available for many years. In this thesis, I describe the design and evolution of the Teaching Lab – the faculty-specific training program for first-time teaching assistants. Standing on the pillars of reflection, inspiration and community, we pay special attention to a structured reflective diary designed to support the process. Generalizing beyond our institution, we conclude by investigating the challenges faced by novice teaching assistants at several European universities.

Keywords

human-centered, usable security, public-key certificate, documentation, teaching assistants, teaching assistant training, reflection

Language used: English

Date on which the thesis was submitted / produced: 15. 3. 2022

Thesis defence

• Date of defence: 18. 8. 2022
• Supervisor: prof. RNDr. Václav Matyáš, M.Sc.
• Reader: prof. Lujo Bauer, PhD, prof. Paul Van Oorschot, PhD

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Computing Technology and Methodology