AI-Assisted Critique of Data Visualizations

Bc. Katarína Sieklová

Diplomová práce

Anotace:

Táto práca skúma rozdiely medzi interpretáciami dátových vizualizácií ľuďmi a umelou inteligenciou (AI) so zameraním na to, ako každá skupina identifikuje problémy a navrhuje zlepšenia. Štúdia skúma vizualizácie vytvorené v rámci projektu Fakta o klimatu a porovnáva kvalitatívne hodnotenia vytvorené ľuďmi a vybranými modelmi AI. Najprv bola zhromaždená ľudská spätná väzba ku každej vizualizácii z predchádzajúcej diplomovej práce Bc. Jany Baluchovej na Masarykovej univerzite. V tejto štúdii účastníci hodnotili sériu vizualizácií pomocou think-aloud protokolu, pričom verbalizovali, čo si všimli ako prvé, ako interpretovali vizualizácie a čo považovali za nejasné alebo mätúce. Výsledné prepisy boli zhromaždené a systematicky kódované na analýzu. Ďalej vybrané modely AI hodnotili rovnaké vizualizácie. Ich odpovede sa zameriavali na interpretáciu vzorcov, jasnosť vizuálneho kódovania, potenciálne zdroje nedorozumení a návrhy na zlepšenie. Tieto hodnotenia generované AI boli následne preskúmané expertkou v oblasti dizajnu vizualizácií. Výsledky ukazujú, že ľudia aj modely AI identifikovali vo vizualizáciách niekoľko podobných problémov. Modely umelej inteligencie však vo všeobecnosti poskytovali rozsiahlejšiu a na riešenia zameranú spätnú väzbu, zatiaľ čo ľudia mali tendenciu poskytovať kratšie, primárne na problém zamerané pozorovania. Modely umelej inteligencie tiež nastolili ďalšie úvahy, ktoré účastníci nespomenuli, hoci niektoré neboli prakticky relevantné a určité predpoklady o možnej ľudskej nesprávnej interpretácii sa nepotvrdili. Hodnotenie experta ďalej preukázalo, že kritika generovaná umelou inteligenciou môže poskytnúť technicky podložené a potenciálne užitočné odporúčania, ale často jej chýba kontextové povedomie a citlivosť na to, ako skutoční používatelia interpretujú vizuálne informácie. Celkovo práca zdôrazňuje potenciál aj obmedzenia používania umelej inteligencie na hodnotenie vizualizácie. Hoci umelá inteligencia môže ponúknuť cennú podporu a širšie analytické perspektívy, nemôže úplne nahradiť empirickú spätnú väzbu od používateľov ani presne odrážať ľudskú interpretáciu vizualizácií.

Abstract:

This thesis investigates differences between human and artificial intelligence (AI) interpretations of data visualizations, focusing on how each group identifies problems and proposes improvements. The study examines visualizations created within the Facts on Climate Change project and compares qualitative evaluations produced by people and selected AI models. First, human feedback on each visualization was gathered from a previous master's thesis by Bc. Jana Baluchová at Masaryk University. In that study, participants evaluated a series of visualizations using a think-aloud protocol, verbalizing what they noticed first, how they interpreted the visualizations, and what they found unclear or confusing. The resulting transcripts were collected and systematically coded for analysis. Next, selected AI models evaluated the same visualizations. Their responses focused on the interpretation of patterns, clarity of visual encoding, potential sources of misunderstanding, and suggestions for improvement. These AI-generated evaluations were subsequently reviewed by an expert in visualization design. The results show that both humans and AI models identified several similar issues in the visualizations. However, AI models generally produced more extensive and solution-oriented feedback, while people tended to provide shorter, primarily problem-focused observations. AI models also raised additional considerations not mentioned by participants, though some were not practically relevant, and certain assumptions about possible human misinterpretation were not confirmed. The expert evaluation further demonstrated that AI-generated critiques can provide technically grounded and potentially useful recommendations, but they often lack contextual awareness and sensitivity to how real users interpret visual information. Overall, the thesis highlights both the potential and the limitations of using AI for visualization evaluation. While AI can offer valuable support and broader analytical perspectives, it cannot fully replace empirical user feedback or accurately reflect human interpretation of visualizations.

Keywords

AI, visualization, GPT 5.3 Codex, Gemini 3.1 Pro, Claude 4.6 Opus, qualitative analysis, respondent feedback, vizualizácia, kvalitatívna analýza, spätná väzba od respondentov

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 16. 6. 2026
• Vedoucí: doc. RNDr. Barbora Kozlíková, Ph.D.
• Oponent: RNDr. Katarína Furmanová, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Řízení softwarových systémů a služeb / Smart Service Design a Systems Thinking