Bias Analysis in Medical Exam Questions Generated by Large Language Models

Mgr. Ema Madarászová

Diplomová práce

Anotace:

Veľké jazykové modely (LLM) sa v súčasnosti čoraz častejšie využívajú na tvorbu edukačného obsahu, vrátane medicínskych otázok s výberom odpovede (MCQ). Kým doterajší výskum sa sústreďoval predovšetkým na presnosť a psychometrickú kvalitu MCQ generovaných umelou inteligenciou, otázke reprezentácie demografických atribútov v klinických scenároch generovaných LLM sa venovala podstatne menšia pozornosť. Presná demografická reprezentácia je pritom kľúčová pre zachovanie klinickej realistickosti a podporu spravodlivého medicínskeho vzdelávania. Táto diplomová práca sa zameriava na skúmanie skreslenia v podobe nesprávnej demografickej reprezentácie v MCQ generovaných LLM, a to prostredníctvom hodnotenia zhody demografických atribútov vo výstupoch modelov s reálnymi epidemiologickými údajmi pre vybrané medicínske ochorenia. Analýze boli podrobené štyri modely — GPT-4o, GPT-5, Gemini 2.5 Flash a LLaMA-4-Scout — s využitím vyvinutej webovej aplikácie, ktorá automatizuje proces generovania otázok, extrakcie demografických údajov, ich vizualizácie a analýzy. Výsledky naznačujú, že všetky analyzované modely vykazujú určitú mieru nesprávnej reprezentácie, pričom najvýraznejšie odchýlky boli zaznamenané pri modeli LLaMA-4-Scout. Táto nesprávna reprezentácia mala často nestereotypný charakter, napríklad vo forme nadmerného zastúpenia menšinových skupín. Experimenty zároveň ukazujú, že všeobecné inštrukcie (prompty) bez určenia počtov pre jednotlivé demografické skupiny nie sú postačujúce; dosiahnutie presnej demografickej reprezentácie si vyžaduje explicitnú kontrolu nad počtom prípadov v jednotlivých podskupinách. Táto práca prináša reprodukovateľný analytický rámec, praktické odporúčania pre tvorbu promptov a podpornú aplikáciu, ktoré spoločne vytvárajú základ pre ďalší výskum a vývoj demograficky spravodlivých edukačných materiálov.

Abstract:

Large language models (LLMs) are increasingly used to produce educational content, including medical multiple-choice questions (MCQs). While prior research has focused primarily on the accuracy and psychometric quality of AI-generated MCQs, far less attention has been paid to how LLMs represent demographic attributes within clinical case vignettes. Yet accurate demographic representation is essential for ensuring clinical realism and supporting equitable medical education. This thesis examines misrepresentation bias in LLM-generated MCQs by evaluating whether demographic attributes in model outputs align with real epidemiological data across selected medical conditions. Four models—GPT-4o, GPT-5, Gemini 2.5 Flash, and LLaMA-4-Scout—were assessed using a custom web application that automates question generation, demographic extraction, visualisation, and analysis. The results show that all models exhibit some degree of misrepresentation, with LLaMA-4-Scout diverging the most. Misrepresentation was often non-stereotypical, such as the overrepresentation of minority groups. The study further demonstrates that broad prompting instructions are insufficient; achieving accurate demographic representation requires explicit control over the number of cases per subgroup. This work provides a reproducible framework, practical prompting guidance, and a supporting application to facilitate further research and the development of demographically fair educational materials.

Keywords

large language models, bias, misrepresentation, medical education, multiple-choice questions, prompt engineering, fairness in AI

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 29. 1. 2026
• Vedoucí: Mgr. Tomáš Foltýnek, Ph.D.
• Oponent: doc. Mgr. Jan Obdržálek, PhD.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Řízení softwarových systémů a služeb / Smart Service Design a Systems Thinking