Exploring Biases in Educational Data

Mgr. Jaroslav Čechák

Advanced ('rigorózní') thesis

Abstract:

Inteligentní výukové systémy poskytují dostupnou, personalizovanou a efektivní výuku. Tyto systémy modelují studenta a na základě těchto modelů se mu pak přizpůsobí. Data, kterou jsou sbírána z těchto systémů, jsou adaptabilitou ovlivněna v tom smyslu, že jsou neúplná a zkreslená. I přesto jsou data dále zpracovávána a na základě jejich analýz se vyvozují závěry o učení studentů a také se podle nich upravují systémy samotné. Jak závěry tak úpravy však mohou být nepřesné právě kvůli zkreslení v datech. Cílem mé dizertační práce je prozkoumat a pochopit zkreslení ve výukových datech. K tomu se výborně hodí simulace, které dovolují vyzkoušet velké množství scénářů a zejména je u nich známá skutečná hodnota jednotlivých parametrů. Mohu tak porovnat výsledky běžně prováděných analýz nad simulovanými daty se skutečnými hodnotami zadanými do simulace. Scénáře v mých simulacích se budou inspirovat skutečnými daty sesbíranými z výukových systémů. Mé cíle jsou: 1) shrnout poznatky ohledně zkreslení ve výukových datech ve formě taxonomie, 2) identifikovat dopady zkreslení na běžně používané modely studentů a 3) navrhnout techniky pro detekci a potlačení zkreslení ve výukových datech.

Abstract:

Intelligent tutoring systems are used to provide accessible, personalized, and effective learning. These systems employ student models that keep track of student skill and adapt accordingly. Data collected from these systems is affected by adaptation of the system, thus, often incomplete and biased. The data, however, is further analyzed, and conclusions about student learning and changes to the system are made. Both the conclusions and the changes may be affected by the biased data. The aim of my thesis is to explore and understand biases in educational data. To do so, I will use simulations as they allow me to test a multitude of scenarios and, above all, they provide unbiased ground truth. I can then compare the results of standard analysis methods to the ground truth and asses the full extent of biases. The scenarios in my simulations will be based on real-life data collected from tutoring systems. My goals are to (1) summarize understanding of biases in educational data in the form of taxonomy, (2) identify effects of biases and commonly used student models, and (3) devise techniques for detecting and mitigating biases.

Keywords

biases, educational data, simulations, intelligent tutoring systems

Language used: English

Date on which the thesis was submitted / produced: 26. 2. 2020

Thesis defence

• Date of defence: 29. 5. 2020
• Reader: doc. RNDr. David Svoboda, Ph.D., doc. Ing. Jaroslav Zendulka, CSc.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Artificial intelligence and data processing / Artificial intelligence and data processing