Exploring Statistical Biases in Educational Data: A Simulation-Based Approach

RNDr. Jaroslav Čechák

Doctoral thesis

Abstract:

Oblast dolování výukových dat se těší velké popularitě. Výukové systémy prokázaly svoji schopnost zefektivnit výuku studentů a zároveň nabídnout dostupné vzdělávání pro široké publikum. Hlavní pozornost se přesunula od návrhu nových modelů a technik k zajištění validity, reprodukovatelnosti a férovosti stávajících i nových přístupů. Tato práce prezentuje metodologický přístup, který umožňuje zkoumat validitu, reprodukovatelnost a férovost, a poukazuje na potenciální problémy předchozího výzkumu. Práce se zaměřuje na popsání a pochopení různých zkreslení ve výukových datech, která jsou problematickým prvkem pro reprodukovatelnost výsledků a celkově podceňovaná oblast dolování výukových dat. Dále práce zkoumá limity široce rozšířeného modelu studentů a ukazuje jeho problematické chování, které vede k nepřesným závěrům. Hlavní výzkumnou metodou použitou v práci jsou simulace, které dovolují zkoumat rozmanité scénáře a zároveň mít velmi jemnou kontrolu nad vstupními parametry. Závěr práce rozebírá složitost a náročnost položek v kontextu zkreslení v datech. Hlavním přínosem práce je prezentovaná metodologie využívající simulace, která poslouží jako vzor pro další zkoumání validity, reprodukovatelnosti a férovosti v oblasti dolování výukových dat, a zvýšení povědomí o problémech předchozích výzkumů.

Abstract:

Educational data mining (EDM) field has grown and matured. The ability of learning environments to provide meaningful improvement of student learning experience and availability of education is no longer questioned. The focus of EDM research has now shifted from only inventing new techniques and models to also ensuring the validity, reproducibility, and fairness of existing ones. In this thesis, we present a methodology that enables us to study new focus areas, and we use it to point out potential problems with the validity of previous research. We focus on describing and understanding biases in data that are problematic in terms of reproducibility and that have been generally understudied in EDM research. We also explore the limitations of a~student model widely used in previous research and identify problematic behavior producing misleading conclusions that do not reflect reality. All this is enabled by a proposed methodology based on simulations that allow us to explore a wide range of scenarios and still have fine control over individual aspects and details. Lastly, we discuss item difficulty and complexity in the context of biases. Overall, we contribute to the field of EDM with the presented simulation methodology that serves as a blueprint for future research into validity, reproducibility, and fairness and by raising awareness of pitfalls relevant to previous and future EDM research.

Keywords

educational data mining, inteligent tutoring systems, learning analytics, adaptive learning, biases, simulations, cheating, student modeling, additive factors model

Language used: English

Date on which the thesis was submitted / produced: 9. 10. 2023

Thesis defence

• Date of defence: 14. 3. 2024
• Supervisor: doc. Mgr. Radek Pelánek, Ph.D.
• Reader: Dr. Giora Alexandron, Dr. Cyril Goutte

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Computing Technology and Methodology