Computerized Adaptive Practise of Factual Knowledge

RNDr. Jan Papoušek

Doctoral thesis

Abstract:

Důležitost online vzdělávacích systémů roste. V rámci nich se sbírá více a více dat, což otevírá nové možnosti aplikovat metody známé ze strojového učení a analýzy dat. Pomocí těchto metod lze vylepšit chování vzdělávacích aplikací tak, aby byly prospěšnější pro jejich uživatele. Představujeme framework pro adaptivní procvičování faktů za použití počítačů a uzavřených otázek s více možnostmi, zejména v doménách s proměnlivou vstupní znalostí uživatelů. Tento framework používá dva oddělené modely pro vstupní a aktuální znalost uživatele a na základě nich předkládá otázka s adekvátní obtížností. Pro konstrukci distraktorů v otázkách s více možnostmi jsou použity nesprávné odpovědi v historických datech. Navrhovaný přístup je implementován ve dvou aplikacích na procvičování zeměpisu a anatomie. Tyto systémy jsou v současné době používání mnoha lidmi a slouží jako platforma pro evaluaci. S novými možnosti přichází ruku v ruce i nové problémy související se zkreslením v posbíraných datech, které je způsobeno inteligentním chováním vzdělávacích systémů a faktem, že uživatelé interagují se systémy v prostředí, které nemůže být zcela kontrolováno. V práci zkoumáme dopad sběru dat na evaluaci adaptivních vzdělávacích systémů jako celku a popisujeme konkrétní techniky pro měření dopadu adaptivity na učení uživatelů a používání těchto systémů. Pro ilustraci uvádíme pět případových - rozsáhlých randomizovaných kontrolovaných experimentů, které proběhly v rámci naší aplikace na procvičování zeměpisu. Výsledky popisovaných experimentů vnáší zajímavý vhled do návrhu vzdělávacích systémů. Co je ovšem ještě důležitější, analýza těchto výsledků odkrývá několik problematických oblastí: výběr toho, co měříme (zaujetí uživatelů vs.\ učení); rozhodnutí, jak měříme (například používání systému lze měřit množstvím interakcí, ale i časem stráveným v systému); zkreslení v datech.

Abstract:

The importance of online educational systems is growing. They are able to collect more and more data which opens new possibilities to apply methods known from machine learning and data analysis to improve their behavior to make them more beneficial to learners. We propose a framework for the computerized adaptive practice of facts providing multiple-choice questions in domains with varied prior knowledge. The framework uses two separate models for prior and current knowledge and based on this, it tries to provide learners with a question of appropriate difficulty. To construct sufficiently competitive distractors in the case of multiple-choice questions, the framework works with historical data containing past wrong answers. We implemented the proposed approach in two systems for practicing geography and anatomy. These systems are widely used and serve as a platform to evaluate the framework. New possibilities come together with new issues related to the bias in the collected data introduced by the intelligent behavior of systems and by learners interacting with the systems in an uncontrolled environment. We investigate the impact of the data collection on the evaluation of learner models. We discuss methodological issues in the evaluation of an adaptive educational system as a whole and propose specific techniques for measuring learners' engagement and learning. To illustrate these techniques, we discuss five case studies - large-scale randomized control trials performed using the adaptive learning system for geography. The results provide an interesting insight into several design aspects of an adaptive educational system. More importantly, the analysis of results highlights several general evaluation issues: the choice of what we measure (engagement versus learning, short-term engagement versus long-term engagement), the choice of how we measure (measuring engagement using the number of answers versus the time spent within the system), and attrition bias.

Keywords

varied prior knowledge, adaptive educational system, intelligent tutoring system, computerized adaptive practice, factual knowledge, task construction

Language used: English

Date on which the thesis was submitted / produced: 30. 10. 2017

Thesis defence

• Date of defence: 21. 2. 2018
• Supervisor: doc. Mgr. Radek Pelánek, Ph.D.
• Reader: prof. Ing. Mária Bieliková, Ph.D., Assoc. Prof. Ryan Baker

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics