Modeling Techniques for Adaptive Practice Systems

RNDr. Jiří Řihák

Doctoral thesis

Abstract:

Práce ze zabývá výzvami spojenými s vývojem adaptivních procvičovacích systémů, zejména se pak zaměřuje na popis metod, které umožňují provoz těchto systémů, umožňují řešit problémy spojené s jejich vývojem a automatizují úkoly běžně prováděné experty. Nejdříve práce popisuje různé techniky pomáhající vytvořit doménový model, který popisuje vědomostní oblast, na kterou se systém zaměřuje. Některé z těchto technik umožňují vytvoření takového modelu zcela automaticky z řešitelských dat, některé kombinují tento přístup založený na datech se vstupem od experta a některé {před\-zpra\-co\-vá\-va\-jí} data tak, aby expert získal lepší vhled do dané oblasti a mohl udělat informovaná rozhodnutí. Dále práce popisuje několik studentských modelů, které systému umožňují se přizpůsobit na míru každému uživateli a nabídnout individualizovaný obsah. Závěrem se práce věnuje časům odpovědí jakožto dodatečné informaci k běžné používané informaci o správnosti odpovědi. Práce studuje jak zkombinovat tyto dva typy informace a jak zapojení časů odpovědí obohatí další analýzu a modely. Pro vyhodnocení těchto technik byly využity jak simulovaná data, tak i data z různých systémů. Pro studium času řešení jsme vyvinuli systém \emph{MatMat}, který se zaměřuje na základy počítání, což je oblast, pro kterou hraje rychlost odpovědí důležitou roli v měření úspěšnosti uživatelů. Výsledky prezentované v této práci poskytují užitečný vhled nejen pro výzkumníky zajímající se o studentské nebo doménové modely ale i pro vývojáře adaptivních systémů.

Abstract:

We study the challenges associated with the development of adaptive practice systems, particularly with the focus on the description of methods, which allow running such intelligent systems which give answers to questions occurring during development and automatize tasks usually done by human experts. First, we describe various techniques which help to create a domain model that describes the knowledge domain on which the system focuses. Some of these techniques allow building a domain model automatically from the learners’ data, some of them combine the data-driven approach with input from a human expert and some process data and give experts an insight into the domain and foundations for further decisions. Next, we depict several learner models which allow the system to adapt to every user and provide individualized content. Finally, we deal with response times as extra information to the frequently used correctness of answers. We study how to combine these two types of information and how the addition of the response time benefits the models and the analysis. To evaluate these techniques, we use both simulated data and datasets from various real-world systems. To study response times, we developed the \emph{MatMat} system focused on the basics of mathematics; that is the domain where response time plays a significant role in measuring the learner's success. The reported results provide valuable insight for both developers of adaptive practice systems and researchers interested in learner and domain modeling.

Keywords

intelligent tutoring system, adaptive practice, system development, domain modeling, learner modeling, response times, knowledge components, clustering, visualization, similarity metrics, elo rating system

Language used: English

Date on which the thesis was submitted / produced: 23. 10. 2017

Thesis defence

• Date of defence: 5. 4. 2018
• Supervisor: doc. Mgr. Radek Pelánek, Ph.D.
• Reader: Prof. Peter Brusilovsky, Prof. Michel Desmarais

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics