Modeling Problem Solving Times in Tutoring Systems

Mgr. Petr Jarušek, Ph.D.

Doctoral thesis

Abstract:

V této práci se zabýváme Tutor systémy, konkrétně se náš výzkum zaměřuje na předpověď času na správné vyřešení úlohy v kontrastu k zpracování správnosti / špatnosti odpovědi. Tento pohled vede k novým typům vzdělávacích úloh a ty vyžadují nové modely. Navrhujeme jednoduchý model, který přepodkládá lineární závislost mezi skrytou schopností studenta řešit úlohy a logaritmem času na vyřešení úlohy. Ukazujeme, že tento model souvisí se dvěma oblastmi: teorií Item Resposne Theory a s doménou Collaborative filetring. Kromě základního modelu popisujeme také jeho rozšíření pro učení a vícedimenzionální schopnost studenta. Užitím syntetických a reálných dat z našeho nástroje ``Problem Solving Tutor'' vyhodnocujeme model, analyzujeme jeho parametry a techniky odhadu těchto parametrů a také diskutujeme vhled do obtížnosti úloh, který tento model přináší. Jako přímou aplikaci navrženého modelu jsme vyvinuli ``Problem Solving Tutor'' (tutor.fi.muni.cz) -- webový nástroj pro výuku skrze řešení problémů. Na základě modelu Tutor předpovídá čas na vyřešení úlohy studentem a na základě tohoto odhadu doporučuje studentovi problémy vhodné obtížnosti. Nástroj obsahuje 30 typů problémů a více než 2\,000 samotných úloh, především programátorských, ale také matematických a logických. Tyto problémy jsou interaktivní a systém dává studentům okamžitou zpětnou vazbu na jejich výkon. Systém je široce používán - má více než 460 \,000 vyřešených úloh a 10\,000 uživatelů. Systém také podporuje ``virtuální třídy'' a je používán na více než 50 středních školách v České republice. Na závěr se zabýváme šesti transportními úlohamy -- Minotaurus, Number Maze, Replacement Puzzle, Rush Hour, Sokoban a úlohou Tilt Maze. S využitím Tutora sbíráme rozsáhlá data ohledně řešení úloh. Výsledky ukazují, že existují velké rozdíly v obtížnosti jednotlivých úloh a že tyto rozdíly není možné vysvětlit na základě předchozího výzkumu. Proto konstruujeme výpočetní model, který simuluje chování řešitelů ve stavovém prostoru úloh. Model vyhodnocujeme a nabízíme k němu diskusi. Také odvozujeme koncept úzkého hrdla pro stavový prostor a metodu dekompozice pro odhad obtížnosti úlohy Sokoban. Obě metody vyhodnocujeme a srovnáváme s jinými metrikami.

Abstract:

We study problem solving in context of intelligent tutoring systems, particularly with the focus on timing information as opposed to just correctness of answers. This leads to different types of educational problems and requires new student models. We describe a simple model which assumes a linear relationship between latent problem solving skill and a logarithm of time to solve a problem. We show that this model is related to models from two different areas: the item response theory and collaborative filtering. We also propose model extensions for learning and dealing with multidimensional skills. Using both synthesized data and real data from a widely used ``Problem Solving Tutor'' we evaluate the model, analyze its parameter values and estimation techniques, and discuss the insight into problem difficulty which the model brings. As a direct application of the model we developed a ``Problem Solving Tutor'' (tutor.fi.muni.cz) -- a web-based educational tool for learning through problem solving. The tool makes predictions of problem solving times and thus is able to recommend to each student a problem of suitable difficulty. The tool contains 30 problem types and more than 2\,000 problems, mainly programming problems, math problems and logic puzzles. All problems are interactive and the system gives students immediate feedback on their performance. This system is already widely used -- it has more than 460 \,000 problems solved and 10\,000 users. The system also supports ``virtual classes'' and is already used in more than 50 high schools in Czech republic. Finally, we study six transport puzzles -- Minotaurus, Number Maze, Replacement Puzzle, Rush Hour, Sokoban and Tilt Maze. Using Tutor we collect large scale data on human problem solving of these puzzles. The results show that there are large differences among difficulty of individual problem instances and that these differences are not explained by previous research. In order to explain differences, we propose a computational model of human problem solving behavior based on state space navigation and provide evaluation and discussion. We also derive concept of state space bottleneck and problem decomposition for Sokoban puzzle. We evaluate both methods and compare them to other metrics.

Keywords

Intelligent Tutoring Systems, Modeling Problem Solving Times, Transport Puzzles, Problem Solving Tutor

Language used: English

Date on which the thesis was submitted / produced: 3. 6. 2013

Thesis defence

• Date of defence: 3. 10. 2013
• Supervisor: prof. RNDr. Ivana Černá, CSc.
• Reader: prof. RNDr. Ivan Kalaš, Ph.D., RNDr. Tomáš Horváth, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics