Practical use of natural language processing in education technology

Dominik Hartinger

Master's thesis

Praktické využití zpracování přirozeného jazyka ve vzdělávací technologii

Abstract:

Hlavním záměrem této práce je vývoj a integrace nových funkcionalit založených na zpracování přirozeného jazyka pro Beagle Learning. Beagle Learning je Bostonský startup působící na poli vzdělávacích technologií, jenž vyvinul svou vlastní vzdělávací metodologii a rád by vylepšil svou momentální API odpovědnou za prediktivní úlohy nad textem tak, aby odpovídala nárokům na produkční aplikaci využívanou tisícovkami studentů. Klíčovým cílem bylo zanalyzovat, navrhnout, vyvinout a otestovat rozšiření, jež by řešilo tři hlavní požadavky na další plánované verze aplikace Beagle: - Klasifikace typu otázek - Deduplikace otázek - Automatizace ohodnocení dle Indexu produktivity otázek Pro vyplnění těchto úkolů bylo vyzkoušeno a porovnáno několik přístupů pro účel výběru nejvhodnějšího řešení pro požadavky Beagle. Algoritmy byli vyvinuty a otestovány s použitím dat dodaných společností, nicméně některá data bylo nutné manuálně ohodnotit. Práce sestává ze tří hlavních částí - po uvedení čtenáře do kontextu problematiky a přístupů k řešení následují postupy řešení jednotlivých úkolů, na které nakonec navazuje jejich implementace do API. Ve výsledku byla úspěšně nalezena a implementována řešení dva ze tří úkolů. Pro neúspěšný úkol s Indexem produktivity otázek bylo identifikováno několik problémů a výzev, což pomůže při budoucím hledání řešení.

Abstract:

The main focus of this thesis is the development and integration of new functionalities based on natural language processing for Beagle Learning. Beagle Learning is a Boston-based education technology startup that developed its own educative methodology and is looking to improve the current production NLP API endpoint and extend its capabilities to support the needs of their production application that is being used by thousands of students. The main goal of this work was to analyze, design, develop and integrate the solution of three main tasks that were needed as features in the next planned versions of the Beagle application: -Question type classification -Question deduplication -Question Productivity Index scoring automation For these tasks, multiple NLP approaches were adopted and compared to discover the best solutions that would yield satisfactory results in terms of Beagle’s needs. The algorithms were developed and tested using data provided by the company, where some of the data needed to be manually tagged prior to the research work. The thesis consists of three main parts – firstly, a context has been provided for the reader to understand the matters and the approaches. Then, each of the respective tasks is introduced in its own research block, finally followed by the API implementation and integration testing chapter. As the result, the first two of the three tasks have been successfully completed and implemented. As for the QPI problem, series of challenges and limitations have been identified that will be helpful in the future attempts to find a solution.

Keywords

Zpracování přirozeného jazyka, Index produktivity otázek, Strojové účení, Hluboké učení, Umělé neuronové sítě, Sémantická deduplikace, API, Python, Vzdělávací technologie

Keywords

Application programing interface, Education technology, Python, Artificial neural networks, Natural language processing, Question Productivity Index, Machine learning, Deep learning, Semantic deduplication

Language used: English

Date on which the thesis was submitted / produced: 4. 12. 2021

Thesis defence

• Date of defence: 21. 3. 2022
• Supervisor: Ota Novotný
• Reader: Turner Bohlen

Vysoká škola ekonomická v Praze

Master programme:
Data a analytika pro business