Folk-Dance Learning Using Human Motion Data Analysis

Iris Kico

Doctoral thesis

Abstract:

Lidové tance jsou součástí kulturního dědictví a jejich uchování a předávání dalším generacím je důležité pro udržení kulturní identity v rostoucí globalizaci. Se současnými technologiemi, jako jsou systémy pro snímání pohybu, lze lidové tance ukládat a uchovávat v digitální podobě. Zachycené tance lze vizualizovat v prostředí virtuální a rozšířené reality nebo v desktopových softwarových aplikacích. Vzhledem k tomu, že lidové tance se obvykle vyučují osobně prostřednictvím sledování a napodobování pohybu učitele, lze takové aplikace použít i pro výuku. Studenti mohou sledovat digitalizovaná vystoupení učitelů a pokusit se je zapamatovat a reprodukovat. Je důležité poskytnout zpětnou vazbu k procesu učení a pomoci tak studentům zlepšit jejich provedení tance. Digitalizací tanečních vystoupení je tak možné porovnat pohybová data studentů a učitele, a určit jejich podobnost. Nalezení kvalitní a rychlé metody pro kvantifikaci podobnosti je ovšem náročné. Tato práce představuje přínos k uchování středoevropských lidových tanců. Taneční vystoupení jednotlivců i dvojic byly digitalizovány pomocí optického kamerového systému pro snímání pohybu a vizualizovány ve vyvinutých interaktivních softwarových aplikacích pro počítače i virtuální a rozšířenou realitu. Vyvinuté aplikace byly využity i pro výuku lidového tance. Dále bylo zkoumáno uchování lidových tanců prostřednictvím procesu učení pomocí nových přístupů na základě několika uživatelských experimentů. Výsledky jsou slibné a ukazují potenciál využití softwarových aplikací pro výukové účely. Vyhodnocení uživatelských experimentů a poskytování zpětné vazby bylo založeno na numerické analýze pohybových dat. Jelikož analýza pohybových dat musí brát v úvahu i sémantiku, byl navíc vyvinut obecnější model pro automatickou extrakci charakteristik pohybu zachovávajících sémantický obsah.

Abstract:

Folk dances are part of cultural heritage, and their preservation and transmission to the next generation are essential for maintaining cultural identity in growing globalization. Nowadays, with available technologies like motion capture systems, folk dances can be saved and preserved in digital form. Captured dances can be visualized in virtual and augmented reality environments or desktop software applications. Since this kind of dance is usually taught in person by watching and imitating the teacher's performance, these applications can also be used for learning. Students can observe digitized teachers' performances and try to remember and reproduce them. It is necessary to provide feedback to assess the learning process and help students improve their performance. By digitizing dance performances, it is possible to compare students and the teacher's motion data and determine the similarity. Finding an appropriate similarity method is challenging since the main goal is to provide an effective and efficient comparison of performances. This work presents our contribution to the preservation of Central European folk dances. The dances have been digitized as single and partner dance performances, using an optical motion capture system and visualized in new, interactive desktop, virtual, and augmented reality software applications. Developed applications were also used for folk dance learning. Preserving folk dances through the learning process using new approaches was explored through several user experiments. Results are promising and show the potential to use the software applications for learning purposes. User experiments evaluation and providing feedback were based on numerical data analysis. Additionally, since motion data analysis has to consider semantics, a more general model for automated extracting content-preserving motion features has been developed.

Keywords

uchování lidových tanců, data lidského pohybu, snímání pohybu, digitalizace, vizualizace, podobnost pohybových dat, učení, lidové tance folk dances preservation, human motion data, motion capture, digitization, visualization, motion data similarity, learning, folk dances

Language used: English

Date on which the thesis was submitted / produced: 14. 2. 2023

Thesis defence

• Date of defence: 21. 6. 2023
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: Prof. Kosmas Dimitropoulos, doc. Ing. Karel Zimmermann, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Fundamentals of Computer Science