Violin Performance Motion Capture

Bc. Jakub Slezáček

Master's thesis

Abstract:

Pohyb je základním aspektem hry na hudební nástroj, důležitý nejen pro ovládání hudebního nástroje, ale také pro vyjádření emocí. Vytvoření přesné a uvěřitelné animace pohybů hudebníka je zásadní pro tvorbu imerzivních digitálních animací. Nicméně současné metody, které se využívají pro zachycování rukou jsou nevhodné pro zaznamenávání hry na hudební nástroj, protože ovlivňují hudebníka při hraní. Nedávný vývoj umělé inteligence nabízí slibné řešení tím, že umožňuje odhadovat pozice rukou přímo z běžného videozáznamu. Tato práce využívá tuto novou technologii v kombinaci s klasickými technikami na zachycení pohybu pomocí markerů pro zjednodušení nahrávání pohybů houslisty. Tato práce popisuje proces od zachycení pohybu po vytvoření animace kostry hudebníka a představuje dva softwarové nástroje vyvinuté pro tyto účely: Hand Capture, webová aplikace pro nahrávání pohybu prstů, a Musical Instrument Animation, Blender plugin pro integraci dat o pohybu rukou s pohyby těla. Ačkoliv se práce zaměřuje na hru na housle, vyvinuté nástroje poskytují základ pro další výzkum a mohou být přizpůsobeny k nahrávání dalších hudebních nástrojů, nebo obecného nahrávání pohybu včetně pohybu prstů.

Abstract:

Motion is a fundamental aspect of musical performance, crucial not only for instrument control but also for emotional expression. Achieving accurate and believable animation of musicians' movements is essential for creating immersive digital animations. However, current hand pose capturing methods are unsuitable for recording music performances as they interfere with the performance. Recent advancements in AI offer a promising solution by enabling hand pose estimation directly from regular video footage. This thesis aims to utilize this new technology in combination with traditional marker-based motion capture techniques to streamline the recording of violinists' movements. The thesis describes the process from motion capturing to creating a performer’s skeleton animation and introduces two software tools developed for this purpose: Hand Capture, a web application for recording finger movements, and Musical Instrument Animation, a Blender add-on for integrating hand pose data with body movements. While initially focused on violin performances, the developed tools lay a foundation for further research and could be adapted to support other musical instruments or general motion capture with hand pose estimation.

Keywords

motion capture, hand pose estimation, computer vision, AI, animation, HCI lab, Blender

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 19. 6. 2024
• Supervisor: Mgr. Jiří Chmelík, Ph.D.
• Reader: doc. RNDr. Barbora Kozlíková, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Visual informatics / Computer Games Development