Violin Performance Motion Capture

Bc. Jakub Slezáček

Diplomová práce

Anotace:

Pohyb je základním aspektem hry na hudební nástroj, důležitý nejen pro ovládání hudebního nástroje, ale také pro vyjádření emocí. Vytvoření přesné a uvěřitelné animace pohybů hudebníka je zásadní pro tvorbu imerzivních digitálních animací. Nicméně současné metody, které se využívají pro zachycování rukou jsou nevhodné pro zaznamenávání hry na hudební nástroj, protože ovlivňují hudebníka při hraní. Nedávný vývoj umělé inteligence nabízí slibné řešení tím, že umožňuje odhadovat pozice rukou přímo z běžného videozáznamu. Tato práce využívá tuto novou technologii v kombinaci s klasickými technikami na zachycení pohybu pomocí markerů pro zjednodušení nahrávání pohybů houslisty. Tato práce popisuje proces od zachycení pohybu po vytvoření animace kostry hudebníka a představuje dva softwarové nástroje vyvinuté pro tyto účely: Hand Capture, webová aplikace pro nahrávání pohybu prstů, a Musical Instrument Animation, Blender plugin pro integraci dat o pohybu rukou s pohyby těla. Ačkoliv se práce zaměřuje na hru na housle, vyvinuté nástroje poskytují základ pro další výzkum a mohou být přizpůsobeny k nahrávání dalších hudebních nástrojů, nebo obecného nahrávání pohybu včetně pohybu prstů.

Abstract:

Motion is a fundamental aspect of musical performance, crucial not only for instrument control but also for emotional expression. Achieving accurate and believable animation of musicians' movements is essential for creating immersive digital animations. However, current hand pose capturing methods are unsuitable for recording music performances as they interfere with the performance. Recent advancements in AI offer a promising solution by enabling hand pose estimation directly from regular video footage. This thesis aims to utilize this new technology in combination with traditional marker-based motion capture techniques to streamline the recording of violinists' movements. The thesis describes the process from motion capturing to creating a performer’s skeleton animation and introduces two software tools developed for this purpose: Hand Capture, a web application for recording finger movements, and Musical Instrument Animation, a Blender add-on for integrating hand pose data with body movements. While initially focused on violin performances, the developed tools lay a foundation for further research and could be adapted to support other musical instruments or general motion capture with hand pose estimation.

Keywords

motion capture, hand pose estimation, computer vision, AI, animation, HCI lab, Blender

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 21. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 19. 6. 2024
• Vedoucí: Mgr. Jiří Chmelík, Ph.D.
• Oponent: doc. RNDr. Barbora Kozlíková, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Vizuální informatika / Vývoj počítačových her