Musical Instrument Animation Blender Add-on

Bc. Hana Drtílková

Bachelor's thesis

Abstract:

Optické snímání pohybu pomocí značek je účinný nástroj pro přesné zachycení pohybu při nejrůznějších aktivitách a jeho převedení do digitální podoby. Pro nahrávání hudebních vystoupení je klíčové zachytit jemné a přesné pohyby prstů, ale současné technologie založené na značkách nenabízejí řešení, které by nebránilo volnému pohybu hudebníka při hře. Diplomová práce Jakuba Slezáčka Violin Performance Motion Capture přichází s řešením, které snímání pohybu prstů řeší obyčejnou webovou kamerou v kombinaci s umělou inteligencí, která rozpoznává pozice rukou na základě obrazu, zatímco pohyby celého těla jsou snímány optickým systémem se značkami. Data z obou zdrojů jsou následně spojena v Musical Instrument Animation Blender rozšíření, které autor vytvořil. Tato práce původní rozšíření doplňuje o náhled videa s vykreslenými pozicemi rukou tak, jak je umělá inteligence odhadla. Náhled aktivně reaguje na aktuální snímek animace v Blenderu a slouží jako předloha pro uživatele, který výslednou animaci upravuje. Dále jako součást práce vznikl soubor nahrávek pro účely testování náhledu. Práce přináší vyšší uživatelskou přívětivost původního rozšíření díky okamžité zpětné vazbě, zda je aktuální odhadnutá pozice ruky správná, a díky předloze s cílovou pozicí ruky. Jelikož soubor nahrávek obsahuje vystoupení jiných nástrojů než houslí, práce navíc zkoumá schopnost systému zaznamenávat různá hudební vystoupení. V budoucnu může být práce velmi nápomocná při dalším vývoji systému, jelikož náhled s pozicemi rukou je výkonným ladicím nástrojem a soubor nahrávek poskytuje cenná testovací data.

Abstract:

Marker-based optical motion capture is a powerful tool capable of accurately recording a wide range of performances. However, for musical performances, it is crucial to accurately capture subtle but precise finger movements to produce believable animations. As of now, current marker-based motion capture techniques do not offer a practical solution that does not impair the dexterity of the musician's fingers. Jakub Slezáček's master's thesis Violin Performance Motion Capture presents a solution for capturing the motion of a performing violinist without limiting their freedom of movement. The author developed a workflow where the full-body movement is tracked by an optical motion capture system, whereas the hand motions are recorded with an RGB camera and estimated using a pre-trained AI model. The data is then joined within a custom Blender add-on called Musical Instrument Animation to create an animated armature. This thesis extends the existing add-on by implementing a responsively generated overlay of the estimated hand poses displayed over a reference video. Furthermore, it provides an exemplary motion capture dataset to demonstrate the usability of the add-on. As a result, the Blender add-on is now more effective and user-friendly by offering immediate visual feedback on the accuracy of hand pose estimation and a reference to the actual desired hand positions. Additionally, as the recorded dataset features different instruments other than the violin, the thesis explores the current limitations of the Violin Performance Motion Capture system and aids future development of the original Musical Instrument Animation Blender add-on, as the reference is a powerful debugging tool and the dataset provides valuable testing data.

Keywords

Blender, HCI laboratory, motion capture

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2025

Thesis defence

• Date of defence: 26. 6. 2025
• Supervisor: Mgr. Jiří Chmelík, Ph.D.
• Reader: RNDr. Filip Opálený

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics