DeepSaber: Deep Learning for high dimensional choreography

Ronald Luc

Bachelor's thesis

Abstract:

Beat Saber je nejoblíbenější hrou pro virtuální realitu roku 2019. Cílem hráče je do rytmu hudby rozsekávat příchozí kostky správným směrem dvěma virtuálními světelnými meči. Vlastnosti kostek jsou definovány herní mapou. Vytvoření herní mapy zabere jednomu člověku hodiny. Cílem práce je automatizovat proces tvorby herních map, který se rozpadá na dvě části: určení, které doby budou mít přiděleny kostky (umístění akce) a kam v prostoru kostky pro každou dobu umístit (výběr akce). Tato práce se zaměřuje na výběr akcí, jelikož přístup popsaný v článku Dance Dance Convolution od Donahue et al. není použitelný ve vysokorozměrném prostoru akcí hry Beat Saber. Představujeme automaticky vytvořený dataset analogií mezi akcemi ve hře Beat Saber a dvě nové metriky založené na word vector technikách. Lokální metrika měří podobnost mezi akcemi a nová globálni metrika sloužící k měření podobnosti mezi lidskou a syntetickou herní mapou pomocí distribuce nových posloupností akcí. Pomocí těchto metrik nakonec ohodnotíme několik RNN modelů. Nejlepší model generuje rozmanité herní mapy které obsahují posloupnosti akcí používané herní komunitou.

Abstract:

Beat Saber is the most popular virtual reality game of 2019. The goal of the game is to slice incoming cubes in the correct direction with two virtual lightsabers. The cubes are defined by a beat map, which is synchronized with the music. The creation of a beat map takes hours. We automate the process of beat map creation, also called learning to choreograph. The task decomposes into two sub-tasks: deciding the time of used beats (action placement) and deciding where in space to put the cubes associated with the chosen beats (action selection). We focus on action selection as the approach from the paper Dance Dance Convolution by Donahue et al. fails in the high-dimensional combination space of Beat Saber. We present a synthetic analogy dataset for Beat Saber actions and two new metrics based on word vectors. A local metric to measure the similarity between actions and a new global metric to measure the similarity between human a synthetic choreography based on the distribution of new patterns. Using the metrics, we explore and evaluate several RNN models with a focus on solving the high-dimensionality. The final model keeps high variance and learns common patterns used by the community.

Keywords

data science, machine learning, deep learning, neural networks, RNN, word vectors, sound processing, learning to choreograph, action selection, Beat Saber

Language used: English

Date on which the thesis was submitted / produced: 20. 7. 2020

Thesis defence

• Date of defence: 22. 9. 2020
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: Mgr. Matej Gallo

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Mathematical Informatics