Event Synchronization in Multiple Video Recordings

Bc. Jakub Halmeš

Bachelor's thesis

Abstract:

Táto práca sa zaoberá problémom časovej synchronizácie videí, ktoré zachytávajú tú istú udalosť vo futbalovom zápase z rôznych kamier. Pre tento účel som implementoval metódu VideoSnapping navrhnutú Wangom a kol., ktorá používa algoritmus SIFT pre extrakciu lokálnych rysov zo snímkov videa. Túto metódu som navyše rozšíril o 18 rôznych algoritmov pre extrakciu rysov na nájdenie takého, ktorý je najvhodnejší na synchronizáciu futbalových videí. K vyhodnoteniu metódy som vytvoril dátovú množinu párov synchronizovaných futbalových videí, ktoré zobrazujú rovnakú udalosť. Zatiaľ čo podobné videá boli často zosynchronizované presne, synchronizácia zvyčajne zlyhala na výrazne odlišných videách, ako napríklad detailný záber hráča a široký záber hracej plochy. Tieto výsledky naznačujú, že metóda sa môže použiť na automatickú synchronizáciu podobných futbalových videí, ale pre presnú synchronizáciu vizuálne odlišných videí sú potrebné ďalšie vylepšenia.

Abstract:

This thesis studies the problem of temporal synchronization of videos capturing the same event in a soccer match with different cameras. To this end, I implemented a VideoSnapping method proposed by Wang et al., which uses SIFT algorithm to extract local features from video frames. Furthermore, I extended the method with 18 different feature extractors to determine which one is the most suitable for synchronizing soccer videos. To evaluate the method, I created a dataset of pairs of synchronized soccer videos displaying the same event. While similar videos were often synchronized accurately, synchronization usually failed on substantially distinct videos, such as a detailed view of the player and a view of the whole pitch. The results suggest that the method may be used for the automatic synchronization of similar soccer videos, but further improvements are needed for the accurate synchronization of visually disparate videos.

Keywords

video synchronization, dynamic time warping, cost matrix, local features, soccer

Language used: English

Date on which the thesis was submitted / produced: 18. 5. 2023

Thesis defence

• Date of defence: 28. 6. 2023
• Supervisor: doc. RNDr. Petr Matula, Ph.D.
• Reader: prof. RNDr. Michal Kozubek, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics