Automatic virtual soccer camera

Bc. Attila Zsíros

Master's thesis

Abstract:

Záznamy športových zápasov sú pre kluby dôležité nielen pre streamovanie, ale aj pre postupné zlepšovanie sa analýzou jednotlivých udalostí v zápase. Kým záznamy zápasov sú pre väčšie kluby samozrejmosťou, menšie kluby často nemajú dostatočné personálne a finančné prostriedky na ich nahrávanie. Dnes však už vďaka technikám počítačového videnia existujú riešenia, ktoré vedia do istej miery nahradiť prácu kameramana vystrihovaním dôležitých oblastí zo záznamu zápasu zachyteného statickou širokouhlou kamerou, zaberajúcou celé ihrisko. Tieto riešenia sú však často komerčné, neverejné. Táto práca má za cieľ vyvinúť prototyp takejto automatickej virtuálnej kamery, so zameraním na futbal. Vyvinutý systém používa dotrénovaný detektor hráčov a lopty, model pre virtuálnu PTZ (pan-tilt-zoom) kameru a algorithmus na odhadovanie ideálneho natočenia kamery na základe detekcií. Systém je vyhodnotený na zápase najvyššej futbalovej súťaže na Slovensku porovnaním odhadovaného záberu so záberom z vysielacej kamery. Výsledky ukazujú, že výsledné video používa plynulé pohyby s minimálnym chvením, zachytávajúce hlavné dianie počas všetkých kľúčových momentov zápasu.

Abstract:

Sports match recordings are essential for teams not only to stream their matches but also to identify areas for improvement through analysis of various events in the match. While the availability of match recordings is taken for granted at larger clubs, smaller clubs often do not have the human and financial resources to acquire them. However, given a static wide-angle recording of the full pitch, it is nowadays possible to emulate a human camera operator to some degree by cropping out the important region of each frame using computer vision techniques. These automatic virtual cameras are, however, primarily commercial black-box solutions. This thesis aims to develop a new, open prototype intended for soccer matches. The system uses a fine-tuned player-ball detector, a virtual pan-tilt-zoom (PTZ) camera, and a novel algorithm for estimating the camera PTZ based on the detections. The system is evaluated on a match recording from the Slovak First Football League by comparing the estimated footage with the footage from the broadcast camera. The results show that the system produces smooth camera movements with minimal jitter while keeping the action in the frame throughout all key moments of the match.

Keywords

virtual camera, image distortion, gnomonic projection, object detection, object tracking, kalman filter, particle filter, PID controller

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 6. 2. 2024
• Supervisor: doc. RNDr. Pavel Matula, Ph.D.
• Reader: prof. RNDr. Michal Kozubek, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Visual informatics / Image Processing and Analysis