Multi-Subject Tracking in Crowded Videos

Bc. Matúš Macko

Master's thesis

Abstract:

Cenová dostupnosť kamier so sebou prináša obrovské množstvo multimediálnych dát, ktorých automatizované spracovanie je náročnou úlohou. Jedným zo zaujímavých prístupov spracovania je trackovanie veľkého množstva ľudí vo videách. Účelom trackovania je detekovať postavy v jednotlivých snímkach videa, ako aj udržať ich identitu v čase. Okrem toho má trackovanie veľký aplikačný potenciál v témach ako je analýza správania davu, detekcia organizovaného zločinu a sledovanie chodcov samoriadiacimi vozidlami. Tieto aplikácie vyžadujú presné a rýchle riešenia s odozvou v reálnom čase. Mnoho najmodernejších trackerov využívajúcich vizuálne vlastnosti pracuje presne, ale nie príliš rýchlo, kvôli použitiu komplexných nástrojov, ako sú neurónové siete. V tejto práci navrhujeme vysokorýchlostný online trackovací algoritmus, ktorý na sledovanie využíva informácie o detekovaných osobách, ako napríklad ich presné pozície v jednotlivých snímkach videa alebo dokonca vybrané kĺby na ľudskom tele. Ďalej predstavujeme niekoľko vylepšení (napr. zvýšenie výkonu s použitím sub-optimálneho greedy algoritmu, naivnú opätovnú identifikáciu detekcií, interpoláciu chýbajúcich detekcií), ktoré samostatne ale aj spoločne zlepšujú rýchlosť a presnosť trackovania. Použiteľnosť navrhovanej metódy hodnotíme na videách s veľkou hustotou ľudí (až 40 ľudí na jednej snímke videa) s použitím štandardizovaného datasetu. V presnosti dosahujeme porovnateľné výsledky s najmodernejšími trackermi a zároveň väčšinu prekonávame v rýchlosti sledovania.

Abstract:

The affordability of low-cost cameras implies vast amounts of multimedia recordings, whose automated processing is a challenging task. One of the interesting processing paradigms that extract valuable knowledge from videos is multi-subject tracking in crowded videos. Multi-subject tracking aims to detect subjects across consecutive video frames as well as to maintain their identities in time. Moreover, it has great application potential in topics like crowd behavior analysis, detection of organized crime, and pedestrian tracking by self-driving vehicles. These applications require both effective and efficient solutions with real-time response. Many state-of-the-art trackers utilizing visual features work effectively but not efficiently due to the usage of complex computational tools like neural networks. In this thesis, we propose a high-speed online tracking algorithm that utilizes either bounding box or skeleton data. Furthermore, we introduce several enhancements (e.g., performance boost with the usage of sub-optimal greedy algorithm, naive re-identification, interpolation of missing detections) that one-by-one as well as altogether improve the tracking performance and accuracy. In order to demonstrate usability, we evaluate the proposed method on densely populated videos (as much as 40 subjects per frame) from the standardized dataset. We reach competitive results in accuracy and outperform the majority of state-of-the-art trackers in tracking speed.

Keywords

multi-subject tracking, tracking-by-detection, skeleton data, similarity measure

Language used: English

Date on which the thesis was submitted / produced: 19. 5. 2020

Thesis defence

• Date of defence: 17. 6. 2020
• Supervisor: RNDr. Petr Eliáš, Ph.D.
• Reader: RNDr. Petra Budíková, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics