Tracking User-Defined Regions in RGB and Infrared Video Streams

Bc. Tomáš Dujsík

Diplomová práce

Anotace:

Tato práce se zaměřuje na zlepšení přesnosti trackování kombinováním RGB a infračervených video modalit pro sledování oblasti zájmu (ROI) v náročných podmínkách, jako jsou špatné světelné podmínky. Zatímco nejmodernější metody detekce objektů, jako je YOLOv5, dosahují dobrých výsledků s RGB daty, mají problémy s infračervenými daty kvůli omezenému množství trénovacích dat v IR. Naopak trackery založené na oblasti zájmu mohou sledovat libovolnou oblast, ale jsou méně přesné a výpočetně náročné. Tento výzkum navrhuje devět přístupů využívajících dvojí modalitu, které dynamicky přepínají mezi RGB a infračervenou modalitou na základě charakteristiky scény, přičemž využívají strojového učení pro adaptivní sledování. Experimentální výsledky na Camel datasetu ukazují zlepšení přesnosti sledování, zejména v špatných světelných podmínkách, kde infračervená data překonávají RGB. Práce zkoumá výhody a nevýhody mezi metodami sledování založenými na detekci objektů a metodami založenými na ROI a představuje nové algoritmy pro sledování libovolných ROI v multimodálních prostředích.

Abstract:

This thesis focuses on improving tracking performance by combining both RGB and infrared video modalities to track a region of interest (ROI) in challenging environments, such as low-light conditions. While state-of-the-art object detection trackers, like YOLOv5, perform well with RGB data, they struggle with infrared due to limited IR-specific training samples. Conversely, ROI-based trackers can track arbitrary regions but are less accurate and computationally demanding. This research proposes nine dual-modality approaches that dynamically switch between RGB and infrared based on the scene's characteristics, using machine learning for adaptive tracking. Experimental results on the Camel dataset demonstrate improved tracking accuracy, especially in low-light scenarios where infrared data outperforms RGB. The work explores the trade-offs between object detection-based and ROI-based methods and introduces new algorithms for tracking arbitrary ROIs in multimodal environments.

Keywords

Multimodal tracking, RGB-Infrared tracking, Real-time tracking, Ob ject tracking, OpenCV, Infrared

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 17. 12. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 4. 2. 2025
• Vedoucí: doc. RNDr. Jan Sedmidubský, Ph.D.
• Oponent: prof. Ing. Pavel Zezula, CSc.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Strojové učení a umělá inteligence