Generating Infra-Red Equivalent Videos using Neural Networks

Bc. Adam Janda

Diplomová práce

Anotace:

Táto práca sa zaoberá nedostatkom infračervených (IR) dát v monitorovaní ľudí so zachovaním súkromia pomocou vývoja modelu hlbokého učenia pre medzispektrálny preklad obrazu. Najmodernejšie knižnice pre odhad pózy trénované na dátach viditeľného svetla (VL) zlyhávajú pri aplikácii na termálne snímky, zatiaľ čo rozsiahle označené IR datasety zostávajú nedostupné. Predstavujeme kondicionálny difúzny model založený na Denoising Diffusion Probabilistic Models (DDPM), ktorý prekladá snímky VL videa do vysoko verných IR ekvivalentov. Model využíva architektúru U-Net s priestorovým podmieňovaním na naučenie komplexného mapovania VL-to-IR. Vlastná pipeline prípravy dát spracováva časovo synchronizované VL-IR nahrávky prostredníctvom časového zarovnania, korekcie šošovkového skreslenia, perspektívnej transformácie a generovania masiek tela. Trénovacia metodológia zahŕňa kompozitnú strátovú funkciu kombinujúcu MSE rekonštrukčnú stratu, L1 stratu zameranú na telo a VGG-16 percepčnú stratu. Tento viackomponentový prístup bol vyvíjaný iteratívne na riešenie špecifických nedostatkov kvality, čím sa dosiahli realistické termálne vzory a presné reprezentácie tela. Experimentálne výsledky demonštrujú schopnosť modelu generovať percepčne presvedčivé IR obrazy, ktoré zachovávajú priestorovú štruktúru a termálne charakteristiky. Táto práca poskytuje základ pre generovanie syntetických IR datasetov, čo umožňuje adaptáciu VL knižníc pre odhad pózy na aplikácie monitorovania so zachovaním súkromia.

Abstract:

This thesis addresses infrared (IR) data scarcity in privacy-preserving human monitoring by developing a deep learning model for cross-spectrum image translation. State-of-the-art pose estimation libraries trained on visible-light (VL) data fail when applied to thermal imagery, while large-scale labeled IR datasets remain unavailable. We present a conditional diffusion model based on Denoising Diffusion Probabilistic Models (DDPMs) that translates VL video frames into high-fidelity IR equivalents. The model employs a U-Net architecture with spatial conditioning to learn the complex VL-to-IR mapping. A custom data preparation pipeline processes time-synchronized VL-IR recordings through temporal alignment, lens distortion correction, perspective transformation, and body mask generation. The training methodology incorporates a composite loss function combining MSE reconstruction loss, body-focused L1 loss, and VGG-16 perceptual loss. This multi-component approach was developed iteratively to address specific quality shortcomings, producing realistic thermal patterns and accurate body representations. Experimental results demonstrate the model's ability to generate perceptually convincing IR images that preserve spatial structure and thermal characteristics. This work provides a foundation for synthetic IR dataset generation, enabling adaptation of VL-based pose estimation libraries for privacy-preserving monitoring applications.

Keywords

visible-light to infrared translation, denoising diffusion probabilistic models, conditional diffusion, U-Net architecture, cross-spectrum translation, synthetic dataset generation

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 3. 2. 2026
• Vedoucí: RNDr. Michal Batko, Ph.D.
• Oponent: doc. RNDr. Jan Sedmidubský, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů