Automatic Head Pose Estimation in Videos

Bc. Petr Čermák

Bachelor's thesis

Abstract:

Tato práce se zabývá odhadem pózy hlavy s šesti stupni svobody ve videích pořízených statickou, monokulární a kalibrovanou RGB kamerou. Naší hlavní motivací je její potenciální využití při kvantitativním měření aktivity studentů během výuky. Pokud se nám podaří přesně určit pózu hlavy, můžeme odhadnout směr pohledu studentů. S touto motivací studujeme a poté upravujeme již existující metody založené na modelu hlavy a metody založené na sledování význačných bodů, které jsou dostupné v literatuře věnující se počítačovému vidění. Vybrali jsme metodu založenou na 3DMM (3D Deformabilní Model) a sledování význačných bodů. Pro účely evaluace jsme natočili video anotované s ground truth pózami získanými vysoce přesným optickým systémem sledování pohybu. Poté jsme vybraný a upravený přístup evaluovali vzhledem ke ground truth datům. Vybraná metoda dokáže sledovat pózu hlavy s rozumnou přesností, pokud pohyby hlavy nejsou příliš rychlé nebo rotace hlavy není příliš velká, proto je tato metoda vhodná hlavně v případech, kdy je očekáváná frontální póza hlavy.

Abstract:

This thesis focuses on 6 DoF (Degrees Of Freedom) head pose estimation in video sequences captured by a static, monocular and calibrated RGB camera. Our primary motivation is its potential use for quantitative measurement of students' activity in class. If we can measure the head pose precisely, we can estimate the direction of the students' gaze. With this motivation, we study and then modify an existing model and tracking-based methods for head pose estimation available in the Computer Vision literature. We choose a method based on 3DMM (3D Morphable Model) and feature tracking. We also capture a challenging video sequence annotated with ground truth head poses obtained with a high-precision optical motion capture system. Then, the selected and modified approach is evaluated on this ground truth data. The selected method can track the head pose with reasonable accuracy if the movements of the head are not too fast or the rotation of the head is not too extreme, so it is usable in applications where mostly a frontal pose is assumed.

Keywords

head pose estimation, 3DMM, feature tracking, camera model, camera calibration, camera pose estimation

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2022

Thesis defence

• Date of defence: 31. 1. 2023
• Supervisor: doc. RNDr. Petr Matula, Ph.D.
• Reader: prof. RNDr. Michal Kozubek, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics