Sémantická segmentace v dlouhodobé vizuální lokalizaci

Ing. Lukáš BUREŠ

Doctoral thesis

Semantic Segmentation in Long-term Visual Localization

Abstract:

This thesis has five main goals. At first, it maps the datasets used for long-term visual localization and selects viable datasets for further evaluation. Next, one of the current state-of-the-art pipelines is selected and enhanced. Results with carefully fine-tuned methods' parameters accomplish better localization results. Furthermore, it shows that dynamic objects in an image are unnecessary for long-term visual localization because they do not contain any helpful information and can be ignored. The fourth goal in this thesis is to embed semantic segmentation information into the SuperPoint keypoint detector and descriptor by editing training data. Finally, the new state-of-the-art results on a selected dataset are achieved by applying a novel keypoint filtering approach based on semantic segmentation information. The significance of this work shows the importance of analyzing underlying image information in long-term visual localization and keypoint detection in general.

Abstract:

Tato práce má pět hlavních cílů. Nejprve mapuje datové sady používané pro dlouhodobou vizuální lokalizaci a vybere vhodné datové sady pro další vyhodnocení. Dále je vybrán a vylepšen jeden ze současných state-of-the-art přístupů. Výsledky s pečlivě vyladěnými parametry vybrané metody dosahují lepších výsledků lokalizace. Dále je ukázáno, že dynamické objekty v obrázku jsou pro dlouhodobou vizuální lokalizaci zbytečné, protože neobsahují žádnou užitečnou informaci a lze je zcela odstranit. Čtvrtým cílem této práce je pokusit se vložit sémantickou informaci do detektoru a deskriptoru klíčových bodů SuperPoint úpravou trénovacích dat. Závěrem je dosaženo nových state-of-the-art výsledků na vybrané datové sadě aplikací nového přístupu filtrování klíčových bodů založeného na sémantické informaci. Význam této práce ukazuje důležitost analýzy obrazové informace v úloze dlouhodobé vizuální lokalizace a detekce klíčových bodů obecně.

Keywords

Dlouhodobá vizuální lokalizace, Vizuální příznaky, Vizuální klíčové body, Detektory klíčových bodů, Deskriptory klíčových bodů, Neuronové sítě, Počítačové vidění, Strojové učení

Language used: English

Date on which the thesis was submitted / produced: 8. 3. 2022

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Prof. Ing. Luděk Müller, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics