Fúze 2D a 3D snímání pro rozpoznání drobných lesklých objektů

Miroslav Schneider

Disertační práce

Fusion of 2D and 3D sensing for recognition of small and glossy objects

Anotace:

V současné době je mnoho vyvinutých přístupů řešících rozpoznání objektů jak ve 2D, tak 3D datech. Efektivní detekce objektů je v dnešní době nedílnou součástí automatizovaných provozů, kde je obvykle využito systémů strojového vidění. Jednotlivé přístupy se odlišují principem snímání a následně zpracování vstupních dat, rovněž se rozlišují podle určení samotného systému. Pro objekty, jejichž charakter spadá do lesklých, transparentních případně i drobných objektů, jsou úlohy rozpoznání, detekce a identifikace objektů značně komplikované. Hlavním cílem této práce je návrh metodiky fúze 2D obrazových dat z kamery s 3D daty snímanými průmyslovým skenerem sloužícím pro zpřesnění detekce hledaných objektů. Specifickým rysem detekovaných objektů je lesklý povrch a drobné rozměry. V řešení práce je brán důraz na eliminaci chyb vzniklých v datech vlivem odrazů od lesklých ploch. Využitím fúze 2D a 3D snímání je docíleno podstatného navýšení kvality výsledných detekcí a s ním spojeného navýšení robustnosti detekčního systému. Vytvořená metodika byla aplikována a ověřena na praktické úloze detekce koncových měrek. Úloha byla navržena v návaznosti na výzkumný projekt OPPIK – Aplikace – CZ.01.1.02/0.0/0.0/21_374/0026776, v němž byl autor práce spoluřešitelem. Projekt byl zaměřen na automatizaci procesu vyjímání drobných lesklých předmětů ze zakládací kazety do vstupních pozic navazujících technologických procesů. Uvedená projektová úloha je pro účely této práce zobecněna tak, aby nebyla brána v úvahu předvídatelná pozice objektů zájmu ve snímané oblasti. Metodika fúze 2D a 3D snímání tak je ověřena na sadě lesklých objektů o definovaném tvaru a malých rozměrech ve volné pozici. Ověření vytvořené metodiky je provedeno porovnáním výsledků kvality detekce z 3D dat s výsledky kvality detekce z fúzního vyhodnocení. Pro vyhodnocení kvality detekce je užito kvalitativní metriky FScore. Pomocí statistického testu výsledků kvality detekce byla přijata alternativní hypotéza o statisticky významném navýšení kvality detekce při užití fúzního vyhodnocení 2D a 3D dat proti užití detekce pouze z 3D dat. Aplikačním cílem této práce je návrh robustního řešení pro detekci drobných lesklých objektů v průmyslovém prostředí za užití moderních technologických přístupů v návaznosti na praktickou úlohu ověření vytvořené metodiky. Aplikační cíl je zaměřen na využitelnost výstupu fúzního vyhodnocení vstupních dat pro aplikace automatizovaného odebírání objektů, tzv. Bin-Picking, implementovaných v moderních provozech. V souvislosti s detekcí a rozpoznáním odebíraných objektů mají výsledky disertační práce velký význam v možnosti rozšíření automatizace provozů i v oblasti manipulace s lesklými objekty. Hlavní přínosy disertační práce jsou následující: Práce analyzuje přístup fúze 2D a 3D dat s cílem navýšení schopnosti rozpoznání komplikovaně snímaných objektů automatizovanými systémy. Navržená metodika má potenciál užití v oblasti manipulace s lesklými a malými objekty. Výstupy práce mohou obecně rozšířit možnosti užití automatizovaných systémů aplikaci manipulace s lesklými a malými objekty. Navrhované řešení má potenciál být cenově dostupnějším řešením oproti dosavadním systémům pro detekci drobných lesklých objektů určeným pro průmyslové aplikace.

Abstract:

At the present time, many developed approaches address object recognition in both 2D and 3D data. Effective object detection has become an integral part of automated operations, where machine vision systems are typically utilized. The various approaches differ in the principles of data acquisition and subsequent processing, and they also vary based on the specific purpose of the system. For objects characterized as glossy, transparent or small, the tasks of recognition, detection, and identification are significantly more complicated. The main goal of this work is to propose a methodology for fusing 2D image data from a~camera with 3D data captured by an industrial scanner to improve the accuracy of detecting the desired objects. The specific features of the detected objects include a glossy surface and small dimensions. The work emphasizes the elimination of faults in the data caused by reflections from glossy surfaces. The fusion of 2D and 3D imaging achieves a substantial increase in the quality of the resulting detections, which in turn enhances the robustness of the detection system. The developed methodology was applied and verified in a practical task of detecting end gauges. This task was designed in connection with the OPPIK research project OPPIK – Application – CZ.01.1.02/0.0/0.0/21_374/0026776, in which the author of this work was a co-researcher. The project focused on automating the process of removing small glossy objects from a loading cassette to the input positions of subsequent technological processes. For the purposes of this work, the project task has been generalized to not consider the predictable position of the objects of interest in the scanned area. The methodology for fusing 2D and 3D imaging is thus verified on a set of glossy objects with defined shapes and small dimensions in a undefined position. The verification of the developed methodology is conducted by comparing the quality of detection results from 3D data with those from the fusion evaluation. The quality of detection is assessed using the FScore qualitative metric. Through a statistical test of the detection quality results, an alternative hypothesis was accepted, indicating a statistically significant increase in detection quality when using fusion evaluation of 2D and 3D data compared to using just 3D data. The application goal of this work is to propose a robust solution for detecting small glossy objects in an industrial environment using modern technological approaches, in connection with the practical task of verifying the developed methodology. The application goal focuses on the usability of the fusion evaluation output of the input data for automated object picking applications, known as Bin-Picking, implemented in modern operations. In the context of detecting and recognizing the picked objects, this dissertation has great significance in the potential to extend automation processes to include the manipulation of glossy objects.

Klíčová slova

disertační práce, lesklé objekty, malé objekty, fúze snímání, fúze 2D a 3D, strojové vidění, zpracování obrazu, zpracování mračen bodů, Bin-Picking, zpracování korelační mapy, zpracování hloubkové mapy, teplotní mapa

Keywords

Dissertation, glossy objects, small objects, scan fusion, sensor fusion, 2D and 3D fusion, machine vision, image processing, point cloud processing, Bin-Picking, correlation map processing, depth map processing, heatmap

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 29. 8. 2024

Obhajoba závěrečné práce

• Vedoucí: Jiří Koziorek
• Oponent: Marek Babiuch, Aleš Janota, Vladimír Vašek

VŠB – Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Doktorský studijní program / obor:
Elektrotechnika / Technická kybernetika