Motion planning for manipulator in dynamic environment using RGB-D sensor

Stefan Grushko

Doctoral thesis

Abstract:

Předložená disertační práce se zabývá tématem plánování trajektorie manipulátoru v dynamickém prostředí s využitím dat z RGB-D senzoru. Příkladem takového dynamického prostředí je sdílený pracovní prostor, kde robot spolupracuje s člověkem. Spolupráce mezi robotem a člověkem je aktuálním tématem v rámci konceptu Průmysl 4.0, otevírající možnost vytváření pracovišť s roboty, které mohou během pracovního cyklu přicházet do přímého kontaktu se zaměstnanci. Taková spolupráce přináší nové příležitosti ke zlepšení ergonomie a možností automatizace výroby. To se sebou však nese také rizika spojená s možností kolize robotu s člověkem. Adaptivní chování robotu – přeplánování trajektorie s ohledem na aktuální polohu operátora – může zvýšit efektivitu a bezpečnost spolupráce, protože robot bude schopen zabránit kolizím a pokračovat v dokončení úkolu. V takové situaci však uživatel nemůže předem vědět, jak bude trajektorie robotu vypadat po přeplánování, což může při interakci s robotem způsobit diskomfort a spolu s tím snížení efektivity. Výzkum v této práci se zaměřuje na téma plánování pohybu robotu a informování člověka o pohybu robotu během spolupráce ve sdíleném pracovním prostoru. Požadavkem je nejen teoretické zkoumání možností, ale také praktická realizace experimentálního pracoviště k ověření navržených principů. Úvodní část práce analyzuje současný stav v oblasti plánování trajektorií, frameworků plánování pohybu robotů, vnímání prostředí, přístupů ke zlepšení vzájemného povědomí během spolupráce člověk-robot a implementace zařízení taktilní zpětné vazby. Hlavním přínosem výzkumu je koncept nového kolaborativního systému, který kombinuje rychlé plánování trajektorie robotu se systémem pro upozornění uživatele na tuto plánovanou trajektorii robotu a jeho současný stav. Principy systému jsou implementovány a testovány na experimentálním kolaborativním pracovišti. Systém plánování trajektorie robotu je založen na frameworku plánování pohybu optimalizovaném pro lepší výkon v sadě úkolů simulovaných ve virtuálním prostředí. Předpokládá se, že použití navrhovaného notifikačního systému během spolupráce člověka s robotem zlepší celkový výkon, povědomí o plánované trajektorii robotu a podpoří pozitivní vnímání úlohy u člověka. Za účelem testování této hypotézy je prováděna uživatelská studie a její data jsou statisticky zpracovaná a analyzovaná. Výsledky ukazují potenciál vyvinutého přístupu pro zlepšování kvality interakce při spolupráci člověk-robot. Téma práce je relevantní pro nasazení spolupracujících robotů v průmyslových úlohách a zaměřuje se na zlepšení efektivity spolupráce člověka a robotu.

Abstract:

The presented dissertation deals with the topic of trajectory planning of a manipulator in a dynamic environment using data from the RGB-D sensor. An example of such a dynamic environment is a shared workspace where a robot interacts with human workers. Cooperation between robot and human is a widespread topic within the concept of Industry 4.0, which opens up the possibility of creating workplaces with robots that can come into direct contact with employees during the work cycle. Such collaboration brings new opportunities to improve ergonomics and options for manufacturing automation. However, it also carries the risks associated with the possibility of a robot colliding with a human. Adaptive behaviour of the robot - replanning the trajectory with respect to the operator’s current position - can increase the efficiency and safety of cooperation since the robot will be able to avoid collisions and proceed in task completion. In such a situation, however, the user cannot know in advance what the robot’s trajectory will look like after replanning, which can cause discomfort along with reducing efficiency when interacting with the robot. The research in this work focuses on the topic of motion planning and communication of the robot motion plan to a human worker during cooperation in a shared workspace. The requirement is not only a theoretical exploration of possibilities but also a practical implementation in the form of an experimental workplace to verify the proposed principles. The introductory part of the thesis analyses the current state of the art in the field of path planning, motion planning frameworks, environment perception, approaches to improving mutual awareness during human-robot cooperation and implementation of haptic feedback devices. The main contribution of the research is the concept of a novel collaborative system, which combines rapid robot path planning with the system for notifying the user about the currently planned path of the robot and its status. The principles of the system are implemented and tested on an experimental workspace. The robot’s path planning system is based on a motion planning framework optimized for better performance in a set of tasks simulated in a virtual environment. It is hypothesized that the use of the proposed notification system during human-robot collaboration will improve the overall performance, awareness about the planned robot trajectory and encourage a positive experience to the human user. In order to test this hypothesis, a user study is performed, and its data are statistically analysed. The results indicate the potential of the developed haptic notification-based approach in improving mutual understanding during human-robot interaction. The topic of the work is relevant for the deployment of collaborative robots in industrial tasks and aims at improving the effectiveness of human-robot cooperation.

Keywords

Plánování pohybu, plánování trajektorie, spolupráce člověk-robot, interakce člověk-robot, vzájemné povědomí, mapovaní prostředí, rozhraní člověk-stroj, taktilní zpětná vazba, nositelné zařízení zpětné vazby

Keywords

Motion planning, path planning, human-robot collaboration, human-robot interaction, mutual awareness, environment mapping, human-machine interface, haptic feedback, wearable feedback device

Language used: English

Date on which the thesis was submitted / produced: 26. 5. 2021

Thesis defence

• Date of defence: 31. 8. 2021
• Supervisor: Zdenko Bobovský
• Reader: Tomáš Kot, Ivan Virgala, Roman Ružarovský

VSB – Technical University of Ostrava

Fakulta strojní

Doctoral programme / field:
Strojní inženýrství / Robotika