Realizace virtuálního domácího asistenta na bázi technologie počítačového vidění

Bc. Andrei GUDOVICH

Master's thesis

Implementation of a virtual home assistant based on computer vision technology

Abstract:

The topic of this work is to study the possibility of using computer vision technology to expand the functionality of a virtual home assistant for a smart home. The thesis describes the process of creating a virtual assistant for smart homes in the context of the concept of Ambient Assisted Living (AAL) for the elderly. AAL involves the use of technologies and ways to ensure that the older persons stay safe and are able to age in place. These technologies makes lives of the older persons easier and to some extent, self-dependent. The main functions of the implemented virtual assistant are the collection of statistical information about the user's activity, determining his state and responding to emergencies. Additional functionality includes the ability to control smart home devices using gestures. For body position, activity and gesture recognition deep machine learning technology is used. Some tasks, such as determining the position of the body and hands, are solved using pre-trained neural networks from the Google Mediapipe framework. More specific tasks, such as determining hand gestures and user pose are solved by using neural networks trained on data collected during the project. Special attention is paid to the process of choosing the architecture of neural networks, taking into account the tasks being solved and to comparing their metrics. The result of the work, which is presented in the conclusion, is a virtual assistant program based on computer vision technology at the "proof of concept" stage that meets the stated functional requirements. The conclusion also delves into potential applications for the developed system, explores avenues for improvement and modernization, and examines the feasibility of applying the project's advancements in other domains.

Abstract:

Tématem této práce je prostudovat možnost využití technologie počítačového vidění pro rozšíření funkčnosti virtuálního domácího asistenta pro chytrou domácnost. Práce popisuje proces tvorby virtuálního asistenta pro chytré domácnosti v kontextu konceptu Ambient Assisted Living (AAL) pro seniory. AAL zahrnuje používání zařízení a způsobů, jak zajistit, aby starší lidé byli schopni dožívat v domově v bezpečí s podporou monitirovacích systemů. Tyto technologie usnadňují život seniorů a do určité míry zvysuji jich samostatnost. Hlavními funkcemi implementovaného virtuálního asistenta jsou sběr statistických informací o činnosti uživatele, zjišťování jeho stavu a reakce na mimořádné události. Mezi další funkce patří možnost ovládat zařízení chytré domácnosti pomocí gest. Pro polohu těla, aktivitu a rozpoznávání gest se používá technologie hlubokého strojového učení. Některé úlohy, jako je určování polohy těla a rukou, jsou řešeny pomocí předem natrénovaných neuronových sítí z frameworku Google Mediapipe. Specifičtější úkoly, jako je určování gest rukou a pozice uživatele, jsou řešeny pomocí neuronových sítí trénovaných na datech shromážděných během prace na projektu. Specialni pozornost je věnována procesu výběru architektury neuronových sítí s přihlédnutím k řešeným úlohám a porovnávání jejich metrik. Výsledkem práce, který je uveden v závěru, je program virtuálního asistentu založený na technologii počítačového vidění ve fázi "proof of concept", který splňuje uvedené funkční požadavky. V závěru jsou diskutováne potenciální aplikace pro vyvinutý systém, prozkoumána možnosti jeho zlepšení a modernizace a představené možnosti použití projektu v jiných oblastech.

Keywords

Počítačové vidění, Domácí asistent, Asistované bydlení, Goodle Mediapipe, Odhad polohy těla, odhad gest, neuronová síť.

Language used: English

Date on which the thesis was submitted / produced: 26. 5. 2023

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Ivo Veřtát, Ph.D.

University of West Bohemia

Faculty of Electrical Engineering

Master programme / field:
Electronics and Information Technology / Information and Communication Technology