Embodied virtual reality environment for motor imagery brain-computer interface training

Mgr. Filip Škola

Advanced ('rigorózní') thesis

Abstract:

Zařízení umožňující přímý přenos informací z lidského mozku mají ambice stát se nedocenitelnými pomůckami pro každodenní použití těžce ochrnutými osobami. I zdraví lidé ale mají co získat pomocí tohoto futuristického způsobu interakce člověka s počítačem. Nicméně, nyní jsme v době počátků těchto rozhraní, nazvanými "brain-computer interfaces" (BCIs), kdy jejich uživatelé musí následovat konkrétní protokol vybraného BCI paradigmatu, aby mohli začít komunikovat. Jeden z hlavních paradigmatů BCI komunikace je motor imagery (MI), založený na podobnosti mezi zpracováním představovaných a skutečně vykonaných tělesných pohybů v mozku. Nervová komunikace zachycená pomocí elektroencefalografie (EEG) je využita pro získání BCI ovládacích signalů pro počítač či jiné nástroje. Jeden z hlavních problémů současných MI-BCI je dlouhý a únavný trénink, který musí každý budoucí uživatel podstoupit, aby bylo možno MI-BCI ovládat. Při tréninku si uživatelé opakovaně představují pohyb některou z částí svého těla a snaží se naučit mentální strategii, kterou BCI systém nejlépe rozpozná. BCI systém se adaptuje na uživatelovy signály pomocí strojového učení. Uživatelé proces opakují, dokud nezískají potřebnou úspěšnost ovládání (typicky jedna až několik desítek hodin). Tyto teze řeší výše uvedený problém pomocí nových metod zkrácení trénovacího času. Při tom je využito změn ve vnímání těla, ke kterým dochází při uzavření účastníků do virtuální reality (VR). Již bylo ukázáno, že ztělesnění uživatelovy snahy o MI pomocí modelu nebo realistické vizualizace odpovídající části těla pomáhá tvorbě EEG vzorů potřebných pro jejich detekci. Teze obsahují návrh trénovacího prostředí založeného na těchto principech. Výsledky demonstrují úspěšnější trénink účastníků pomocí navrženého VR prostředí. Rozšířením této práce bude využití herních prvků pro VR trénink. Budou navrženy tréninkové scénáře ve VR narušující pocit vlastnictví těla tak, aby byla zpětná vazba při tréninku vnímána jako pohyb vlastního těla ve VR. Na základě existující literatury lze předpokládat silnější produkci mozkových vzorů zachytitelných pomocí EEG a vyšší motivaci během dlouhého tréninku.

Abstract:

Systems that transfer information directly from the human brain could become invaluable tools helping severely paralyzed people in everyday communication. Even healthy users will eventually benefit from this futuristic method of human-computer interaction; however, nowadays, in the early era of the brain-computer interfaces (BCIs), their users need to follow protocols of a chosen BCI paradigm to establish and maintain communication. One of the major brain-computer interfacing (BCI) paradigms is motor imagery (MI), based on similarity between brain processing of performed and imagined movements. Traces of the electrical neuronal communication during imagined movements are acquired with electroencephalography (EEG) and in turn used as control signals for computers or other tools. One of the main problems of the MI-BCIs is long and tiresome training that is a mandatory part of the adaptation period. In the training, users repeatedly perform MI of selected body parts, and try to learn the mental strategies that produce brain signals recognizable by the BCI system. The BCI system is adapting on the user signals using machine learning. Users proceed training iteratively, until satisfactory level of accuracy is achieved (usually one to several tens of training hours are needed). In this thesis, the above problem is addressed by proposing novel methods for training time reduction. Changes in the bodily awareness occurring after enclosing humans to virtual reality (VR) are exploited. The usage of an embodied feedback during MI has been known to support the production of MI EEG correlates. This thesis proposes an embodied VR training environment leveraging these principles. The results demonstrate that training time reduction using motor action observation and embodied feedback in a human-like VR avatar is possible. This work will be extended by the use of game elements in the VR training. Immersive VR scenarios that satisfy constraints of the body ownership illusions, as well as those of the MI-BCI training, will be developed. According to the literature, this should lead to training facilitation by means of stronger EEG correlates, and increased motivation.

Keywords

brain-computer interface, motor imagery, virtual reality, embodiment

Language used: English

Date on which the thesis was submitted / produced: 6. 3. 2018

Thesis defence

• Date of defence: 30. 5. 2018
• Reader: prof. Ing. Adam Herout, Ph.D., prof. MUDr. Tomáš Kašpárek, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Applied Informatics / Applied Informatics