Reducing the motor imagery brain-computer interface training time with embodiment in virtual reality

RNDr. Filip Škola

Doctoral thesis

Abstract:

Brain-computer interfaces (BCI) jsou systémy pro komunikaci s počítači, roboty či jinými zařízeními pomocí neurální aktivity zaznamenané z mozku. Navzdory několika dekádám výzkumu stále neexistuje neinvazivní BCI, který by umožnil komunikaci podobnou rychlostí, jako při použití klávesnice nebo myši. Kvůli nedokonalé znalosti struktury a funkce lidského mozku a omezením současných neurozobrazovacích metod je navíc nutné využít při komunikaci s BCI některé ze zavedených paradigmat. Představovaný pohyb (angl. motor imagery, MI) patří mezi hlavní BCI paradigmata. Při komunikaci s BCI založenými na představovaném pohybu (MI-BCI) se využívá změn v neurální signalizaci, nastávajících při soustředěném představování pohybů vlastního těla. BCI systémy jsou typicky implementovány pomocí elektroencefalografie (EEG) nahrávané z elektrod na povrchu hlavy. Získaný signál má nízké prostorové rozlišení, je náchylný na rušení, a velká část práce je tak na MI-BCI uživatelích, kteří se musí naučit modulovat své neurální rytmy. Speciální trénink zajistí, aby se uživatel naučil modulaci neurálních rytmů s přesností dostatečnou k použití MI-BCI, zatím co strojové učení je trénováno na klasifikaci neurálních vzorců reprezentujících uživatelovy příkazy. Dochází tedy ke ko-adaptaci uživatele i systému. Trénink je mentálně náročný (od uživatele je vyžadováno koncentrovat se na představovaný pohyb), stejně tak může být náročný i tělesně (uživateli typicky není během tréninku povolen pohyb) a jeho celkové trvání může dosáhnout i několika týdnů. Tato dizertační práce je zaměřena na usnadnění MI-BCI tréninku. Předchozí studie odhalily problémy ve zpětné vazbě, kterou MI-BCI při tréninku uživateli poskytuje. Základ této práce tvoří hypotéza, že změna podoby zpětné vazby ze současně využívaných symbolických instrukcí tak, aby lépe odpovídala tréninkovému úkolu (představovaný pohyb částmi těla), povede ke zjednodušení a zrychlení tréninku. Tato hypotéza je založena na předchozím výzkumu demonstrujícím pozitivní vliv pozorování pohybů těla na úspěšnost při MI-BCI tréninku. Pro ověření hypotézy byl celý proces tréninku implementován v imerzivní virtuální realitě (VR) s možnostmi vykreslit virtuální reprezentaci těla uživatele (avatara) přes reálné tělo uživatele. Tento druh prožitku, kdy uživatel dostává nové tělo a možnost ho ovládat, je nazýván "virtuální vtělení" a je běžně využíván ve VR systémech řízených pohyby uživatele. Avatar ve VR umožňující vtělení uživatele byl využit pro zpětnou vazbu při MI-BCI tréninku – nehybné tělo uživatele bylo překryto tělem avatara, které se postupně učilo „chovat“ podle mentálních příkazů BCI uživatele. V rámci této práce byla provedena studie hlavních komponent virtuálního vtělení – pocitu vlastnictví virtuálního těla a pocitu kontroly nad akcemi provedené prostřednictvím avatara. Studie byly provedeny v několika konfiguracích avatara, výsledky byly získávány pomocí kombinace dotazníků, EEG a neinvazivní stimulace mozku. Hlavním příspěvkem této práce je implementace a evaluace ovládání avatara pomocí MI-BCI příkazů a jeho použití v nově vytvořeném MI-BCI tréninku ve VR. V provedené srovnávací studii se ukázala schopnost účastníků trénovaných ve VR získat vyšší přesnost BCI příkazů než účastníkům trénovaným pomocí standardního trénovacího protokolu. K dalšímu zrychlení učení byla trénovací procedura reimplementována pomocí gamifikace, s progresivním zvyšováním tréninkového tempa. Tato implementace MI-BCI tréninku umožnila účastníkům dosáhnout výrazně lepších výsledků (v přesnosti ovládání a bitech přenesených za m

Abstract:

inutu) než standardní trénovací protokol, navíc pomohla zvládnout náročnost tréninku.

Abstract:

Brain-computer interfaces (BCI) are systems allowing to control computers, robots, and other machinery with neural activity recorded from the brain. Despite several decades of research, a non-invasive BCI that would allow accurate communication with a speed comparable to the traditional input devices has not been developed yet. Moreover, as the understanding of the structure and the function of the human brain is imperfect and the neuroimaging methods are limited, communication using BCIs must be performed in accordance with one of the few existing BCI paradigms. Motor imagery (MI) is one of the major BCI paradigms, exploiting changes in neural signaling generated as a result of imagined motor actions. As the BCIs are typically implemented using scalp-recorded electroencephalography (EEG), main issues that prevent reliable communication originate in the low spatial resolution and high levels of noise in the signals. Consequently, operators must be able to module their neural rhythms well. To use an MI-BCI system with a reasonable accuracy, MI-BCI users need to be trained first. Training ensures that users acquire the skills to modulate their neural rhythms, while machine learning methods are trained to classify the recorded neural patterns. The procedure is a co-adaptation of the user and the system. Training procedure is considered mentally demanding (focused attention on the movement imagery process is required from the user), physically taxing (no movement is permitted during MI training), and can span multiple weeks before the satisfactory level of accuracy is reached. This thesis aims to facilitate the user training for MI-BCIs. Past research has identified the feedback on user actions in the standard training protocol as a weak part of the training. Based on previous work demonstrating positive influence of movement observation to the user performance in the MI-BCI training, the main hypothesis of this work was that the user training would be facilitated (accelerated) if the feedback (usually provided in form of a symbolic guidance) was re-designed to match the training task (imagery of bodily movements). This was achieved by transferring the entire training procedure into immersive virtual reality (VR) with the capacity to render a virtual representation of the user's body (avatar) over user's actual body. The resulting experience of having and being in control of a new virtual body is termed embodiment, commonly used in VR set-ups with motion tracking of the body parts. Avatar in embodied VR was used to mediate the visual feedback for the MI-BCI training; the still body of a user was not visible anymore, and user's attention was redirected towards the virtual body that gradually “learned” to act according to the mental commands. The key objectives of this work were examination and enhancement of the main components of embodiment – the sense of ownership towards the foreign body and the sense of agency towards the actions performed via the virtual avatar. Embodiment in VR was studied with various avatar configurations using questionnaires and EEG, and manipulated using non-invasive brain stimulation. Main contribution of this work is implementation and evaluation of the BCI-mediated control of virtual avatars for purposes of MI-BCI training. The first proposed training environment has been evaluated in an on-line BCI study, with results demonstrating it succeeded in basic training of the participants, and a higher level of accuracy was achieved compared to the control group trained with the standard protocol. To further increase the rate of skill acquisition, the originally fixed-paced training procedure was re-designed in a progressive and gamified manner. This implementation of the MI-BCI training allowed participants to achieve a significantly better results (accuracy, bit-transfer rate) than using the standard protocol, while helping to lower the cognitive demands of the training.

Keywords

motor imagery, brain-computer interface, virtual reality embodiment, BCI training

Language used: English

Date on which the thesis was submitted / produced: 14. 4. 2020

Thesis defence

• Date of defence: 10. 3. 2021
• Supervisor: prof. RNDr. Petr Hliněný, Ph.D., doc. Fotios Liarokapis, PhD
• Reader: PhD Minkyu Ahn, Prof. Aikaterini Mania, PhD

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics