Movement-Based Sentiment Classification in Human Interactions

Bc. Maroš Dubíny

Master's thesis

Abstract:

S rozmachom v oblasti výskumu strojového učenia a zvýšením kvality a cenovej dostupnosti zariadení na zachytávanie pohybu, ktoré sme zaznamenali v posledných rokoch, sa spracovanie a porozumenie ľudského pohybu založené na počítačovom videní stalo veľmi populárnym. Zatiaľ čo väčšina súčasných prístupov sa zameriava na rozpoznávanie činov jednotlivcov, táto práca si kladie za cieľ preskúmať možnosti interakcie dvoch osôb a rozpoznávania sentimentu. Ťažisko práce je sústredené na prepracovanie jednoduchého Bi-LSTM klasifikátora pôvodne navrhnutého na rozpoznávanie akcií jednej osoby zo sekvencií skeletal dát. Dosiahneme to nájdením vhodného riešenia na reprezentáciu, normalizáciu a pred-spracovanie týchto interakcií vo formáte skeletal dát. Ďalším cieľom výskumu je určiť, ako dobre možno tieto interakcie zovšeobecniť do kategórí pozitívneho, negatívneho a neutrálneho sentimentu. Robustnosť výsledného klasifikátora je testovaná naprieč rôznymi komunitne schválenými rozsiahlymi datasetmi zachytávajúcich pohyb.

Abstract:

With the boom in the area of machine learning research and the increase in quality and affordability of motion capturing devices seen in recent years, computer vision-based human motion processing and understanding have gained a lot of traction. While most of the current approaches focus on the recognizing actions of single individuals, this thesis aims to explore the possibilities of two-person interaction and sentiment recognition. The focus of the work is concentrated on repurposing a lightweight Bi-LSTM classificator originally designed for single-person action recognition from skeleton sequences. We achieve this by finding a suitable solution to represent, normalize and pre-process these interactions in skeleton data format. Another research objective is to determine how well these interactions can be generalized to positive, negative, and neutral sentiment categories. The resulting classificator's robustness is tested across various community-approved large-scale motion datasets.

Keywords

Skeleton-based Action Recognition, Two-Person Interaction Recognition, Deep Learning, Bi-LSTM, Sentiment Analysis

Language used: English

Date on which the thesis was submitted / produced: 14. 12. 2021

Thesis defence

• Date of defence: 1. 2. 2022
• Supervisor: RNDr. Petr Eliáš, Ph.D.
• Reader: doc. RNDr. Jan Sedmidubský, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence