Predikce psychofyziologických proměnných strojovým učením: případová studie na predikci mentální únavy neinvazivními zdroji měření

Bc. Vojtěch Formánek

Bachelor's thesis

Predicting psychophysiological variables using machine learning: a case study on prediction of mental-fatigue using non-invasive measurement methods

Abstract:

Často je obtížné měřit změny v psychologických konstruktech, k odhadu blízkosti konstruktu a měření se používá validita. Další vlastností testu je pak jeho odolnost vůči vnějším chybám, nebo změnám, zvaná reliabilita. Pokud je metoda validní a reliabilita dostatečně vysoká, pak můžeme konstrukt zobecnit na populaci. Toto zobecnění se často dělá pomocí statistických metod, nicméně metody strojového učení (ML) se také používají. ML vyžaduje všechna data přesně anotovaná, nebo aspoň použití metod které s chybou počítají. Když se ale pro anotaci používají psychologické metody, málokdy se pracuje s chybou, kterou přirozeně mají, danou jejich validitou a reliabilitou, což platí i u predikce mentální únavy. A tedy je nutné propojení metodologie obou oborů, navržení postupu pro úpravu validity, a reliability, pomocí použití teorie zobecnitelnosti (GT). Multidimensionální měření bylo extrahováno ze dvou datasetů, vytvořených během experimentů. Z něho pak anotace, pomocí které byly natrénovány ML modely, z dat srdečního rytmu, extrahované na začátku a následně na konci experimentů. Reliabilita měření v obou fázích je malá (r=0.21; r=0.68), ale pomocí GT můžeme analyzovat a opravit zdroje chyby. I přesto, všechny modely dokázaly porazit baseline accuracy, statisticky významně (W=51, p<0.01, u nejslabšího modelu) o zhruba 0.1. Navržený postup je použitelný mimo mentální únavu na další psychologické konstrukty a obecně i predikci pomocí ML.

Abstract:

Changes in psychological constructs are often hard to estimate and thus validity is used to estimate the closeness of a measure to the construct. When measuring a construct, a tests resistance to unrelated error, or variance, is estimated, called reliability. If a measure is valid and the reliability not too low, the construct can be generalized to a population. This generalization is usually done through the use of statistics, however approaches such as Machine Learning (ML) have been also used. ML requires each data sample to be labeled precisely. When psychological measures are used to annotate data for ML, they are rarely handled with the error that they naturally have, given by their validity and reliability. This is the case for mental fatigue prediction. Thus an approach to increase validity is proposed, and Generalizability Theory (GT) is used to estimate the reliability. A multidimensional measure from two datasets was extracted, created during psychological experiments, label from it and several ML models were trained to predict it from heart rate data, extracted at the start and end of the experiments. The reliability of the measure at both phases is low (r=0.21; r=0.68), but due to the use of GT, the error sources can be analyzed and corrected. Even still, all of the models were able to beat the baselines accuracy, statically significantly (W=51, p<0.01, for the weakest model) by about 0.1. The approach is usable outside of mental fatigue or even ML and is outlined accordingly, to be as general as possible.

Keywords

Machine Learning, Mental Fatigue, Generalizability, Reliability, Non-invasive Measurement, Construct, Heart Rate

Language used: English

Date on which the thesis was submitted / produced: 9. 5. 2024

Thesis defence

• Date of defence: 13. 6. 2024
• Supervisor: Mgr. Vojtěch Juřík, Ph.D.
• Reader: doc. RNDr. Jan Sedmidubský, Ph.D.

Masaryk University

Faculty of Arts

Bachelor programme / field:
Psychology / Psychology