Predicting Risk of Multiple Sclerosis Worsening – Marek HANZL

Abstract:

This work focused on designing, testing and developing an automated system for predicting the risk of worsening and cumulative probability of worsening of patients with multiple sclerosis. For this purpose, several datasets, models, and metrics were selected and evaluated. Multiple standard methods, e.g., Random Forest, Gradient Boosting, and even a novel transformer-based method, e.g., SurvTRACE, were used to predict the multiple sclerosis progression. The considerable performance increase was achieved by (i) hyper-parameter fine-tuning, (ii) validation procedure and (iii) data pre-processing. The functionality of the newly proposed system was tested and verified during the iDPP@CLEF challenge, which focused on providing clinicians with AI-based methods for better prediction of multiple sclerosis progression. Participation in the competition provided excellent opportunities to compare achieved results with the other competing teams. The accuracy was evaluated on the validation and test sets within the competition, where the proposed methods achieved two first places in four applied tasks. The methods achieved second and third place in the others. The best method based on the Random Forest algorithm achieved a mean C-Index of 0.834 when predicting the overall risk of worsening and a mean AUROC score of 0.881 when predicting the cumulative probability of worsening. …víceméně

Abstract:

Cílem této práce bylo navrhnout, otestovat a vyvinout systém pro automatickou predikci rizika zhoršení a kumulativní pravděpodobnosti zhoršení pacientů s roztroušenou sklerózou. Pro tento účel bylo vybranáno a otestováno několik datových sad, modelů a metrik. Pro predikci vývoje roztroušené sklerózy jsme využili standardních metod, tj. Random Forest, Gradient Boosting, ale i nově navrženého transformeru, tj. SurvTRACE, jež jsme dále významně zpřesnili díky (i) optimalizaci trénovacích hyperparametrů, (ii) zvolení vhodné validační procedury a (iii) předzpracováním dat. Funkčnost nově navrženého systému jsme ověřili v rámci soutěže iDPP@CLEF, zaměřené na pomoc lékařům při predikci vývoje nemoci použitím metod založených na umělé inteligenci. Účast v soutěži poskytla skvělé možnosti pro srovnání dosažených výsledků s dalšími tými, jež se problematikou zabývají. Přesnost jsme vyhodnotili jak na validační, tak na testovací sadě v rámci soutěže, kde jsme dosáhli dvou prvních míst z celkem čtyř úloh, kterých jsme se účastnili. Ve zbylých jsme získali druhé a třetí místo. Jako nejlepší se ukázala metoda založená na algoritmu Random Forest, která dosáhla průměrného C-indexu 0.834 při predikci celkového rizika zhoršení a průměrného skóre AUROC 0.881 při predikci kumulativní pravděpodobnosti zhoršení. …víceméně