Mining Czech Clinical Notes Using the Language Modelling Technology

Bc. Tomáš Houfek

Master's thesis

Anotácia:

V této práci pracuji s několika velkýmu jazykovými modely. Tyto modely předtrénuji na velké datové sadě lékařských zpráv a následně je dotrénuji na skecifické úkoly v lékařské doméně. První je rozpoznávání lékařskýhc jmených entit a druhý klasifikace lékařských zpráv. Na těchto dvou úkolech předvedu, že předtrénování na velkých lékařských datech vylepší výsledky těchto dvou úkolů a to netriviálně oproti stavu kdy se nepředtrénování vynechá. Jelikož v současnosti neexistují žádné lékařská datasety pro rozpoznávání jmených entit ani pro klasifikaci lékařských zpráv tak také jako součást teto práce takové datasety vytvořím. Nakonec, ukážu použití algoritmu pro vysvětlitelnost umělé inteligence na klasifikaci lékařských zpráv.

Abstract:

In this thesis I work with various Large Language models, pre-train these models on a large Czech medical dataset and then fine-tune these models on a pair of natural language processing tasks in the medical domain. The first is Medical Named Entity Recognition (Medical Named Entity Recognition (NER)) and the second is Medical records classification. I show that further pre-training on the large medical dataset improves these two downstream tasks significantly as opposed to not adapting these models to the medical domain before fine-tuning. Since there are no datasets for medical NER and Medical records classification I also create and introduce these datasets. Finally, I showcase the use of the Deep neural network explainability algorithm on the Medical records classification task.

Keywords

LLM, HealthAI, machine learning, NLP, medical informatics, Explain- able AI, Information Extraction, EHR, oncology, Transformers, deep learning

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 21. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 19. 6. 2024
• Vedúci: doc. Mgr. Bc. Vít Nováček, PhD
• Oponent: doc. Pavel Pecina, PhD

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Natural language processing