Předzpracování klinických poznámek pomocí standardizace slov a frází na základě podobnosti

Bc. Jan Halas

Bachelor's thesis

Preprocessing of clinical notes by similarity-based word and phrase standardisation

Abstract:

V této práci se zaměřuji na předzpracování klinických poznámek pro účely aplikací strojového učení. Klinické poznámky ukrývají značné množství informací, ale díky jejich nestandardní struktuře, jazyku, formátu a množství chyb a překlepů, je vyžadováno důkladnější předzpracování. Nejprve se věnuji obecným technikám předzpracování textu, kde stručně shrnu poznatky a studie, které se zabývají vlivy těchto technik na chování jazykových modelů. Jako klíčový prvek předzpracování identifikuji právě odstranění chyb a překlepů. Představím tři známé modely pro vektorovou reprezentaci slov a v kombinaci s Levenshteinovou vzdáleností vytvořím koncept, který slouží ke shlukování slov podle jejich sémantiky i stavby. Tento slovník shluků, či kandidátů může být dále posouzen a vyhodnocen klinickými experty pro další předzpracování lékařských zpráv a využit pro náhradu chybně zapsaných slov. Bohužel kvůli nedostatku dat nemohla být uskutečněna detailní evaluace, nicméně se podařilo ukázat, že tento koncept má potenciál pro další vývoj.

Abstract:

In this thesis, I focus on the preprocessing of clinical notes for machine learning applications. Clinical notes hide a considerable amount of information, but due to their non-standard structure, language, format, and many errors and typos, more thorough preprocessing is required. I first discuss general text preprocessing techniques, briefly summarizing findings and studies that address the effects of these techniques on the behavior of language models. It is the removal of errors and typos that I identify as a key element of preprocessing. I will introduce three well-known models for vector representation of words and combine them with Levenshtein distance to create a concept that is used to cluster words according to their semantics and structure. This dictionary of clusters or candidates can be further assessed and evaluated by clinical experts for further preprocessing of medical reports and used to replace misspelled words. Unfortunately, due to lack of data, a detailed evaluation could not be carried out, however, it was possible to show that this concept has potential for further development.

Keywords

NLP, word similarities, preprocessing of clinical notes, Levenshtein distance, word embeddings, phrase standardization

Language used: Czech

Date on which the thesis was submitted / produced: 18. 5. 2023

Thesis defence

• Date of defence: 28. 6. 2023
• Supervisor: doc. Mgr. Bc. Vít Nováček, PhD
• Reader: Mgr. Petr Zelina

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics