The Synthesis of Medical CT Data Using Generative Adversarial Networks and Diffusion Models

Bc. Mikuláš Bankovič

Master's thesis

Abstract:

Základ. Syntéza medicínskych obrazov je dôležitá na zvýšenie množstva anonymných údajov dostupných pre otvorený výskum, čo má veľký potenciál na urýchlenie pokroku v oblasti medicíny. V generatívnom modelovaní získavajú pravdepodobnostné modely DDPM (Denoising Diffusion Probabilistic Models) stále viac pozornosti, pretože v mnohých prípadoch fungujú lepšie ako predchádzajúce najmodernej3ie generatívne adverzné siete (GAN). Cieľ. V tejto práci sme skúmali, ktorý z týchto dvoch popredných generatívnych modelov by fungoval lepšie v špecifickej medicínskej aplikačnej oblasti syntézy obrazov počítačovej tomografie (CT). Metódy. Trénovali sme modely pomocou dátovej sady rádiologickej liečby rakoviny a obmedzili sme analýzu iba na oblasť ľudskej hlavy. Predspracovanie obrazu zahŕňalo techniky počítačového videnia, ako je Otsu prahovanie a morfologické operácie. Modely GAN a DDPM boli implementované bezpodmieneným a následne podmieneným spôsobom závislým od polohy rezu, aby bolo možné trénovať celú hlavu naraz. Výsledky. Oba modely boli schopné vytvoriť anatomicky vierohodné CT skeny ľudskej hlavy. Bezpodmienečné modely trpeli príliš malým množstvom dát. Podmienené modely fungovali vizuálne lepšie, avšak podmienený DDPM mal nižšiu metriku Fréchet Inception Distance. Záver. Naše výsledky naznačujú, že na posúdenie kvality lekárskeho obrazu je potrebné vyvinúť lepšiu metriku. Pri vizuálnej kontrole sme nemohli dospieť k záveru, že jeden model je výrazne lepší ako druhý.

Abstract:

Background. Medical image synthesis is essential to increase the amount of anonymous data available for open research, which holds great potential in accelerating progress in the medical field. In generative modelling, Denoising Diffusion Probabilistic Models (DDPMs) gain more and more attention as they, in many instances, perform better than the previous state-of-the-art, Generative Adversarial Networks (GANs). Aim. In this thesis, we investigated which of these two leading generative models would perform better in the specific medical application field of synthesizing computer tomography (CT) images. Methods. We trained models using a radiology cancer treatment dataset and restricted the analysis to only the human head region. The image pre-processing included computer vision techniques like Otsu thresholding and morphological operations. The GAN and DDPM models were implemented unconditionally and then in a slice position-dependent conditional way so that the whole head could be trained at once. Results. The models were both able to produce anatomically believable human head CT scans at times. Unconditional models suffered from too little data. Conditional models performed visually better, however, conditional DDPM had a lower Fréchet Inception Distance metric. Conclusion. Our results suggest that a better metric has to be developed to assess medical image quality. Upon visual inspection, we could not conclude on one model being significantly better than the other.

Keywords

Deep Learning, Generative Adversarial Networks (GANs), DDPMs, Computer Vision, Medical Imaging

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2023

Thesis defence

• Date of defence: 21. 6. 2023
• Supervisor: doc. RNDr. David Svoboda, Ph.D.
• Reader: RNDr. David Wiesner

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence