Deep learning solution for in-line microscopy monitoring and particle size analysis

Martin Vagenknecht

Master's thesis

Abstract:

Tato práce představuje novou metodu analýzy obrazu založenou na principu deep learning pro mikroskopické monitorování a analýzu velikosti částic. Tato metoda nám umožňuje kvantifikovat velikost krystalů i ze snímků Particle Vision and Measurement (PVM), pořízených během krystalizačního procesu. Technologie PVM zachycuje částice a mechanismy částic tak, jak existují v samotném procesu. Vzhledem ke sledovaným koncentracím a velikosti krystalů jsou PVM snímky velmi špatně čitelné a jednotlivé krystaly jsou obtížně rozpoznatelné, což činí analýzu velikosti částic náročnou. Navrhovaná metoda se skládá ze dvou hlavních složek: nového způsobu, jak generovat tréninkové páry s vysokou úrovní důvěryhodnosti prostřednictvím Cycle-Consistent Adversarial Network (CycleGAN) a modelu Mask-RCNN, trénovaném pro úlohu rozpoznávání částic nad vygenerovanými daty. Ve srovnání s manuálním anotováním a konvenčními přístupy k supervised learning, které jsou obvykle náročné na zpracování dat a zároveň náchylné k chybám, je tato metoda více automatizovaná a objektivnější, jelikož může těžit z realistické syntézy tréninkových dat. Metoda byla použita na snímky dvou morfologií částic s různou velikostí a koncentrací pevných látek (typické koncentrace skutečných průmyslových podmínek). Výsledky ukazují, že uvedená metoda je schopna úspěšně provést relativní porovnání velikostí pro nižší koncentrace pevných látek. To naznačuje, že by tato metoda mohla být použita pro monitorování krystalizačních mechanismů, jako je růst, aglomerace a štěpení pro procesy s nízkou koncentrací pevných látek.

Abstract:

We introduce a novel deep learning based image analysis method for in- line microscopy monitoring and particle size analysis. This methodology allows us to quantify the size of crystals from low-quality Particle Vision and Measurement (PVM) images taken during the crystallization process.PVM technology captures particles and particle mechanisms as they exist in the process. Due to the variability of concentrations and the size of the crystals, the appearance of the PVM images is hazy and the individual crystals are difficult to recognize, which makes the analysis of particle size challenging.The proposed method consists of two major components: a novel way to generate training image and label pairs with a high level of credibility via a Cycle-Consistent Adversarial Network (CycleGAN), and a Mask-RCNN model trained with the generated data for the particle detection task. Compared with manual labeling and conventional supervised deep learning approaches, which are normally labor-intensive and error-prone, the method is more automatic and objective since it can benefit from highly realistic training data synthesis.The method has been applied to images of two particle morphologies with varying particle sizes and solids concentrations (typical concentrations of actual industrial conditions). The results demonstrate that the method can successfully perform relative size comparisons for the lower end of the solids concentrations, suggesting that this method could be used to monitor crystallization mechanisms such as growth, agglomeration, and breakage in the lower end of the industrial concentration spectrum.

Keywords

analýza velikosti částic, CycleGAN, hluboké učení, krystalizace, rozpoznávání objektů

Keywords

crystallization, deep learning, CycleGAN, object detection, particle size analysis

Language used: English

Date on which the thesis was submitted / produced: 28. 6. 2019

Thesis defence

• Date of defence: 24. 8. 2020
• Supervisor: Milan Bašta
• Reader: Pavel Zimmermann

Vysoká škola ekonomická v Praze

Master programme / field:
Kvantitativní metody v ekonomice / Statistika