Impact of Data Quality on Deep Learning Algorithms in Computer Vision

Bc. Vlastimil Martinek

Master's thesis

Anotácia:

Architektury hlubokého učení a kvalita dat jsou faktory při zlepšování výkonu úloh počítačového vidění. V posledních letech došlo k významnému pokroku v navrhování architektur konvolučních neuronových sítí. Stále však není jasné, jak zlepšit kvalitu dat pro další zvýšení výkonu těchto modelů. Tato práce zkoumá, které aspekty kvality dat ovlivňují výkon modelů hlubokého učení aplikovaných na datové sady počítačového vidění v oblastech autonomních automobilů, autonomních dronů a lékařského zobrazování. K měření vlivu kvality dat byly použity různé operace s kvalitou dat, včetně změn v množství dat, přesnosti štítků, vzorkování a použití augmentací. Jejich dopad byl měřen na výkonu modelů hlubokého učení, konkrétně Resnet50, Vgg19, InceptionV3 a MobilenetV2. Změny kvality dat byly aplikovány na datové sady klasifikace a sémantické segmentace, konkrétně datové sady CIFAR-10, X-ray, camvid a semantic drone. Experimentální výsledky ukazují, že použití určitých augmentací může zlepšit výkon až o 20%. Další výsledky ukazují, že větší datové sady fungují lépe než ty menší, ale pouze do určité prahové velikosti dat, od které nedochází k významnému zlepšení z dalších dat. Přesnost štítkování klasifikačních datových sad se řídí podobným vzorem chování, kde další zlepšení po určité prahové hodnotě nemají žádný zjevný dopad. Drobné a střední nepřesnosti v segmentačních štítcích se však zdají být zanedbatelné. Výsledky této práce ukazují, že kvalita dat je zásadním faktorem při budování dobře fungujících modelů hlubokého učení a že jejich zdokonalování není přímočaré a může vyžadovat experimentování a uvážení kontextu konkrétních datových sad a modelů.

Abstract:

Deep learning architectures and data quality are factors in improving the performance of computer vision tasks. In recent years, there were notable advancements in designing convolutional neural network architectures. However, it is still unclear how to improve data quality to enhance these models' performance further. This thesis explores which data quality aspects affect the performance of deep learning models applied to computer vision datasets in areas of self-driving cars, autonomous drones, and medical imaging. Various data quality operations were used to measure the impact of data quality, including changes to data quantity, label accuracy, sampling, and using augmentations. Their impact is measured on deep learning models' performance, specifically Resnet50, Vgg19, InceptionV3, and MobilenetV2. Data quality changes were applied to classification and semantic segmentation datasets, specifically CIFAR-10, X-ray, camvid, semantic drone datasets. Experimental results show that using certain augmentations can improve performance by up to 20%. Further results show that larger datasets perform better than smaller ones, but only until some data threshold, from which there are no significant improvements from additional data. The accuracy of classification datasets' labels follows a similar pattern, where additional improvements after a certain threshold have no apparent impact. However, minor and moderate inaccuracies in labeling segmentation appear to be negligible. The results of this work show that data quality is an essential factor in building well-performing deep learning models and that improving it is not a straightforward task and can require experimentation and acknowledgment of the context of concrete datasets and models.

Keywords

data quality, computer vision, deep learning, convolutional neural networks, image classification, semantic segmentation, kvalita dat, počítačové vidění, hluboké učení, konvoluční neuronové sítě, klasifikace obrazu, sémantická segmentace

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 7. 1. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 11. 2. 2021
• Vedúci: doc. Mouzhi Ge, Ph.D.
• Oponent: PhD Bacem Mbarek

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Machine learning and artificial intelligence