Význam přenosového učení pro technologii počítačového vidění

Ondřej Bronec

Master's thesis

The Significance of Transfer Learning for Computer Vision Technology

Abstract:

Tématem této diplomové práce je přenosové učení – technika umožňující přenos znalostí mezi neuronovými sítěmi, a to především v kontextu počítačového vidění. Práce nejdříve prochází současnou literaturu a vysvětluje teorii této oblasti. Následuje přehled modelů počítačového vidění posledních let a praktická část, v které se pokusíme zjistit, jestli je možné pomocí přenosového učení lze kompenzovat nedostatek dat a zkrátit dobu učení sítě. Dále se pokusíme zjistit, jestli dosahuje síť získaná pomocí přenosu znalostí i po dostatečné době a s dostatečným množstvím dat lepších výsledků. Nakonec ještě posoudíme vliv velikosti a architektury zdrojového modelu na výsledky přenosového učení. V rámci šesti datových souborů používaných pro hodnocení klasifikace obrázků je provedeno porovnání výsledků modelu VGG16 vždy v jednom případě využívající pouze jeho architekturu a v druhém i jeho znalosti získané na datovém souboru ImageNet. Rovněž prověřujeme vlivy náhodného zvolení vah, prodloužení času učení modelu, navýšení a snížení velikosti datového souboru a porovnání přenosu znalostí z několika různých modelů počítačového vidění. Celkově prezentujeme velké množství závěrů podporujících užitečnost přenosového učení. U jednoho datového souboru model bez přenosu znalostí dosahuje lepších výsledků, ale u všech ostatních vede přenos znalostí ke snížení entropie a navýšení přesnosti klasifikace a ve dvou případech je dokonce přenos znalostí jedinou možností, která vede k použitelnému modelu. Navíc v rámci žádného z datových souborů jsme nenalezli žádné podstatné omezení použitelnosti přenosového učení.

Abstract:

Subject of this thesis is transfer learning – a technique used to transfer knowledge between neural networks, especially in the field of computer vision. The thesis reviews the current research and theory of this area and then provides an overview of computer vision models from the past few years. We then include a case study in which we inquire if transfer learning can be used to compensate for the lack of data and reduction in the number of training epochs. We also evaluate if a network trained using transfer learning gives better result even after large number of training epochs and with enough data. Lastly, we compare several different models and architectures and their effects on the results. For most of the case study two versions of VGG16 model are used to evaluate six datasets. One of them is using just its architecture and the other also the knowledge learned on the ImageNet domain. We also investigate the impact of random weight initiation, increase in the number of training epochs, the size of the dataset and changing the model used to obtain the transferable knowledge. Overall, we present a large amount of evidence towards positive impact of transfer learning. In one of our datasets creating a model without transfer of knowledge proved more effective, but in all other cases usage of transfer learning lead to the reduction of cross entropy and increase in precision and in two cases using transfer learning was the only viable option. Lastly, we did not observe any significant problems that would arise from the use of transfer learning.

Keywords

konvoluční neuronové sítě, počítačové vidění, přenos parametrů, hluboké neuronové sítě, přenos znalostí, přenosové učení

Keywords

convolutional neural networks, deep neural networks, knowledge transfer, parameter-based transfer learning, computer vision, transfer learning

Language used: Czech

Date on which the thesis was submitted / produced: 9. 9. 2019

Thesis defence

• Date of defence: 9. 6. 2021
• Supervisor: Milan Bašta
• Reader: Pavel Zimmermann

Vysoká škola ekonomická v Praze

Master programme / field:
Kvantitativní metody v ekonomice / Statistika