Image Captioning using Deep Learning

Bc. Tomáš ŽELEZNÝ

Master's thesis

Abstract:

In this work, I discuss an automatic image captioning technique based on an existing method Oscar. Using a Faster-R-CNN detection network, I pre-process the images so that they can be further used by Oscar. By combining these two methods, I create a pipeline that allows me to generate a caption for any image. I evaluate its performance using metrics BLEU-4: 0.312, METEOR: 0.272, CIDEr: 1.02, and SPICE: 0.201, which is a drop from the original performance. Thus, I further discuss the causes in this work. Within the ablation study, I investigate the impact of individual modalities of Oscar. The results of the experiment suggest that Oscar is dependent on both modalities, with the visual modality. In the end, I discuss the interesting cases of the behavior when the pipeline is supposed to generate captions for images with objects unknown to it.

Abstract:

V této práci se zabývám technikou automatického popisu obrázků, založenou na existující metodě Oscar. Pomocí detekční sítě Faster-R-CNN vhodně předzpracovávám obrázky tak, aby mohly být dále použity metodou Oscar. Spojením těchto dvou metod vytvářím systém, který umožňuje vygenerování popisku pro libovolný obrázek. Tento systém je poté vyhodnocen na metrikách BLEU-4: 0.312, METEOR: 0.272, CIDEr: 1.02, a SPICE: 0.201, což je pokles oproti původním. V práci se tak dále zabývám důvody, které k tomu vedly. V rámci ablační studie se věnuji zkoumání závislosti jednotlivých modalit metody Oscar. Výsledky experimentu naznačují že Oscar je závislý na obou modalitách, vizuální modalita převažuje. V závěru práce diskutuji různé případy chování mého popisovacího systému, kdy měl generovat popisky k obrázkům s pro něj neznámými objekty.

Keywords

Popis obrázků, hluboké učení, počítačové vidění, strojové učení, detekce objektů

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 23. 5. 2022

Zverejniť od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedúci: Ing. Marek Hrúz, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / odbor:
Applied Sciences and Computer Engineering / Cybernetics and Control Engineering