Rozpoznávání typů scén zpravodajských pořadů z obrazových dat

Bc. Jiří VYSKOČIL

Master's thesis

Scene type recognition of TV News broadcasts using visual data

Abstract:

Researchers of the Department of Cybernetics at the University of West Bohemia in Pilsen in cooperation with SpeechTech s.r.o. have developed a system, which automatically subtitles live broadcasts for Czech Television. The aim of this thesis is to extend the system for the "Události ČT" programme, with a scene recognizer using image data, appropriate sound filter aware of the scene type could be applied. Different neural network architectures were analyzed to develop a system capable of recognizing television news scenes. For evaluation of a network performance, a tool has been created, which generates an attention map, a model prediction including the correct class name for each input image and a confusion matrix. By comparing an InceptionResNetV2 network to other backbone architectures, the results have shown, that the InceptionResNetV2 has the best performance during the learning phase. Thus, this network was further analyzed along with a compact MobileNetV2 network. The analyses explore, in addition to the different configurations of the models, the possibility of processing time-distributed image data. However, the testing phase has shown that the MobileNetV2 networks have more accurately classified the input images into correct classes, than the InceptionResNetV2 networks and that models, which process time-sequences of images, have lower recognition accuracy in most cases than networks, which perform classification based on a single input image. Besides these results, it can be unambiguously stated that the MobileNetV2 network is opening the possibility for practical usage, since it has considerably fewer parameters and the accuracy for classifying 9 classes was around 94 %, which is a very promising result. Source files created for the purposes of this thesis are available on the website: https://github.com/vyskocj/TV-News-Scene-Recognition

Abstract:

Výzkumnými pracovníky Katedry kybernetiky Západočeské univerzity v Plzni byl ve spolupráci s firmou SpeechTech s.r.o. vyvinut pro Českou televizi systém, který je schopen automaticky titulkovat přenosy z živého vysílání. S cílem rozvinout systém na pořad Události ČT vznikla tato diplomová práce, která se zabývá rozpoznáváním scén s použitím obrazových dat, aby následně dle typu scény mohl být aplikován příslušný zvukový filtr, který má schopnosti potlačení šumu pozadí a zvyšuje přesnost převodu řeči na text. Pro vývoj systému schopného rozpoznávat scény televizních událostí byly analyzovány různé architektury neuronových sítí. Pro vyhodnocení výkonu sítě byl vytvořen nástroj, který je schopen vygenerovat matici zmatení (confusion matrix) a pro každý vstupní obrázek mapu pozornosti (attention map) a predikci modelu včetně názvu třídy správné klasifikace. Experiment porovnávající různé architektury neuronových sítí ukázal, že InceptionResNetV2 dosahuje nejlepších výsledků během učení v porovnání s ostatními sítěmi. Tudíž tahle síť byla následně analyzována společně s kompaktní architekturou MobileNetV2. Následné analýzy, kromě různých konfigurací sítí, prozkoumávaly i možnosti zpracování časově distribuovaných obrazových dat. Během testování se však ukázalo, že MobileNetV2 sítě jsou schopny přesněji klasifikovat než InceptionResNetV2 a že modely zpracovávající časové sekvence obrázků dosahují ve většině případů nižších přesností, než sítě, které provádí klasifikaci na základě jednoho vstupního obrazu. Z těchto výsledků lze jednoznačně konstatovat, že pro praktické využití je síť MobileNetV2 vhodnější i vzhledem k značně nižšímu celkovému počtu parametrů a s přesností klasifikace přibližně 94 %, což je příznivý výsledek. Zdrojové soubory pro účely této práce jsou dostupné na stránkách: https://github.com/vyskocj/TV-News-Scene-Recognition

Keywords

počítačové vidění, zpracování digitalizovaného obrazu, umělá inteligence, rozpoznávání scén, televizní zprávy, neuronové sítě, LSTM

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2020

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Marek Hrúz, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / field:
Computer Science and Engineering / Control and Decision-Making Systems