Semantics in Multimedia: Event detection and cross-media feature extraction

Jan Nemrava

Doctoral thesis

Abstract:

Tato disertační práce popisuje oblast sémantiky v multimediích jakožto výzkumnou oblast, která propojuje řadu směrů, které do nedávné doby působily odděleně. Cílem práce je seznámit čtenáře se všemi oblastmi této rozsáhle disciplíny, především tzv. "sémantické mezery" a poskytnout náhled na problémy současného stavu výzkumu. Řada poznatků a závěrů v této práci vychází z mezinárodního projektu K-Space, kterého se autor po dobu třech let účastnil. Na rozsáhlý teoretický úvod do problematiky navazuje přehled současných aplikací tohoto výzkumu a přehled aktivit a zapojení KIZI do zmíněného evropského projektu. Přínosem této práce je zkoumání textových zdrojů komplementárních k videu a experimenty s automatickým rozpoznáváním událostí ve fotbale na základě dat natrénovaných pomocí těchto textových zdrojů. Praktickým přínosem je také vlastní demo aplikace, která tyto zdroje přehledně zobrazuje uživateli a umožňuje mu nelineání procházení prohlíženým videem.

Abstract:

This dissertation thesis describes the area of multimedia semantics which is a research area that brings together research streams that until recently run separately. The aim of the work is to provide an insight to all areas from this wide discipline and give an outlook on current problems especially to the semantic gab phenomena. Number of findings and outcomes in this work comes from international project K-Space, in which the author took part for three years. The extensive theoretical introduction into problematic is followed by a list state-of-the-art application from this area and overview of KIZI activities and involvements in the European project. The contribution of the work is a research on textual resources complementary to video and experiments with automatic detection of sporting events based on pre-classified examples and trained model. The practical contribution is also a demo web application that shows all the resources together and allows non-linear browsing of events.

Keywords

komplementární data, detekce událostí ve videu, sémantika v multimediích, analýza videa

Keywords

semantics in multimedia, complementary resources, video analysis, event detection

Language used: English

Date on which the thesis was submitted / produced: 30. 9. 2004

Thesis defence

• Date of defence: 29. 9. 2010
• Supervisor: Vojtěch Svátek
• Reader: Petr Berka, Pavel Smrž

Vysoká škola ekonomická v Praze

Doctoral programme / field:
Aplikovaná informatika / Informatika