Vyhledávání duplicitních videí ve velkých databázích

Bc. Adam FARA

Master's thesis

Large scale video sequence matching

Abstract:

This work is focused on video copy detection in large databases. I use two different approaches of fingerprinting media, one of them based on SURF, the other one on siamese neural networks. Fingerprinting is a process of describing an image by n-dimensional numerical feature vector. Simplest feature vector of an image can be for example histogram of brightness values. In this work I use terms fingerprint, feature vector and descriptor as synonyms. Fingerprints are small files representing videos. They can be searched fast and storing them takes just a fraction of computer memory compared to storing video files. The goal of this work is to determine the ability of proposed approaches of fingerprinting media and their transformed copies. Transformed copy of any media is changed in some way from its original source. It is also called duplicate media. It can be affected by compression, geometric transformations, etc. Another part of this work focuses on matching algorithm used to match fingerprints of two samples of visually similar media. I also compare ability of both proposed descriptors to generalize feature vectors of original and transformed media. General feature vector should be similar for original media and its transformed copies. In other words, feature vectors retrieved from original and transformed media should be close to each other in feature space and be separated from feature vectors computed from another media. Entire program created in this work consists of part computing image fingerprints and part matching similar fingerprints. Usage of this program might be in automatic media searching in large databases or online sources (YouTube, etc.), e.g. for finding unauthorized video copies. For the purpose of this work I created dataset of thousands of videos and their transformed copies. I managed to create a system that is quite reliably able to find duplicate video if another copy affected with similar transformation is already in my precomputed dataset.

Abstract:

Práce je zaměřena na vyhledávání duplicitních videí ve velkých databázích. V oblasti zpracování obrazu jsou často zažité anglické termíny, které se používají i v češtině. Překládání takových termínů způsobuje zmatek. Budu proto používat zažité anglické termíny. Používám dva různé přístupy k popisu (fingerprinting) médií. První z nich je založený na SURF deskriptoru, druhý využívá siamské neuronové sítě. Fingerprinting je proces popisu obrazu pomocí n-dimenzionálního číselného příznakového vektoru (feature vector). Nejjednodušší feature vector obrazu může být například histogram jasových hodnot. Termíny fingerprint, feature vector a descriptor mají v této práci stejný význam. Fingerptinty jsou velikostí malé soubory reprezentující video. Mohou být rychle prohledávány a jejich uchovávání zabírá jenom zlomek paměti počítače ve srovnání s uchováváním původních video souborů. Cílem práce je určit schopnost představených přístupů popsat původní média a jejich upravené kopie. Upravená verze videa je nějakým způsobem změněná proti originálu. Upravenému videu se také říká duplicitní video. Může být změněné například kompresí, použitím geometrických transformací a podobně. Další část práce se zaměřuje na algoritmus sloužící k párování fingerprintů dvou vzorků vizuálně podobných videí. Porovnávám také schopnost představených deskriptorů popsat obecně originální a upravenou verzi videí. Obecný příznakový vektor by měl být podobný pro originální a duplicitní video. Jinými slovy, příznakové vektory získané z původního a transformovaného videa by měly mít malou vzdálenost v prostoru příznakových vektorů a zároveň by měly být vzdálené od příznakových vektorů spočtených pro jiná videa. Celý program se skládá z části, která počítá příznakové vektory videí, a části, která páruje příznakové vektory podobných videí. Použítí programu může být k automatickému vyhledávání duplicitních videí v rozsáhlých databázích nebo online zdrojích (YouTube a podobně) například kvůli ochraně autorských práv. Pro účely práce byl vytvořen dataset čítající tisíce videí a jejich transformovaných kopií. Podařilo se mi vytvořit systém, který je schopný celkem spolehlivě nalézt duplicitní video, pokud už v databázi předpočítaných videí existuje podobným způsobem poškozená verze stejného videa.

Keywords

vyhledávání duplicitních videí, matchování videí, siamské neuronové sítě pro popis obrazu

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 13. 5. 2016

Zverejniť od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedúci: Ing. Pavel Campr, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / odbor:
Applied Sciences and Computer Engineering / Cybernetics and Control Engineering