Automatická analýza a porovnávání obrazů uživatelských rozhraní

Bc. Marta Surgentová

Master's thesis

Automatic analysis and comparison of user interface screenshots

Abstract:

Táto diplomová práca sa zaoberá hľadaním podobností a hodnotením rozdielností medzi pármi obrázkov predstavujúcich rovnaké užívateľské rozhranie zachytené v rôznom čase. Prvá časť práce obsahuje teoretické zhrnutie vybraných metód, ktoré sa zaoberajú geometrickým usporiadaním štruktúr na obrázku a následným priradením logickej funkcie k týmto štruktúram ako je napr. tabuľka, graf, obrázok a iné. Tieto štruktúry majú tendenciu byť spracované vlastným spôsobom. Avšak, žiadna zo známych metód nie je vhodná pre konkrétne túto aplikáciu, preto bola navrhnutá a popísaná nová metóda, ktorá sa skladá z dvoch fáz. V prvej fáze sa vytvárajú páry obrázkov, ktoré majú medzi sebou úplnú podobnosť, ako aj páry, ktoré je potrebné ešte následne spracovať v druhej fáze tejto metódy. Tá sa zaoberá hodnotením lokálnych podobností medzi obrazovými pármi, pričom kategorizuje rôzne typy rozdielov. Táto metóda bola popísaná a testovaná v druhej časti práce pričom sa potvrdila jej praktická využiteľnosť na oboch skupinách testovacích sád obrázkov.

Abstract:

The content of this thesis aims at similarity searching and evaluation of differences between pairs of images representing the same user interface acquired in various times. Theoretical review of methods for geometric and logical layout analysis of is listed at the beginning of this work. The aim of the analysis is to distinguish structures such as table, graph, image, etc. These structures tend to be processed in their own way. However, none of the known methods is suitable for this application. Therefore, a new method consisting of two phases was proposed and is described. Matching pairs of images with full-image similarity as well as matching pairs of images with a need to be further processed in the second phase, are created within the first phase of the proposed method. The second phase aims at evaluation of local similarities between image pairs and categorising various types of differences. This method was described and evaluated in the second part of the work. The evaluation proved the practical usability of the proposed method in both tested groups of image datasets.

Keywords

porovnávání obrazů, hledání podobnosti obrazů, hodnocení rozdílnosti obrazů, uživatelské rozhraní, analýza geometrického a logického rozložení obrazů, normalizovaná křížová korelace, párování vzoru, image comparison, similarity reaching, evaluation of differences, user interface, geometric layout analysis, logical layout analysis, normalised cross-correlation, pattern matching

Language used: English

Date on which the thesis was submitted / produced: 22. 5. 2017

Thesis defence

• Date of defence: 23. 6. 2017
• Supervisor: doc. RNDr. Petr Matula, Ph.D.
• Reader: prof. RNDr. Michal Kozubek, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Image Processing