Vylepšenia aplikácie na rozpoznávanie textov zo snímok obrazoviek a vyhodnotenie jej úspešnosti

Bc. Lukáš Myjavec

Bachelor's thesis

Improvements of the screenshot text recognition application and evaluation of its success rate

Abstract:

Communication platforms are software tools that enable the online sharing of information between individuals or groups of people. The research team at Masaryk University, the Interdisciplinary Research of the Internet and Society, focuses on studying the impact of mobile devices and internet usage on adolescents. Part of the research involves analyzing communications on communication platforms. This work updates and improves the program IRTIS Recognizer, which extracts text from screenshots of communications from platforms using image processing and optical character recognition, and processes it into an analyzable form. The IRTIS Recognizer program has been refactored with significant improvements in the ability to react to changes in the UI of communicators. It is functional for current versions of the Messenger and WhatsApp. Additionally, the search of extracted messages in the list of all messages of a given communication and the ability to automatically evaluate the success of text recognition have been improved.

Abstract:

Komunikačné platformy sú softvérové nástroje umožňujúce zdieľanie informácií online medzi jednotlivcami alebo skupinami ľudí. Výskumný tím Masarykovej univerzity Interdisciplinární výzkum internetu a společnosti, sa zaoberá výskumom vplyvu mobilných zariadení a používania internetu na mladistvých. Súčasťou výskumu je analýza komunikácií na komunikačných platformách. Táto práca aktualizuje a vylepšuje program IRTIS Recognizer, ktorý pomocou spracovania obrazu a optického rozoznávania znakov extrahuje text zo snímok obrazoviek komunikácií z platforiem a spracováva ho do analyzovateľnej formy. Program IRTIS Recognizer bol refaktorovaný s výrazným zefektívnením reakcií na zmeny formátov UI komunikátorov. Je funkčný pre súčasné verzie komunikačných platforiem Messenger a WhatsApp. Vylepšené bolo aj vyhľadávanie extrahovaných správ v zozname všetkých správ danej komunikácie a schopnosť automaticky vyhodnotiť úspešnosť rozoznávania textu.

Kľúčové slová

optické rozpoznávanie znakov, spracovanie obrazu, približné vyhľadávanie, Messenger, WhatsApp, komunikátory, OCR

Jazyk práce: Slovak

Datum vytvoření / odevzdání či podání práce: 23. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 27. 6. 2024
• Vedúci: RNDr. Jaromír Plhák, Ph.D.
• Oponent: RNDr. Ondřej Sotolář

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Programming and development / Programming and development