Využití velkých jazykových modelů v počítačovém vidění

Bc. Jan Sáblík

Diplomová práce

Utilization of Large Language Models in Computer Vision

Anotace:

Tato diplomová práce se zabývá velkými jazykovými modely, pokročilými algoritmy pro detekci objektů a vývoji aplikací implementující tyto techniky pro platformu Android. První kapitola je zaměřena na velké jazykové modely, ve které jsou nejprve představeny základní pojmy a principy, včetně historického vývoje a současné architektury Transformer. Dále kapitola popisuje možné aplikace v počítačovém vidění, útoky a omezení. Druhá kapitola je zaměřena na zástupce moderních algoritmů pro detekci objektů, jejich rozdělení a princip. Třetí kapitola teoretické části stručně popisuje vývoj aplikací pro platformu Android. V praktické části je prezentován vývoj a testování mobilní aplikace SightSeek integrující počítačové vidění a velké jazykové modely. Ve druhé polovině praktické části je popsán proces vytváření datasetu a následné trénování klasifikačního modelu pro tuto aplikaci.

Abstract:

This thesis deals with large language models, advanced object detection algorithms, and the development of applications implementing these techniques for the Android platform. The first chapter focuses on large language models, first introducing the underlying concepts and principles, including the historical development and current Transformer architecture. Next, the chapter describes possible applications in computer vision, attacks, and limitations. The second chapter focuses on modern object detection algorithms, their types, and their principles. The third chapter of the theoretical part describes the development of applications for the Android platform. The practical part presents the development and testing of the SightSeek mobile application, which integrates computer vision and a large language model. The second half of the practical part describes the dataset creation process and the subsequent training of the classification model for this application.

Klíčová slova

Velký jazykový model, detekce objektů, Android, YOLO

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 3. 5. 2024

Obhajoba závěrečné práce

• Vedoucí: Ing. David Malaník, Ph.D.

Univerzita Tomáše Bati ve Zlíně

Fakulta aplikované informatiky

Magisterský studijní program / obor:
Informační technologie / Softwarové inženýrství