Efektivní strategie pro automatické generování trénovacích dat

Bc. Kryštof KRMASCHEK

Diplomová práce

Efficient Strategies for Automatic Generation of Training Data

Abstract:

Tato práce se zabývá efektivními strategiemi automatického generování trénovacích dat, které řeší problémy spojené s ručním anotováním dat. První část práce poskytuje teoretický základ, vysvětluje klíčové pojmy v oblasti zpracování přirozeného jazyka (NLP) a metodiky pro práci s textovými daty. To zahrnuje podrobnou diskusi o předzpracování textu, tokenizaci a různých technikách NLP nezbytných pro porozumění textovým datům a manipulaci s nimi. Na základě těchto teoretických základů se výzkum zabývá praktickými metodami, jako je shlukování textů, parsování dokumentů se zpětným překladem a využití frameworku DSPy ke zvýšení kvality a škálovatelnosti trénovacích datasetů. Cílem je snížit čas a náklady spojené s přípravou dat při zachování vysoké přesnosti. Výsledky experimentů ukazují, že tyto automatizované přístupy tyto cíle účinně splňují a představují účinnou alternativu k tradičním procesům ruční anotace.

Abstract:

This thesis explores efficient strategies for the automatic generation of training data to address the challenges associated with manual data annotation. The first part of the thesis provides a theoretical foundation, explaining key concepts in Natural Language Processing (NLP) and methodologies for working with textual data. This includes an in-depth discussion of text preprocessing, tokenization, and various NLP techniques essential for understanding and manipulating text data. Building on this theoretical groundwork, the research explores practical methods such as text clustering, document parsing with back-translation, and the use of the DSPy framework to enhance the quality and scalability of training datasets. The objectives are to reduce the time and cost involved in data preparation while maintaining high accuracy. Experimental results indicate that these automated approaches effectively meet these objectives, providing a viable alternative to traditional manual annotation processes.

Keywords

Automatické generování dat, automatizace tréninkových dat, strojové učení, labellování dat, příprava dat AI, škálovatelná anotace dat, automatizované labellování

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 24. 5. 2024

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Obhajoba proběhla 12. 6. 2024
• Vedoucí: MgA. Jan Hůla, Ph.D.

OSTRAVSKÁ UNIVERZITA

Přírodovědecká fakulta

Magisterský studijní program / obor:
Aplikovaná informatika / Umělá inteligence