Metody Active learning pro úlohy automatického zpracování přirozeného jazyka

Jakub MLADÝ

Bachelor's thesis

Abstract:

Aktivní učení je přístup k trénování modelů umělé inteligence v rámci učení s učite- lem. Motivací k jeho zavedení je šetření času a finančních prostředků při pořizování anotací trénovacích dat, jež jsou v mnoha úlohách strojového učení potřebné. Jeho paradigma je jednoduché: předpoklady jsou datová sada s několika málo označenými daty, model a anotátor. Následně do splnění vhodně zvolené ukončovací podmínky probíhá následující cyklus - naučit model na označené podmnožině, vybrat několik neoznačených vzorků a dotázat se anotátora na označení vybraných vzorků. Kri- tickou částí systému je pak výběr vzorků. Při použití vhodné strategie je možné vybrat takové prvky, jejichž naučením se model zlepší nejvíce. Právě tyto strategie jsou hlavním předmětem výzkumu aktivního učení. Tato práce nabízí průzkum již existujících strategií a poskytuje hodnocení přínosu některých strategií a aktivního učení jako celku z výsledků navržených experimentů.

Abstract:

Active learning is an approach to training artificial intelligence models within super- vised learning. The motivation for its introduction comes from the need to spare time and financial resources in obtaining labels for the training data, which are fundamental for many machine learning tasks. Its paradigm is simple: the precon- ditions are a training dataset with a few data labeled, the model and an annotator. Then, the following cycle is repeated until some suitable terminal condition is met - train the model on labeled data, query for more unlabeled data and let the annotator provide the labels for the queried instances. The critical part of such a system lies in the startegy of querying for new data samples. With a desirable strategy, such data labels could be obtained, that imporve the model the most. These query strategies are the main subject of ongoing research in active learning. This work offers a sur- vey of existing strategies and provides evaluation of contribution of some chosen strategies and active learning as a whole from the results of proposed experiments.

Keywords

aktivní učení, zpracování přirozeného jazyka, umělá inteligence, strojové učení, neuronové sítě, transformery, HuggingFace, Metacentrum, PyTorch, modAL, Small-Text, Weights and Biases

Language used: Czech

Date on which the thesis was submitted / produced: 21. 6. 2023

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Jakub Sido

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Computer Science and Engineering / Computer Science and Engineering