Návrh strategie zajištění kvality pro aplikaci strojového učení

Yad Ghazi Othman

Bachelor's thesis

Designing a Quality Assurance Strategy for a Machine Learning application

Abstract:

In this paper, the thesis analyzes how to go about formulating a Quality Assurance (QA) plan for a Machine Learning (ML) program, specifically focusing on a ML algorithm for a classification task. There is a rising need for methods to verify the accuracy and reliability of ML programs. The study begins by elucidating the primary difficulties associated with QA in ML applications, and then proposes a framework to deal with them. The proposed framework incorporates automated testing for validating vital records in the system, ensur ing that it meets the required quality standard, and scripting JavaScript for determining the presence of characteristics, authenticating data types, and verifying the quality of numbers. The study also investigates how to choose useful metrics for measuring the effectiveness of ML models, and it suggests a set of metrics for doing so. The thesis also suggests a method ology for full-stack testing of ML applications, which would encompass all three stages of development: creating test data, training the model, and assessing its performance. The pro posed QA strategy is applied to a production-ready ML application and thoroughly tested to prove its worth in guaranteeing its quality and dependability. The results of this thesis can be used as a guide by professionals and academics in the field to better understand how to design a QA strategy for ML applications.

Abstract:

Práce analyzuje, jak postupovat při formulování plánu zajištění kvality (QA) pro program strojového učení (ML), konkrétně se zaměřením na algoritmus ML pro klasifikační úlohu. Roste potřeba zajistit důvěryhodnost a přesnost aplikací ML. Studie začíná objasněním primárních obtíží spojených se zajišťováním kvality v aplikacích ML a poté navrhuje rámec pro jejich řešení. Navrhovaný rámec zahrnuje automatizované testování pro ověřování životně důležitých záznamů v systému, které zajišťuje, že splňují požadovaný standard kval ity, a skriptování JavaScriptu pro určování přítomnosti charakteristik, ověřování datových typů a ověřování kvality čísel. Studie také zkoumá, jak vybrat užitečné metriky pro měření efektivity ML modelů, a navrhuje sadu metrik pro tento účel. Práce také navrhuje metodiku pro fullstack testování ML aplikací, která by zahrnovala všechny tři fáze vývoje: vytváření testovacích dat, trénování modelu a hodnocení jeho výkonu. Navrhovaná strategie QA je aplikována na produkční ML aplikaci a důkladně testována, aby se prokázala její hodnota při zaručení její kvality a spolehlivosti. Výsledky této práce mohou být použity jako vodítko pro profesionály a akademiky v oboru, aby lépe pochopili, jak navrhnout strategii QA pro aplikace ML.

Keywords

zajištění kvality, strojové učení

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2023

Thesis defence

• Supervisor: MSc. Luis Antonio Beltran Prieto

Tomas Bata University in Zlín

Faculty of Applied Informatics

Bachelor programme / field:
Software Engineering / Software Engineering