Automating Performance Testing and Infrastructure Deployment for Debezium

Bc. Jiří Novotný

Master's thesis

Abstract:

Tato práce se zaměřuje na testování výkonu projektu Debezium. Práce se zabývá řešením složitostí spojených s generováním zátěže, provedením testů, monitorováním prostředí, ukládáním metrik, vizualizací dat a automatizací testů. Práce odhaluje přístup navržený k efektivnímu řešení výzev, které se vyskytly při provádění těchto testů. Implementace řešení vyžadovala vývoj několika klíčových komponent. Database Manipulation Tool je univerzální aplikace strategicky využívaná pro generování zátěže. Performance Test Suite je aplikace nesoucí zodpovědnost za provedení testů. Několik Ansible playbooků je navrženo pro nasazení různých komponent v testovacím prostředí. Dedikovaná pipeline použita pro orchestraci celého testovacího procesu. Dále tato studie představuje důležité poznatky z reálných scénářů testování výkonu provedených na projektu Debezium. Tyto poznatky slouží jako důkaz praktického použití vyvinutých řešení, přinášející náhled na nuance, výzvy a průlomy v zajišťování optimálního výkonu Debezia při různých testovacích podmínkách.

Abstract:

This thesis focuses on the challenge of performance testing the Debezium project. The core emphasis of Debezium performance testing lies in addressing the complexities surrounding load generation, test execution, environment monitoring, metrics storage, data visualization, and test automation. The comprehensive exploration unfolds a solution driven approach designed to tackle the challenges encountered in conducting these tests. The solution required the development of several key components. The Database Manipulation Tool is a versatile application strategically employed for load generation. The Performance Test Suite takes responsibility for executing tests. Multiple Ansible playbooks are designed for deploying diverse components within the test environment. A dedicated pipeline assumes the role of the test orchestrator. Furthermore, this study presents critical findings from real-world performance testing scenarios conducted on Debezium. These findings stand as a testament to the practical application of the devised solutions, shedding light on the nuances, challenges, and breakthroughs inherent in ensuring the optimal performance of Debezium under varying test conditions.

Keywords

Debezium, performance, testing, automation, CDC, Change Data Capture

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 9. 2. 2024
• Supervisor: RNDr. Adam Rambousek, Ph.D.
• Reader: Ing. Jiří Pechanec

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems