Implementace řešení pro analýzu a prezentaci výsledků zátěžových testů softwaru

Jiří Kinkor

Master's thesis

Implementation of a solution for analysis and presentation of software performance test results

Abstract:

Diplomová práce se zabývá analytickou vrstvou nad zátěžovými testy softwaru. Toto téma propojuje dvě domény, a to testování výkonnosti a datovou analýzu. Hlavním cílem této práce je vytvořit řešení pro analýzu a prezentaci výsledků zátěžových testů softwaru v dané organizaci. V úvodu práce dochází k představení klíčových oblastí analytické vrstvy nad zátěžovými testy a k vymezení teoretických koncepcí z těchto oblastí. Následně je provedena analýza současného stavu organizace v oblasti zátěžového testování, na jejímž základě dochází k popsání stávajících nedostatků při hodnocení a reportování dosažených výsledků, identifikaci klíčových skupin konzumentů těchto výsledků, sběru požadavků na cílové řešení a identifikaci dat, které představují výstupy ze zátěžových testů. Dále dochází k návrhu architektury analytické vrstvy, včetně návrhu na rozšíření stávajícího logování nástroje pro generování zátěže a monitorování systému během prováděného testu. Následně je navržená architektura implementována. Implementované řešení přináší organizaci schopnost vyhodnotit daný test a v případě problémů identifikovat problémové oblasti systému, porovnat výsledky ze dvou zátěžových běhů nebo sledovat trendy ve výkonnosti systému. Hlavním výstupem je sada dashboardů, které doručují požadovanou informační hodnotu identifikovaným skupinám konzumentů. Řešení je zavedeno jako PoC (Proof of Concept), za použití nástrojů FileBeat, Logstash, OpenSearch a OpenSearch Dashboards. Řešení jako celek přispívá ke standardizaci zaváděného procesu zátěžového testování v dané organizaci a výrazně rozšiřuje dosavadní možnosti vyhodnocování a reportování výsledků ze zátěžových testů. Závěrem jsou doporučeny kroky pro nasazení do produkčního prostředí organizace a další možný rozvoj řešení.

Abstract:

The thesis deals with the analytical layer above software performance tests. This topic links two domains – performance testing and data analysis. The main objective of this thesis is to develop a solution for analysing and presenting the results of software performance tests in a given organization. The thesis starts by introducing the key areas of the analytical layer and defining the theoretical concepts from these areas. This is followed by an analysis of the current state of the organization in performance testing, which leads to a description of the current gaps in the evaluation and reporting of the results achieved, the identification of the key groups of consumers of these results, the collection of requirements for the target solution, and the identification of the data that represent the outputs of the performance tests. In addition, the architecture of the analysis layer is proposed, including a proposal for extending current logging of load generation tool and extending monitor the system during the test execution. Subsequently, the proposed architecture is implemented. The implemented solution provides the organization with the ability to evaluate, and in the event of problems, identify problem areas in the system, compare results from two runs, or monitor trends in system performance. The main output is a set of dashboards that deliver the desired information value to identified user groups. The solution is implemented as a PoC (Proof of Concept), using FileBeat, Logstash, OpenSearch and OpenSearch Dashboards. The solution contributes to the standardization of the performance testing process in the organization and significantly expands the existing capabilities for evaluating and reporting results. Finally, steps are recommended for deployment to the production environment and further possible development of the solution.

Keywords

Locust, zátěžové testování, analytické řešení, OpenSearch, reporting

Keywords

performance testing, Locust, analytical solution, OpenSearch, reporting

Language used: Czech

Date on which the thesis was submitted / produced: 28. 4. 2024

Thesis defence

• Date of defence: 29. 5. 2024
• Supervisor: Ota Novotný
• Reader: Jan Pour

Vysoká škola ekonomická v Praze

Master programme / field:
Informační systémy a technologie / Business Intelligence