Výkonnostní porovnání Open Source NewSQL databázových systémů

Tomáš Menger

Bachelor's thesis

Performance comparison of Open Source NewSQL database systems

Abstract:

Cíle této práce jsou provést analýzu trhu open source NewSQL databázových systémů, vybrat vhodný benchmark na jejich výkonnostní porovnání a vybrané systémy tímto benchmarkem otestovat. Vybranými systémy jsou CockroachDB a TiDB. Vybraným benchmarkem je TPC-C, pomocí kterého je měřena propustnost databáze pomocí metriky tpmC měřící počet transakcí typu nová objednávka za minutu. TPC-C je nakonfigurován pro deset a dvacet skladů, každý test je prováděn desetkrát. Podle výsledných průměrů jsou interpretovány výsledky tohoto porovnání na vybraném testovacím prostředí.Cíle této práce jsou takto zvoleny, aby poskytly autorovi a čtenáři široký rozhled do problematiky open source NewSQL databází a jejich výkonnostního testování. Provedením analýzy trhu jsou představeny hlavní zástupci na trhu, z kterých jsou následně vybrány dva nejpopulárnější. Na těchto systémech je představen postup jejich výkonnostního testování dle zvoleného benchmarku. Cíle také ilustrují postup výběru vhodného open source NewSQL databázového systému dle výkonosti v produkčním prostředí.Hlavním přínosem této práce je otestování vybraných open source NewSQL databázových systémů, CockroachDB a TiDB, z hlediska výkonu benchmarkem TPC-C. CockroachDB dosáhl lepších výsledků jak v propustnosti dle metriky tpmC, tak v nárůstu výkonu při škálování zátěže konfigurací parametrů TPC-C. Dle tohoto porovnání lze analogicky postupovat pro otestování těchto systémů v produkčních podmínkách pro stanovení výkonnosti systému. Dalším přínosem je představení obecné problematiky NewSQL databázových systémů a bližších specifik pro vybrané systémy.

Abstract:

The goals of this thesis are to perform a market analysis of open source NewSQL database systems, to choose a suitable benchmark for their comparison and to compare chosen systems using this benchmark. The database systems of choice are CockroachDB and TiDB. Benchmark of choice is TPC-C, which measures the throughput of a database based on the tpmC metric that measures the quantity of new order type transactions per minute. TPC-C is configured for ten and twenty warehouses and each specific test is performed ten times. The average of those is then interpreted to determine the results of the comparison in a specific testing environment.The goals are picked to give the author and the reader a broad understanding of open source NewSQL databases and their performance benchmarking. The main representatives are found by a market analysis, two most popular ones are chosen for further analysis. On these, the process of performance benchmarking is presented. The goals also exemplify the process of picking a suitable open source NewSQL database system by performance in a production environment.The main benefit of this thesis is a performance comparison of chosen OpenSource NewSQL database systems, CockroachDB and TiDB, using the TPC-C benchmark. CockroachDB performed better when measuring the throughput using tpmC and had a better increase in performance when the benchmark load scaled with different TPC-C parametres. It is possible to analogously perform these steps to test the systems in production environments and to determine which one of them performs better. Another benefit is the introduction to the concept of NewSQL database systems and further specifics of selected systems.

Keywords

databázové systémy, open source, databáze, NewSQL, CockroachDB, TiDB, TPC-C, výkonnostní porovnání, benchmark

Keywords

NewSQL, database, database system, open source, CockroachDB, TiDB, TPC-C, performance comparison, benchmark

Language used: Czech

Date on which the thesis was submitted / produced: 27. 11. 2019

Thesis defence

• Date of defence: 17. 6. 2020
• Supervisor: Jan Kučera
• Reader: Helena Palovská

Vysoká škola ekonomická v Praze

Bachelor programme / field:
Aplikovaná informatika / Aplikovaná informatika