High-Performance Object Storage in Kubernetes Cluster

Bc. Ondřej Molík

Master's thesis

Abstract:

Tato práce si klade za cíl navrhnout, nasadit a vyhodnotit výkon objektového úložiště založeného na technologii MinIO umístěného v Kubernetes clusteru. Pozornost je věnována stabilitě, udržovatelnosti a celkové připravenosti pro produkční provoz výsledku. Nejprve je představena motivace a technologie zvolené pro implementaci. Následně jsou prezentována softwarová a hardwarová aktiva, které byla alokována pro objektové úložiště a jeho podpůrnou infrastrukturu. Spolu s aktivy jsou popsány technické limity, které představují. Na základě vybraných technologií a dostupných aktiv jsou vytvořeny čtyři architektonické návrhy, každý pro jinou vrstvu infrastruktury. Tyto vrstvy tvoří Kubernetes, objektové úložiště, monitorovací infrastrukturu a komponenty pro sběr logů. Po návrzích je popsaná implementace procesu nasazení clusteru. Výkon nasazeného clusteru je následně změřen a výsledky jsou porovnány s referenčními návrhy a očekáváními. Druhotné výsledky testování zahrnují procesy pro údržbu a odstraňování problémů s objektovým úložištěm a podpůrnou infrastrukturou. Praktickým výsledkem je objektový úložný cluster a sbírka artefaktů pro jeho nasazení. Práce končí návrhy pro další rozvoj, které by zvýšily výkon objektového úložiště a dále zlepšily monitorovatelnost související infrastruktury.

Abstract:

This thesis aims to design, deploy and evaluate a MinIO-based object storage in a Kubernetes cluster. Particular attention is paid to the stability, maintainability and overall production readiness of the result. Firstly, the motivation and technologies used for the implementation are introduced. Secondly, the software and hardware assets allocated for the object storage and supporting infrastructure are presented along with the technical limits they present. Based on the selected technologies and the assets available, four architectural designs are created, each for a different infrastructure layer. The layers are the Kubernetes, object storage, monitoring and logging. Following the designs, the cluster provisioning process is implemented. The provisioned cluster is then evaluated, and the results are compared to reference designs and expectations. Secondary results of the testing include processes for the maintenance and troubleshooting of the object storage and supporting infrastructure. The practical result consists of the object storage cluster and the collection of artefacts for its deployment. The work concludes with suggestions for future development that would increase the performance of the object storage and further improve the observability of the underlying infrastructure.

Keywords

CSIRT-MU, Data Lake, Data LakeHouse, data warehouse, Kubernetes, MinIO

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 5. 2. 2024
• Supervisor: RNDr. Daniel Tovarňák, Ph.D.
• Reader: Mgr. Tomáš Sapák

Masaryk University

Faculty of Informatics

Master programme / field:
Software systems and services management / Cybersecurity management