Resource scheduling in OpenStack

Alexandra Nyitraiová

Master's thesis

Abstract:

Táto práca je zameraná na optimalizáciu využitia zdrojov v OpenStacku. Popisuje základné moduly OpenStacku, vrátane Watchera. Watcher je modul, ktorý sa v OpenStacku stará o optimzalizáciu využitia zdrojov. Pre efektívnu optimalizáciu, využíva Watcher metriky, ktoré vyjadrujú aktuálny stav využitia zdrojov. OpenStack ponúka dva moduly pre zbieranie metrík, Ceilometer a Monascu. Oba tieto moduly dokážu monitorovať zdroje v OpenStacku, no vývoj a podpora Monascy je dnes viac na vzostupe v porovnaní s Ceilometrom. Taktiež, Monasca sa používa na monitorovanie OpenStacku v Českom Národnom Gride nazývanom MetaCentrum, kde aplikujeme výsledky tejto práce. Pre reflektovanie týchto trendov, v tejto práci navrhujem a implementujem spôsob ako použiť Monascu s Watcherom ako jeho jediný zdroj metík. Pre každý virtuálny stroj Watcher rozoznáva unikátnu konfiguráciu trojice disk, RAM, a CPU. Každá takáto trojica má svoj vlastný názov. Na základe tohto názvu a metrík vie Watcher rozoznať či je potenciál virtuálnych strojov plne využitý a na základe toho im vie priradiť vhodný server na ktorom sa budú vykonávať. Funkcionalita Watchera bola ďalej rozšírená o rozoznávanie značiek nesúcich špecifický názov, ktoré pomáhajú k správnemu plánovaniu virtuálnych strojov s nevyužitým potenciálom. V implementačnej časti bol upravený kód Watcheru a pridaná dodatočná konfigurácia tak, aby navrhnuté riešenie fungovalo. Výsledky tejto práce boli otestované v testovacom prostredí a dokázali, že implementácia bola úspešná. V tejto práci sa taktiež píše o technických problémoch, ktoré sa objavili počas implementácie. Tieto problémy vznikali najmä kvôli nepresným návodom v dokumentácii OpenStacku, neimplementovaným častiam kódu Watchera alebo kvôli chybám v kóde Watchera.

Abstract:

This thesis is focused on the optimization of resource usage in the OpenStack cloud. OpenStack modules are described, including the Watcher, which is the optimization module for OpenStack. For efficient optimization, Watcher needs to collect the actual metrics. There are two telemetry modules available for the collection of metrics, namely Ceilometer and Monasca. Both can monitor the OpenStack cloud. However, the development and support of Monasca are nowadays more on the rise in comparison with Ceilometer. Also, Monasca is used to monitor the OpenStack cloud in the Czech National Grid MetaCentrum, where we should apply our results. To reflect these trends, the thesis designs and implements the approach where Monasca is the only data source module for the Watcher. This allows Watcher to recognize and schedule underutilized virtual machine instances separately based on their flavor. Also, Watcher functionality was extended to handle tags from users or administrator containing information about VM helpful for its proper scheduling. The implementation part of the work was introduced by the changes in Watcher’s code and additional configuration. The results of this work were successfully tested and evaluated in an OpenStack testbed. The thesis also discusses many issues arising during the implementation due to OpenStack’s documentation inaccuracy, Watcher’s incomplete code, or bugs in Watcher’s code.

Keywords

OpenStack, Watcher, cloud optimization, data center, optimization Strategy, virtual machine (VM), VM migration, Monasca, data source, metrics, compute node, optimization module

Language used: English

Date on which the thesis was submitted / produced: 20. 7. 2020

Thesis defence

• Date of defence: 14. 9. 2020
• Supervisor: doc. Mgr. Hana Rudová, Ph.D.
• Reader: RNDr. Dalibor Klusáček, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics