Event-based Optimization of Schedules for Grid Jobs

RNDr. Dalibor Klusáček, Ph.D.

Doctoral thesis

Abstract:

Tato práce se zaměřuje na realistické použití pokročilých plánovacích technik pro plánování výpočtů úloh v rozsáhlých, dynamických a heterogeních prostředích, jakými jsou například Gridy. Navrhované řešení je založeno na aplikaci tzv. rozvrhu, tj. datové struktury která umožňuje plánovat výpočet úloh tím, že definuje mapování úloh na stroje v čase. Iniciální rozvrh je generován rychlými řídícími pravidly a případně následně optimalizován pomocí metaheuristických algoritmů založených na lokálním prohledávání. Klíč k úspěchu tohoto řešení je založen na několika principech. Inkrementální přístup garantuje časovou efektivitu řešení - zejména rychlou tvorbu iniciálního rozvrhu. Tento princip staví na využití již existujícího řešení, čímž se šetří výpočetní čas, neboť rozvrh nemusí být celý počítán znova. Jsou zde použity rychlá a jednoduchá plánovací pravidla (scheduling policy), která generují tzv. iniciální rozvrh, např. při příchodu nové úlohy. Optimalizační algoritmy slouží k vylepšování tohoto iniciálního rozvrhu, vzhledem k požadovaným optimalizačním kritériím. Celý plánovací proces je řízen na základě událostí, které definují dynamické změny v systému. Vyhodnocování rozvrhu, tzv. evaluace, pak umožňuje efektivně používat navržené algoritmy tak, aby byla zachována odpovídající kvalita generovaného rozvrhu. Celý navržený přístup byl vyvinut s ohledem na budoucí nasazení v reálném produkčním prostředí Gridu. Z tohoto důvodu je navržené řešení schopné se vypořádat s mnoha typickými situacemi z reálného prostředí, jako jsou například dynamické příchody úloh, nepřesné odhady dob jejich trvání, výpadky a restarty strojů, atd. Součástí našeho výzkumu je i návrh a implementace pokročilého simulátoru plánování úloh "Alea", který umožňuje realisticky simulovat různé plánovací algoritmy, optimalizační kritéria i dynamické prostředí Gridu. Součástí práce bylo i podrobné vyhodnocení navržených technik a srovnání jejich výkonu vzhledem k standardním a často používaným frontovým algoritmům. Navržené algoritmy úspěšně řešily různé simulované problémy, včetně nejrůznějších optimalizačních kritérií. Navíc se ukázalo, že navržené řešení je dobře použitelné i v případě, kdy odhady dob trvání úloh jsou velmi nepřesné, tudíž i budované rozvrhy jsou principiálně také nepřesné. Výsledky naší práce byly průběžně publikovány na mezinárodních konferencích a workshopech včetně mezinárodního časopisu.

Abstract:

This thesis focus on the well known and complex problem of efficient job scheduling in large dynamic computational environments such as Grids. Current production scheduling systems are using queue-based algorithms that work well when few simple objectives are followed. However, it is very complicated to satisfy complex objectives involving, e.g., slowdown, response time, deadlines, resource utilization or fairness through a queue-based solution, since no, or quite limited planning ahead is often used. Therefore, the scheduling decisions for each job are taken in an ``ad hoc" fashion, with limited consideration of the remaining jobs in the queue, or with limited consideration of previous and future steps. Since the scheduling is performed only with respect to the current state and a long term impact is not considered, the overall performance may easily degrade. The main challenge of this thesis is to propose realistic approach that would allow to avoid such situations. For this purpose, we propose the application of schedule-based solution. Schedule represents a job to machine(s) mapping in time. Using schedule, the job execution is planned ahead, thus becomes predictable. Moreover, prepared schedule can be easily evaluated, therefore the quality of the solution can be exactly measured using selected optimization criteria. Furthermore, the schedule can be optimized, increasing the quality of the solution. The success of this approach is based on several principles that allow to build the schedule efficiently. The schedule is built using fast and simple scheduling policy. Then, the quality of such initial schedule is optimized using local search-based optimization metaheuristics. Both the policy and the optimization algorithm use so called incremental approach, which minimizes computational requirements of these techniques. Instead of time-expensive recomputation, the schedule is kept up to date subject to dynamically changing system through incrementally performed local modifications. When possible, existing gaps in the schedule are used to place new jobs. This so called gap filling approach follows the incremental approach while increasing the overall resource utilization. Also, the optimization plays an important role when fixing the schedule after some unexpected event, dealing with, e.g., machine failures or inaccurate job processing time estimates. Moreover, so called anytime approach is used to guarantee flexible runtime of optimization algorithms. When necessary, the potentially time-consuming optimization routines can be stopped at any time, guaranteeing minimal overhead. Finally, so called event-based approach is applied, meaning that the whole scheduling process is driven by incoming events. These events represent dynamically changing state of the system. Based on the event type, proper actions are proposed to keep the schedule up to date and consistent with the new situation. Different events are used to denote job arrivals and job completions or machine failures and restarts, etc. Together, the whole approach is designed to remain applicable in a real and dynamic environment. It is able to deal with dynamic job arrivals, machine failures and restarts, it can handle specific job requirements and it is tolerable to inaccurate processing time estimates, that complicate construction of efficient schedules. With the help of newly developed Alea simulator, the proposed approach has been exhaustively evaluated against selected queue-based scheduling algorithms using several data sets and objective functions. The evaluation has clearly demonstrated that the proposed solution significantly outperforms remaining algorithms in most cases. The proposed policies and optimization algorithms proved to be very flexible, successfully solving different optimization problems, involving multiple optimization criteria. Also, the solution was shown to be tolerable to the inaccurate processing time estimates. In case that the users were a

Abstract:

ble to improve their job processing time estimates, our techniques provide better opportunities to increase the quality of the solution with respect to the queue-based algorithms.

Keywords

Grid, scheduling, schedule, optimization, policy, local search, evaluation, processing time estimates, Alea, plánování, lokální prohledávání, odhady doby trvání úloh, optimalizace, rozvrh

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2011

Thesis defence

• Date of defence: 25. 10. 2011
• Supervisor: prof. RNDr. Luděk Matyska, CSc.
• Reader: doc. RNDr. Roman Barták, Ph.D., Prof. Dr. Ramin Yahyapour

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics