Scheduler for the Stream Processing Frameworks on Hadoop Clusters

Mgr. Petr Škoda

Advanced ('rigorózní') thesis

Abstract:

Zpracování takzvaných velkých dat je dnes velice aktuálním tématem. Hlavním hybatelem tohoto oboru je dnes paradigma MapReduce, které má velké množství dostupných implementací i celých ekosystémů nástrojů. Faktem však zůstává, že MapReduce není ideálním řešením pro všechny problémy zpracování velkých dat. Do popředí se však dostává i alternativní paradigma - "stream processing" (zpracování proudů dat), které má několik výhod oproti MapReduce, především zamezuje zbytečnému persistentnímu ukládání mezivýsledků. V práci se zaměřuji na problémy rozvrhování (scheduling) a alokace zdrojů pro aplikace zpracovávající proudy dat (stream applicatons), přesněji na využití hardwarové heterogenity rozsáhlých clusterů. Heterogenita je přitom u současných clusterů poměrně běžná - může se jednat o různě staré architektury procesorů, přítomnost grafických karet (GPU), či karet pro statickou akceleraci (FPGA). Pokročilé algoritmy pro rozvrhování a alokaci zdrojů pak mohou významně zvýšit výkon či efektivitu aplikací zpracovávajících proudy dat. V této práci je popsán aktuální stav dění na poli výzkumu a vývoje aplikací zpracovávajících proudy dat a souvisejících algoritmů pro rozvrhování a alokaci zdrojů. Zvláštní důraz je pak kladen na tzv. "benchmark-based" rozvrhování, které je hlavním cílem mého výzkumu a tvoří jádro této práce. Dále je představen koncept nového rozvrhovače dbajícího na heterogenitu - nejprve intuitivně na příkladu a později v teoretické rovině. Prototyp tohoto nového rozvrhovače je v následných experimentech porovnáván se standardním rozvrhovačem.

Abstract:

Big data processing is a hot topic of today’s computer world. One of the key paradigms behind it is MapReduce—parallel and massively distributed model inspired by the map and reduce functions commonly used in functional programming. Due to its simplicity and general availability of standard implementations, the paradigm has been massively adopted on current computer clusters. Yet, MapReduce is not optimal for all big data problems. My work focuses on the area of an alternative paradigm—stream processing—which has multiple advantages over the MapReduce, e.g., it avoids persistent data storing if not required. The research aims at overcoming deficiencies of existing stream processing frameworks that prevent its wider adoption. In particular, the work deals with scheduling problems of stream processing applications on heterogeneous clusters. Heterogeneity is a typical characteristic of today’s large data centers (caused by incremental upgrades and combinations of computing architectures, including specialized hardware such as GPU or FPGA) and advanced scheduling mechanisms can significantly increase efficiency of their utilization. The state-of-the-art research and development of stream processing and advanced methods of related scheduling techniques are discussed in this document. A special attention is paid to benchmark-based scheduling for distributed stream processing which also forms the core of my previous work and the proposed research towards my doctoral thesis. Finally, the concept of novel heterogeneity aware scheduler is presented first in the intuitive way and then discussed deeper on theoretical basis. The prototype of the scheduler is then described and promising results of basic experiments are showed.

Keywords

resource-awareness, benchmarking, heterogeneous clusters, stream processing, Apache Storm

Language used: English

Date on which the thesis was submitted / produced: 28. 11. 2014

Thesis defence

• Date of defence: 24. 3. 2015
• Reader: doc. RNDr. Tomáš Pitner, Ph.D., prof. Dr. Ing. Pavel Zemčík

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Applied Informatics / Applied Informatics