Spolehlivost a odolnost vůči poruchám cloudových systémů pro automatické řízení a koordinaci procesů pracování rozsáhlých a heterogenních vědecko technických dat

Ammar Nassan Alhaj Ali

Doctoral thesis

Fault Tolerance for Big Data Scientific Workflows in Cloud Computing Environments

Abstract:

Past few years, Big Data and cloud computing have become buzzwords in IT region, and we have been seeing that data are generated in massive amounts and at an increasing rate in all domains. The reliability and efficiency of distributed systems have always been a major concern of the service providers and users. Therefore, fault tolerance is among the most essential issues in distributed clouds to deliver reliable services to customers. In Big Data domain, scientific workflows are increasingly used for Big Data analysis, processing, and management. With movement the world to Big Data, single-site processing becomes unsuitable and Big Data scientific workflows can no longer be accommodated within a single computing system, and ensuring a level of reliability for a scientific workflow execution is a complex task that will tend to increase the cost. Replication of tasks increases redundancy and thereby the reliability, which is achieved by parallel execution of a task on multiple virtual machines simultaneously to guarantee a viable result, which leads to a high cost. This doctoral Thesis presents a fault-tolerant model with two approaches that optimize the reliability and execution cost of Big Data scientific workflows on cloud computing environments and ensure a predefined level of reliability by replicating tasks. Finally, the model was implemented using WorkflowSim, it is extension of the CloudSim simulator framework that is used for modelling and simulation of cloud computing infrastructures and services.

Abstract:

V posledních několika letech se v oblasti IT staly hesly Big Data a cloud computing a my jsme svědky toho, že data jsou generována resp. zpracovávána v obrovských objemech a stále rychleji ve všech oblastech. Spolehlivost a bezpečnost distribuovaných systémů byla vždy hlavním zájmem poskytovatelů služeb i uživatelů. Proto patří odolnost proti výpadkům a chybám mezi klíčové požadavky na provoz cloudových systému, podmiňující spolehlivost a použitelnost služeb pro zákazníky. V oblasti velkých dat se pro analýzu, zpracování a správu velkých dat stále častěji používají metody vědeckotechnické analýzy (matematické a statistické metody, aplikace umělé inteligence apod). S přechodem uživatelských aplikací ke zpracování velkých dat je použití distribuovaných cloudových řešení stále častěji jediným ekonomicky přijatelným řešením. Jednou z metod, které cloudový systém nabízí je replikace úloh, která zvyšuje redundanci, a tím i spolehlivost paralelním prováděním úlohy na více virtuálních strojích současně. Tak lze zaručit přijatelné řešení, avšak za cenu vysokých nákladů. Tato disertační práce představuje model odolný proti poruchám se dvěma přístupy, které optimalizují spolehlivost a náklady na provádění vědeckých pracovních postupů s velkými objemy dat v prostředí cloudového systému a zajišťují předem definovanou úroveň spolehlivosti replikací úloh. Navržený model byl implementován pomocí WorkflowSim, což je rozšíření simulátorového rámce CloudSim, který se používá pro modelování a simulaci infrastruktur a služeb cloudovho systému.

Keywords

odolnost vůči poruchám, spolehlivost, rozsáhlá a heterogenní data, workflow, cloud

Language used: English

Date on which the thesis was submitted / produced: 14. 6. 2021

Thesis defence

• Date of defence: 8. 9. 2021
• Supervisor: prof. Ing. Said Krayem, CSc.

Tomas Bata University in Zlín

Faculty of Applied Informatics

Doctoral programme / field:
Engineering Informatics / Engineering Informatics