Collaborative User-empowered Grid Infrastructure Orchestration

Mgr. Miloš Liška, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

Abstrakt Těmito tezemi předkládáme dizertační práci věnovanou kolaborativní uživatelské konfiguraci gridové infrastruktury pro potřeby koncových uživatelských aplikací. Tradiční výpočetní a datové gridy mohou konfigurovat pouze jejich administrátoři a podporují pouze aplikace, které jsou přizpůsobené gridovému prostředí. Zvláště s nasazením optických sítí a optických okruhů v gridovém prostředí je nutné rekonfigurovat optickou síť a její komponenty pro specifické potřeby uživatelských aplikací. Rekonfigurace se týká fyzických optických okruhů, přepínačů, strojů a v neposlední řadě i samotných aplikací a jejich parametrů. Tradiční postup vyžaduje koordinaci uživatelů a všech síťových (a gridových) administrátorů, kteří jsou obvykle zodpovědní jen za malou část celé infrastruktury, pomocí elektronické pošty, telefonů a případně videokonferencí. Je přirozené, že obtížnost koordinace všech zúčastněných uživatelů a administrátorů velmi rychle vzrůstá s jejich počtem a velikostí konfigurované gridové infrastruktury. Není možné povolit uživatelům přímo konfigurovat gridovou infrastrukturu. Avšak gridovou infrastrukturu lze virtualizovat a umožnit uživateli konfigurovat jeho vlastní virtuální gridovou infrastrukturu pro potřeby jeho aplikací. Virtualizace síťové/gridové infrastruktury představuje složitý problém, neboť musíme zvážit, co jsou vhodné virtuální stavební prvky, jak odpovídají vlastní dostupné fyzické infrastruktuře, jak jsou na ni mapovány a podobně. Související problém je jak vhodně nabídnout prvky virtuální infrastruktury uživatelům, tj.~jak s ní povolíme uživatelům nakládat. Navíc je nutné se vypořádat s problémem plánování, pokud se má více virtuálních infrastruktur naplánovaných různými uživateli naráz namapovat na fyzickou infrastrukturu (včetně řešení případných konfliktů). Konfigurace virtuální infrastruktury by měla zahrnovat konfiguraci každé její komponenty a také jejich koordinaci. Tyto komponenty a jejich koordinaci navrhujeme reprezentovat pomocí workflow. Úkolem workflow je pomoci uživatelům řídit proces konfigurace gridové infrastruktury a jejich aplikací a konečně úspěšné nasazení aplikace v gridovém prostředí. Prostudujeme problém virtualizace gridové infrastruktury a jejího zprovoznění uživatelům. Nalezené řešení nebo architekturu použijeme pro zapouzdření virtuálních gridových komponent do gridových služeb a tím naplníme uživatelský přístup ke konfiguraci gridové infrastruktury. Gridové služby a jednotlivé uživatelské konfigurace gridové infrastruktury budou vzájemně izolované, avšak budou sdílet společnou fyzickou infrastrukturu. Každý uživatel je obecně schopen konfigurovat pouze virtuální gridovou infrastrukturu, kterou vlastní uživatelova organizace. Konfigurace rozlehlé virtuální infrastruktury, která se rozléhá mezi různými organizacemi, vyžaduje spolupráci uživatelů. Proto je nutné prostředí, které dovoluje spolupracovat nad návrhem, modifikacemi a nasazením workflow v gridovém prostředí. Součástí dizertační práce bude návrh architektury takového prostředí pro spolupráci.

Abstract:

Abstract We propose a thesis dedicated to collaborative user empowered grid infrastructure orchestration. The proposal deals with grid infrastructure configuration and administration for specific purposes of end user applications. Traditional computational or data grids are rigidly configured by their administrators and support only applications that are aware of the grid environment. Especially with deployment of optical networks and optical circuits in the grid environment it is necessary to reconfigure optical network components for specific purposes of end user applications. The reconfiguration involves physical optical circuits, switches, machines, and, last but not least, the very application and its parameters. The traditional approach requires to coordinate users and all network (and even grid) administrators, who are usually responsible for just "their" part of the infrastructure" via e-mails, phones, and even videoconferences. Obviously, the management task quickly becomes very complicated with large grid infrastructure and tens of local network administrators. The users cannot be allowed to configure the grid infrastructure directly. However, we can virtualize the grid infrastructure and let each user configure his own virtual grid infrastructure for the purposes of his application. Virtualization of the network/grid infrastructure is a difficult problem, as we have to decide what are the appropriate virtual building blocks, how they reflect the actual available physical infrastructure, how they are mapped to it etc. A related problem is the proper exposition of virtual infrastructure elements to end users, i.e., what they are allowed to do with them. Moreover, we also have to deal with a planning problem, when several virtual infrastructures, built by different users for their particular applications, are to be mapped to the physical infrastructure at the same time (including recognition and solution of potential conflict on scarce resources). The virtual infrastructure configuration should cover the configuration of each individual component and also their coordination. We propose to represent these coordinated components as a workflow. As a workflow, it helps users to orchestrate the infrastructure configuration, to include his own application components, and finally to successfully deploy the application on the grid. A problem of grid infrastructure components virtualization and its provisioning will be studied. The defined solution or architecture will be than used for encapsulation of virtual grid components into grid component services fulfilling the user empowered approach to grid infrastructure configuration. The virtual grid component services and the user configurations of the grid infrastructure will be mutually isolated sharing a common physical infrastructure. Each user is generally able to deal with the configuration of virtual grid infrastructure respective to his own organization. Configuration of large virtual infrastructure spanning across different organizations requires cooperation of users. Thus an environment which allows users to build, modify and deploy the workflows collaboratively is necessary. An architecture of a collaborative environment using workflows will be proposed.

Keywords

Collaborative environments, grid infrastructure, orchestration

Language used: English

Date on which the thesis was submitted / produced: 21. 4. 2008

Thesis defence

• Date of defence: 21. 4. 2008

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Informatics