Self-organizing Collaborative Environments

RNDr. Miloš Liška, Ph.D.

Doctoral thesis

Abstract:

Cílem této práce je studium ad-hoc prostředí pro spolupráci. V této práci chceme ukázat výhody, které přináší využití principů samoorganizace v těchto prostředích. V dizertační práci ukážeme, že manuální orchestrace prostředí pro spolupráci je nejen extrémně obtížná, ale navíc také neřeší otázky spolehlivosti a pružnosti ve smyslu zotavení po výpadcích komponent samotného prostředí pro spolupráci nebo částí síťové infrastruktury nad kterou jsou tato prostředí vybudována. Proto se v této práci zabýváme zejména možnostmi automatické orchestrace komponent prostředí pro spolupráci. Jelikož uvažujeme prostředí pro spolupráci postavená na přenosech nekomprimovaných multimediálních streamů nebo streamů s nízkými kompresními poměry, zabýváme se i otázkami automatické konfigurace a orchestrace síťových infrastruktur pro specifické potřeby zmiňovaných prostředí pro spolupráci. V tomto kontextu se zaměřujeme na pokročilé síťové infrastruktury poskytující tzv. lambda-služby a ukazujeme výhody jejich integrace v prostředích pro spolupráci. Na základě studia těchto prostředí pro spolupráci navrhujeme teoretický framework, který si klade za cíl řešit výše zmíněné problémy. Vzhledem k tomu, že je naše práce silně motivována praktickými potřebami skutečných prostředí pro spolupráci, představujeme aplikační middleware nazvaný CoUniverse, který je založený na výše zmíněném frameworku, abychom ukázali jeho přínos z hlediska samoorganizace prostředí pro spolupráci. Nízkolatenční přenosy a distribuce multimediálních streamů jsou součástí mnoha aplikací zaměřených na přenosy dat v sítích. Jakmile se požadavky jednotlivých přenosů přiblíží kapacitám jednotlivých síťových spojů, obvyklý předpoklad, že je vždy možné sítí přenést další stream, přestává být platný. V takovém případě je nutné uvažovat explicitní plánování přenosů streamů nad jednotlivými síťovými spoji. Na základě našich předchozích zkušeností s budováním a ovládáním rozsáhlých interaktivních prostředí pro spolupráci v této práci navrhujeme automatizované plánování přenosů multimediálních streamů v prostředích, kde jsou nároky jednotlivých streamů na šířku pásma srovnatelné s kapacitami síťových spojů. Abychom se vypořádali s tímto problémem, využili jsme s úspěchem metod programování s omezujícími podmínkami. V této práci nejprve uvádíme algebraický popis problému plánování přenosu multimediálních streamů a ukážeme jeho složitost. Na základě tohoto popisu pak modelujeme tento problém pomocí metod programování s omezujícími podmínkami. Abychom mohli formulovat tento model, vytvořili jsme novou variantu link-based modelu tradičního traffic placement problému. V této dizertační práci se dále zabýváme analýzou a vyhodnocením vlastností a efektivity solveru implementovaného pro potřeby řešení problému plánování multimediálních streamů. V této práci se dále zabýváme otázkami automatické konfigurace a ovládání dynamických síťových infrastruktur pro potřeby budování a orchestrace zmiňovaných prostředí pro spolupráci. Tento problém řešíme pomocí využití pokročilých síťových síťových infrastruktur označovaných jako Dynamic Circuit Networks (DCN). Možnosti zmiňovaného frameworku jsme rozšířili o automatickou konfiguraci a ovládání síťových infrastruktur DCN (zejména alokaci, dealokaci a možnosti modifikace síťových lambda-služeb s dedikovanou šířkou pásma) založené na již naplánovaných přenosech multimediálních streamů. V rámci této práce jsme vytvořili experimentální implementaci middleware CoUniverse na které jsme ověřili výše popsané koncepty. V této práci také poskytujeme vyhodnocení

Abstract:

nejdůležitějších vlastností middleware CoUniverse vzhledem k jeho schopnostem ustanovit prostředí pro spolupráci a poskytnout mu samoorganizující vlastnosti (zejména co se týká automatického zotavení po výpadcích komponent těchto prostředí nebo komponent síťových infrastruktur, která tato prostředí využívají). Zároveň také poskytujeme vyhodnocení škálovatelnosti middleware CoUniverse vzhledem k velikosti a komplexnosti orchestrovaných prostředí pro spolupráci. V kontextu představované implementace midleware CoUniverse je nutné vyzdvihnout, že jsme CoUniverse již mnohokrát využili pro potřeby orchestrace nejrůznějších skutečně nasazených a používaných aplikací a prostředí pro spolupráci. Závěrem této práce popisujeme zmiňované aplikace a prostředí pro spolupráci pro jejichž orchestraci lze s výhodou využít vlastnosti midleware CoUniverse a řadu demonstrací, během kterých jsme tyto vlastnosti demonstrovali.

Abstract:

The main goal of this thesis is to study ad-hoc collaborative environments and present benefits which can be brought by employment of self-organization principles into the area. We show that manual orchestration of collaborative environments is not only extremely cumbersome but also fails to address especially the needs for robustness and resiliency. Therefore we study especially possibilities of automated orchestration of component based collaborative environments. Since we consider collaborative environments featuring uncompressed or low-compression media with high-bandwidth demands we also study possibilities of automated network infrastructures configuration and orchestration for the specific purposes of the collaborative environments. In this context we focus on advanced network infrastructures providing lambda-services and propose benefits of their integration with collaborative environments. Based on our findings we propose a theoretical framework to address these issues. As our work is strongly motivated by the needs of real-world collaborative environments, we present a novel collaborative environments middleware named CoUniverse and its architecture which is based on above mentioned framework to demonstrate its features and benefits. Latency-sensitive data distribution and media streaming is a part of many network-centric applications. When bandwidth demands of media streams are comparable to capacity of network links, the implicit additive assumption no longer holds and the system needs to feature sophisticated planning of the media streams transmissions over individual network links. Based on our previous experience with interactive high-quality media distribution and orchestration of collaborative environments, we are proposing an automated planning of media streams distribution in environments where bandwidth of streams is comparable to network link capacities. We have successfully adopted methods of constraint programming to deal with this problem. We provide an algebraic description of the media streams planning problem and show its complexity. Based on the algebraic description of the problem we propose a comprehensive constraint model. To formulate the model, a~new variant of the link based model for traffic placement problem is applied. An~evaluation of the implemented solver is presented on a number of experimental problems to show effectiveness of the formulation and proposed constraints. In this thesis we also address the problem of automated user-empowered control of dynamic network infrastructures to satisfy the demands of orchestrated collaborative environments. To do so we take advantage of the advanced features of Dynamic Circuit Networks (DCN) and proposed framework providing self-organization to orchestrated collaborative environments. We show augmentation of the framework capabilities by interfacing with DCN enabled network infrastructures in order to automatically control the lambda-services allocation, deallocation and modifications based on collaborative environments and application needs. We have carried out a proof of the concept implementation of the CoUniverse middleware to verify the above mentioned concepts. We provide an evaluation of the most important concepts of the CoUniverse middleware with respect to its ability to establish and provide self-organization features (especially self-healing) to the collaborative environments. We also evaluate the scalability of the CoUniverse middleware analysing the size of the collaborative environments it is able to orchestrate taking into the account the interactive nature of the collaborative environments in question. More importantly, we have already used the prototype implementation of the CoUniverse middleware to orchestrate various types of collaborative environments and applications in a~number of demonstrations and events. Most of these demonstrations we also discuss in this thesis featured CoUniverse deployment on a network infrastructures

Abstract:

spanning USA and Europe.

Keywords

ad-hoc collaborative environments, self-organization, automated collaborative environments orchestration, media streams planning problem, media streams distribution, physical infrastructures orchestration, user-empowered approach

Language used: English

Date on which the thesis was submitted / produced: 11. 2. 2010

Thesis defence

• Date of defence: 28. 6. 2010
• Supervisor: prof. RNDr. Luděk Matyska, CSc.
• Reader: doc. RNDr. Pavel Satrapa, Ph.D., Prof. Petre Dini, Ph.D., Assoc. Prof. Andrew Johnson, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics