An Analysis of Potential Applica-tions of Machine Learning in HTTP Load Balancing

Jan Sýkora

Master's thesis

Analyzujte možnosti aplikace strojového učení na load-balancing

Abstract:

Strojové učení i vyvažování zátěže jsou známá a již dobře prozkoumaná témata, z toho důvodu se tato diplomová práce se zaměřuje na možnosti aplikace strojového učení na vyvažování a distribuování HTTP protokolu. Hlavním cílem mé práce je nalézt metody pro zvýšení utilizace systémů distribuujících zátěž, dosáhnutím stanoveného cíle lze snížit monetární náklady a zvýšit stabilitu daného systému. V první části se práce zaměřuje na metody a postupy v rámci strojového učení v kontextu případné aplikace na vyvažování. Následně jsou popsány současné přístupy k vyvažování zátěže v HTTP protokolu. V poslední části je navržena metoda vyvažování zátěže využívající modelu vytvořeného pomocí strojového učení. Metoda využívá "nejméně zatížený" principu s predikovanými hodnotami. Modely byly nalezené pomocí prohledávání hrubou silou s cílem nalezení nejkvalitnějších modelů. Nalezené modely byly otestovány a dosahovaly dobrých výsledků Testovalo se více než sto různých modelů a ne všechny dosahovaly dobrých výsledků a nebo měly příliš dlouhé doby učení. Tyto faktory je diskvalifikovaly z případného použití v dalších testech. Modely byly porovnány na základě změřené utilizace a metrik pro regresní modely strojového učení. Navrženou metodu je možné aplikovat na reálný systém, ale vyžadovalo by to definovat doménově specifickou metriku. Aplikace by vyžadovala opakovat prohledávání hrubou silou za účelem nalezení nejlepšího modelu a navržení systému na základě vybraného modelu.

Abstract:

Both machine learning and HTTP load balancing are well known and widely researched concepts and methods. My diploma thesis addresses possible applications of machine learning to HTTP load balancing. The main objective is to find a method to achieve better utilization of load balancing. This objective can reduce monetary costs and provide better stability of a load balanced system. In the first part, machine learning workflow and methods are described in order to analyze whether such methods could be applied to load balancing systems. After that, the current state of HTTP load balancing methods and strategies is outlined. Finally, a load balancing method using machine learning is designed and tested. The method is based on the least loaded approach using predicted values to balance HTTP traffic, the machine learning models were selected by using a grid search to find the most accurate models. These meth-ods were tested and performed well in comparison to other methods. The tests were conducted with over a hundred machine learning models, not all models were accurate or had short enough learning times. Lacking those factors deemed them unsuitable for later tests. The models were compared based on measured utilization and performance metrics for regression based machine learning models. The designed method could be applied to real world systems, however, it would require defining a domain specific metric. The applications should also employ a grid search in order to find the most accurate machine learning model.

Keywords

HTTP protokol, strojové učení, vyvažování zátěže

Keywords

machine learning, load balancing, HTTP protocol

Language used: English

Date on which the thesis was submitted / produced: 22. 6. 2016

Thesis defence

• Date of defence: 31. 5. 2017
• Supervisor: Rudolf Pecinovský
• Reader: Zbyněk Šlajchrt

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie