Využití softwarově definovaného úložiště pro nasazení technologií pro převod řeči na text

Martin Motejlek

Bachelor's thesis

Use of software-defined storage for the deployment of speech-to-text technologies

Abstract:

Tato bakalářská práce se zabývá využitím spolehlivého distribuovaného úložiště Ceph v rámci platformy pro přepis řeči na text vyvíjené na Fakultě mechatroniky, informatiky a mezioborových studií TUL. V rámci práce je popsáno úložiště Ceph a vybrané komponenty, které s ním v systému souvisí: zejména systém Kubernetes pro automatizaci správy distribuovaného systému a nástroje Prometheus a Grafana Loki, které sbírají diagnostická data a Ceph využívají k jejich ukládání. Dále byla v rámci práce vyvinuta aplikace, která ze systému stáhne diagnostická data o průběhu zadaného uživatelského požadavku na přepis a vytvoří z nich výstup vhodný pro analýzu člověkem. Byla navržena vhodná interpretace dostupných údajů o požadavku za účelem stanovení stahovaného časového období. Pro komunikaci s rozhraními nástrojů Prometheus a Loki byly implementovány vlastní klientské knihovny. Dále byly navrženy dotazy pro získání požadovaných dat ve vhodně podobě. Pomocí dávkového dotazování bylo vyřešeno stažení neomezeného množství logu. Výsledná aplikace je ovládána z rozhraní v příkazové řádce a její výstup má formu archivu, který obsahuje mimo jiné HTML dokument s interaktivními grafy metrik. Běh aplikace byl formou smoke testu úspěšně ověřen vůči nasazení systému na testovacím clusteru. Na závěr práce byla nasazena privátní instance systému pomocí připraveného, ale ne zcela odladěného automatizovaného řešení využívajícího nástroj Ansible. V této části je popsáno řešení vybraných problémů, které při jeho použití nastaly.

Abstract:

This bachelor's thesis deals with the use of a reliable distributed storage called Ceph as part of the speech-to-text platform developed at the Faculty of Mechatronics, Informatics and Interdisciplinary Studies, TUL. The text describes the Ceph storage and selected related components: Kubernetes for the automation of distributed system administration, and Prometheus and Grafana Loki, which collect diagnostic data and save it into Ceph. As part of the thesis, an application was developed which downloads data describing the course of a user speech-to-text request and outputs it in a form appropriate for analysis by a human. An appropriate interpretation of available information about the request was designed in order to establish the time interval for download. In order to communicate with the interfaces of Prometheus and Loki, custom client libraries were implemented. Queries were designed in order to obtain required data in an appropriate form. The problem of acquiring an unlimited amount of log was solved by batched querying. The resulting application has a command line interface and outputs data in the form of an archive, which contains an HTML document with interactive graphs of metrics, among other things. The application was successfully tested using a smoke test against an instance of the system on a testing cluster. Finally, a private instance of the system was deployed using an automated but not fully debugged solution that used Ansible. This part of the thesis describes selected problems which arose during the deployment and their solutions.

Keywords

cloud, Kubernetes, distribuované úložiště Ceph, dotazování Prometheus, dotazování Grafana Loki

Language used: Czech

Date on which the thesis was submitted / produced: 20. 12. 2022

Thesis defence

• Supervisor: Ing. Ondřej Smola

Technical University of Liberec

Faculty of Mechatronics, Informatics and Interdisciplinary Studies

Bachelor programme / field:
Information Technology / Inteligentní systémy