AI-based Solution for automated call scoring and quality monitoring in call centers

Oleg Gerasimov

Master's thesis

Řešení založené na umělé inteligenci pro automatické vyhodnocování hovorů a sledování kvality v call centrech

Abstract:

Tato diplomová práce se zaměřuje na vývoj komplexního řešení založeného na umělé inteligenci s názvem Judy, které slouží ke zlepšení analýzy záznamů hovorů a řízení kvality výkonu agentů v call centrech. Hlavním cílem je vytvořit uživatelsky přívětivý systém, který manažerům umožní efektivně procházet záznamy hovorů a identifikovat ty, které vyžadují jejich pozornost, což povede ke zlepšení zákaznické zkušenosti a optimalizaci výkonu agentů. K dosažení tohoto cíle jsme provedli přehled literatury zahrnující oblasti související s analýzou hovorů řízenou umělou inteligencí, řízením výkonnosti a provozem call center. Poté jsme vybrali a popsali metodiku Action Design Research (ADR), kterou jsme použili při vývoji našeho řešení. Abychom porozuměli specifickým potřebám a výzvám, kterým čelí manažeři a agenti call center, analyzovali jsme prostředí call center a identifikovali klíčové aspekty, které by byly podkladem pro návrh řešení Judy. Výsledky tohoto výzkumu ukázaly, že řešení Judy výrazně zlepšilo proces přezkoumávání záznamů hovorů, pomohlo manažerům lépe vyhodnocovat kvalitu výkonu agentů a přispělo ke zlepšení zákaznické zkušenosti a optimalizaci výkonu agentů. Iterativní cykly BIE v rámci metodiky ADR umožnily průběžné zdokonalování řešení na základě zpětné vazby a výsledků hodnocení. Význam tohoto výzkumu spočívá v jeho přínosu k praktickému využití i teoretickému pochopení analýzy hovorů a řízení výkonnosti na bázi umělé inteligence. Díky vývoji a implementaci Judy nabízí tato studie cenné poznatky o potenciálu AI při řešení problémů, kterým čelí manažeři a agenti call center, a rozšiřuje soubor poznatků v oblasti řešení řízených AI pro provoz call center.

Abstract:

The creation of a complete AI-driven tool, called Judy, to improve the performance of call records and real - time quality control in contact centers is the main target of this diploma thesis. Also, we aim to provide an easy system that enables managers to efficiently listen to call records and select those that need their attention, resulting in enhanced customer support and enhanced agent performance. To achieve this goal, we conducted a literature review covering areas related to AI-driven call analysis, performance management, and call center operations. We then selected and described the Action Design Research (ADR) methodology, which was used to guide the development of our solution. To understand the specific needs and challenges faced by call center managers and agents, we analysed the call center environment and identified key aspects that would inform the design of Judy. The results of this research demonstrated that Judy significantly improved the process of reviewing call recordings, helped managers better assess agent performance quality, and contributed to enhanced customer experiences and optimized agent performance. The iterative BIE cycles within the ADR methodology allowed for the continuous refinement of the solution based on feedback and evaluation results. The significance of this research lies in its contribution to both the practical application and theoretical understanding of AI-driven call analysis and performance management. By developing and implementing Judy, this study offers valuable insights into the potential of AI to address the challenges faced by call center managers and agents and advances the body of knowledge in the field of AI-driven solutions for call center operations.

Keywords

řešení založená na umělé inteligenci, řízení kvality výkonu agentů, převod řeči na text, detekce záměrů, Analýza záznamů hovorů, výzkum akčního designu, provoz call centra

Keywords

Call recording analysis, AI-driven solution, agent performance quality management, speech-to-text conversion, intent detection, Action Design Research, Transformers pipeline, Speech recognition, call center operations

Language used: English

Date on which the thesis was submitted / produced: 29. 4. 2024

Thesis defence

• Date of defence: 3. 6. 2024
• Supervisor: Soňa Karkošková
• Reader: Martin Potančok

Vysoká škola ekonomická v Praze

Master programme:
Data a analytika pro business