Adaptace jazykového modelu na téma v reálném čase

Ing. Jan LEHEČKA

Doctoral thesis

Online Topic-based Language Model Adaptation

Abstract:

The research area of this thesis is online topic-based language model (LM) adaptation. It is a mechanism designed to reduce word error rates of real-time automatic speech recognition (ASR) systems in multi-topic tasks, where a general LM cannot model varying word sequence statistics in particular topics appropriately. The base idea is to dynamically adjust the LM during live decoding based on topics detected in the decoded transcripts. First, the thesis surveys the state of the art of the problem including also detailed theoretical background of used methods and models. Described methods usually combine two very important research areas: real-time automatic speech recognition and automatic topic identification. Next, an innovative solution to extend existing real-time ASR system by online topic-based LM adaptation is proposed and described in details. The originality of proposed solution lies primarily in minimizing latency of the topic-based adaptation by using two parallel decoders (general and topic-specific), and online merging their outcomes in order to reduce word error rate during online speech recognition. The proposed adaptable system was implemented and tested for two multi-topic real-time ASR problems: live transcription of TV news and live transcription of TV sports summaries. For both problems, experiments in this thesis showed that proposed system performs significantly better than a system without LM adaptation, and that topic-based LM adaptation can reduce error rates of live transcripts, especially by better recognizing topic-specific proper nouns.

Abstract:

Tato disertační práce se zabývá adaptací jazykového modelu na téma v reálném čase. Jde o mechanismus navržený pro snížení chybovosti automatického rozpoznávače řeči v úlohách živého přepisu vícetématických promluv, kde obecný jazykový model není schopen dostatečně popsat rozdílné statistiky posloupností slov v jednotlivých tématech. Základní myšlenka spočívá v dynamickém přizpůsobování jazykového modelu během živého rozpoznávání na základě tématu detekovaném v rozpoznané řeči. Nejprve je shrnut aktuální stav poznání této problematiky doplněný detailním teoretickým základem pro použité metody a modely. Popsané metody zpravidla kombinují dvě významné výzkumné oblasti: automatické rozpoznávání řeči v reálném čase a automatickou identifikaci tématu. Poté je navrženo inovativní rozšíření existujícího automatického rozpoznávače řeči o adaptaci jazykového modelu na téma v reálném čase. Originalita navrženého řešení spočívá především v minimalizaci prodlevy adaptace na téma díky paralelnímu běhu dvou dekodérů (obecného a tématického) zároveň a následnému spojení obou výstupů, což vede ke snížení chybovosti slov při živém rozpoznávání řeči. Navržený adaptabilní systém byl implementován a otestován na dvou vícetématických problémech: živý přepis televizního zpravodajství a živý přepis televizních sportovních přehledů. Experimenty v této práci v obou případech prokázaly, že navržený systém pracuje významně lépe než neadaptabilní systém a že adaptace jazykového modelu na téma snižuje chybovost živých přepisů, zejména pak vlastních jmen úzce spjatých s jednotlivými tématy.

Keywords

automatické rozpoznávání řeči, adaptace jazykového modelu, identifikace tématu, živý přepis TV pořadů, rozpoznávání řeči v reálném čase

Language used: English

Date on which the thesis was submitted / produced: 22. 3. 2019

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Prof. Ing. Josef Psutka, CSc.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics