Metody redukce OOV ve statistických jazykových modelech založených na třídách

Ing. Jan HOIDEKR

Doctoral thesis

Methods of OOV Reduction in Class-based Statistical Language Models

Abstract:

Tato práce se zabývá statickými modely přirozeného jazyka a jejich speciálním druhem jazykovými modely postavené na třídách. Tyto modely se používají v~systémech rozpoznávání řeči. Práce se nezabývá obecným zlepšováním jazykového modelování, ale zaměřuje na oblast specifických skupin slov, které nelze dobře modelovat z~dostupných trénovacích dat. Nedostatečnost dat je limitující faktor pro jazykové modelování současných metod. Přidání slov do systému není triviální problém z důvodu požadavku, aby systém tato slova dokázal rozpoznat, budou-li vyslovena a současně se nezhoršila obecná přesnost rozpoznávání. Jelikož tyto třídy jsou otevřené, vyskytuje se často legitimní potřeba tato slova přidávat do již hotového ASR systému. Toto přidání ovšem není jednoduchá záležitost a často vede ke snížení přesnosti rozpoznávání. Cílem práce je připravit postup rozšíření slovníku systému rozpoznávání řeči a zajistit správné nastavení systému pro správné rozpoznávání těchto slov při současném nezhoršení parametrů celého systému.

Abstract:

This thesis aims at research into the static natural language models, especially the language models build on word classes. Such language models are (widely, commonly) used in automatic speech recognition systems. This work doesn't aim at general research into improving the aforementioned language models. Instead, the focus of the thesis is laid on specific word classes(, i.e. specific set of words syntactically or semantically similar). The words from these classes cannot be modeled reliably from the training data. The main obstacle here is the insufficient amount of training data. Since these classes are open, there is often legitimate need to introduce these words into an already existing ASR system. This is not an simple task, however, and often hurts the ASR system recognition accuracy.The purpose of the research was to develop an approach for augmenting the vocabulary of an ASR system and to determine the correct settings of the ASR system resulting in correct recognition of the problematic word classes, while the recognition accuracy remains the same.

Keywords

rozpoznávání řeči, jazykové modelování, jazykové modely s třídami, rozšíření slovníku, redukce OOV

Language used: Czech

Date on which the thesis was submitted / produced: 31. 10. 2012

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Prof. Ing. Josef Psutka, CSc.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics