Diskriminativní model pro porozumění mluvené řeči

Ing. Jan ŠVEC

Doctoral thesis

Discriminative model for spoken language understanding

Abstract:

Předkládaná disertační práce je věnována problematice porozumění mluvené řeči. Práce prezentuje nový diskriminativní model určený pro tuto úlohu. Nejprve je popsána úloha porozumění řeči v kontextu hlasových dialogových systémů a jeho souvislost s rozpoznáváním řeči. Následuje přehled současného stavu řešené problematiky. Odstavce věnované tomuto tématu popisují jednak metody používané pro porozumění mluvené řeči, ale i metody z dalších oblastí zpracování řeči, které s prezentovaným modelem úzce souvisí. Dále jsou vytyčeny a odůvodněny cíle této disertační práce ? především se jedná o vývoj nového diskriminativního modelu schopného zpracovat neurčitý vstup v podobě slovní nebo fonémové mřížky a následně vygenerovat více výstupních významových hypotéz. Jeden z podcílů je pak věnován výzkumu metody pro efektivní kombinaci znalostního a statistického přístupu k návrhu modulu porozumění. Porozumění mluvené řeči je dekomponováno do třech dílčích modelů ? konceptového modelu, modelu detekce sémantických entit a modelu zarovnání. Zatímco konceptový model přiřazuje celé promluvě globální význam v podobě abstraktního sémantického stromu, model detekce sémantických entit označuje lokální dílčí významy pomocí jednotlivých sémantických entit. Následně model zarovnání provádí provázání těchto dvou dílčích významových reprezentací. Konceptový model je v této práci reprezentován hierarchickým diskriminativním modelem, který vznikl jako rozšíření existujícího statistického modelu založeného na klasifikátorech sémantických n-tic. Model detekce sémantických entit pak provádí hledání výskytů sémantických entit popsaných pomocí expertem definovaných bezkontextových gramatik. Po popisu těchto modelů následuje definice úlohy sestávající se z popisu dat použitých v experimentech a z popisu metodiky vyhodnocení. Součástí definice úlohy je i popis modelů a dekodéru pro automatické rozpoznávání řeči. Následuje experimentální ověření navržených modelů, přičemž jsou zdůvodněny konkrétní volby parametrů. Závěrečná kapitola shrnuje přínos navržené metody pro porozumění mluvené řeči. Rovněž popisuje splnění jednotlivých cílů disertační práce a předkládá další možné směry výzkumu navazující na tuto práci.

Abstract:

The presented thesis is devoted to the spoken language understanding task. The thesis presents a new discriminative model for this task. First, the spoken language understanding is described in the context of spoken dialog systems and in relation to an automatic speech recognition. Then the state of the art is presented. The current methods for spoken language understanding are presented as well as methods related to the presented discriminative model. In the following chapter, the goals of the thesis are stated. The main goal is to develop a new discriminative model which is able to process uncertain input in the form of word-based or phoneme-based lattices and generate multiple output semantic hypotheses. One of the subgoals of this thesis is devoted to a research of method for effective combination of statistical and knowledge-based approaches to spoken language understanding. The spoken language understanding is decomposed into three partial models. A concept model assigns the global meaning of the utterance in the form of abstract semantic tree. A semantic entity detection tags the local parts of the meaning with the semantic entities. An alignment model links these two semantic representations and forms a discriminative spoken language understanding model. The concept model is represented by the hierarchical discriminative model which was developed as an extension of a statistical model based on semantic tuple classifiers. The semantic entity detection model performs the search for all occurrences of the semantic entities which are defined by knowledge-based context-free grammars. Then, the description of used data, recognition models, speech decoder, and evaluation methodology is presented. In the part devoted to experimental evaluation the values of specific parameters are selected and justified. The last chapter concludes the thesis and presents the overall performance of the presented method for spoken language understanding. It also describes the fulfilment of all goals of this thesis and presents the possible improvements and applications of the developed model.

Keywords

hlasové dialogové systémy, porozumění mluvené řeči, detekce sémantických entit, strojové učení, vážené konečné automaty

Language used: Czech

Date on which the thesis was submitted / produced: 27. 8. 2013

Accessible from:: 31. 12. 2999

Thesis defence

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics