Využití hlubokých neuronových sítí při tvorbě chatovacího robota

Josef Kerner

Master's thesis

Using generative deep learning methods for chatbot creation

Abstract:

Práce se zabývá využitím deep learning generativních modelů pro zpracování přirozeného jazyka za účelem vytvoření chatovacího robota. S chatbotem bude možné, aby v určité míře usnadňoval práci zákaznické podpory elektronického obchodu tím, že bude odpovídat na uživatelské dotazy.V první části práce jsou nejprve zmíněny příčiny rostoucí popularity využití deep learning modelů ve strojovém učení a pro počítačové zpracování přirozeného jazyka (NLP). Následně jsou zmíněny nejvíce používané architektury v rámci deep learningu jako konvoluční a rekurentní sítě a jejich využití v oblasti NLP a nové inovativní přístupy, jimiž jsou například LSTM a GRU sítě nebo obousměrné rekurentní sítě.Dále se práce zabývá přístupy pro statistické modelování přirozeného jazyka za účelem efektivní reprezentace sémantického významu zkoumaného textu. V této části práce jsou porovnávány starší přístupy jako bag of words, tf-idf nebo n-gramové modely s novějšími přístupy založenými na učení se vektorové reprezentaci textu ve mnoho-dimenzionálním vektorovém prostoru (Word2Vec a GloVe modely).V další části se práce zaměřuje na generativními modely pro tvorbu chatbota jako je například seq2seq model a porovnává tento způsob s metodami založenými na pravidlech a zmiňuje nedostatky generativních architektur a nastiňuje možnosti, jak tyto problémy řešit, jako je například attention mechanismus nebo paprskové prohledávání.Druhá část práce se poté zabývá praktickou implementací deep learning architektur, využití jazykových vektorových modelů a zpracování trénovacích dat pro natrénování chatbota. Také je provedeno ověření dosažených výsledků.Nakonec práce jsou též zmíněny etické otázky spojené s využitím deep learning technologií.

Abstract:

The thesis is about usage of deep learning generative model for natural language processing in order to create a chatting robot (chatbot). Chatbot will to some extent help the worker of customer support answer questions from customers.In the first theoretical part of the thesis, the reasons behind a tremendous popularity growth of deep learning methods for natural language processing are being mentioned and subsequently also the most commonly used architectures are described, such as convolutional neural networks or autoencoders.Further on, the thesis concerns a topic of recurrent neural architectures and their extensions such LSTM or GRU cells.Next, the approaches for statistical text modelling in order to effectively represent semantical meaning of text are described. In this section the thesis delves into describing the most commonly used statistical model families, such as bag of words models, n-gram techniques and most importantly also neural vector models such as word2vec or Glove algorithms.In the following section, the thesis concerns generative models for chatbot creation as are for example seq2seq models and compares these approaches with older, rule based chatbots. It also describes problems with such generative models and how to overcome them by using for example an attention mechanism or beam search decoder.The practical part of the work is concerned towards a practical implementation of deep learning generative seq2seq model for a chatbot creation. The implementation uses also neural vector models and methods used for data preprocessing are also described in this section. Also an empirical evaluation of the obtained results is carried out.At last, the thesis also mentions some ethical questions which arise with the usage of deep learning architectures in commercial applications.

Keywords

deep learning, chatbot, NLP, sequence to sequence, word2vec, Attention mechanismus, Keras

Keywords

word2vec, deep learning, chatbot, NLP, attention mechanismus, Keras, sequence to sequence models

Language used: Czech

Date on which the thesis was submitted / produced: 3. 1. 2018

Thesis defence

• Date of defence: 21. 1. 2019
• Supervisor: Václav Zeman
• Reader: Jan Mrkos

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Znalostní a webové technologie