Byte Level Language Models

Mgr. et Mgr. Vít Baisa, Ph.D.

Doctoral thesis

Abstract:

Většina technik jazykového modelování pracuje se slovy jako dále nedělitelnými jednotkami. Teprve nedávno bylo prokázáno, že modely pracující s daty na nižší úrovni (částmi slov: morfémy či znaky) mohou konkurovat technikám založeným na slovech. V této práci představuji tři techniky pracující s jazykovými daty na úrovni bytů, díky čemuž mohou být použity pro libovolná jazyková data bez potřeby předzpracování dat, jelikož i základní krok ve zpracování -- dělení textu na slova -- je pro některé jazyky dosud neuspokojivě vyřešený problém. První technika, jazykový model založený na shlucích (chunk-based language model, CBLM), používá datovou strukturu sufixové pole pro efektivní výpočet četnosti výskytů všech bytových sekvencí vyskytujících se v trénovacích datech. CBLM ukládá sekvence, které se vyskytnou více než Nkrát, do datové struktury trie (prefixový strom) pro rychlý přístup k datům. Druhá technika používá stejnou datovou strukturu, ale lze ji použít pro dynamické trénování a vyhodnocení, neboť zpracovává trénovací data jako bytový proud a aktualizuje model za běhu. Třetí technika, hierarchický bytový jazykový model (hierarchical byte level language model, HBLM), napodobuje do jisté míry osvojování jazyka tím, že integruje dva dobře známé koncepty z kognitivních věd: dlouhodobou paměť (zde naučené sekvence bytů) a omezení velikosti pracovní krátkodobé paměti (velmi omezený počet jednotek z dlouhodobé paměti dostupných v jeden okamžik). HBLM má hierarchickou strukturu pro efektivní ukládání sekvencí bytů. Jakmile se libovolné jednotky vyskytnou společně častěji, než je předem definovaný práh, jsou uloženy v dlouhodobé paměti. Model je schopný naučit se libovolně dlouhé sekvence bytů i přes omezení velikosti pracovní paměti. V práci diskutuji vlastnosti technik a popisuji jejich vyhodnocení. Mírou perplexity nedosahují takových výsledků jako modely založené na slovech, ale ve dvou úlohách s anglickými a českými texty se vyrovnají přesností některým modelům založených na slovech a konzistentně překonávají ostatní modely založené na znacích.

Abstract:

Most language modeling techniques treat words as atomic units. Only recently it has been shown that models using lower level units (morphemes, characters or bytes) can be competitive with the word level approach in terms of perplexity and other performance metrics. In this thesis I introduce three techniques operating on byte level. Thanks to this they can be applied to any language data without a need of any non-trivial preprocessing as even the tokenization (segmentation of text into words) is not straightforward for some languages. The first technique (chunk-based language model, CBLM) uses suffix array data structure to count all byte sequences in training data effectively. CBLM stores the sequences occurring more than N times in trie (prefix tree) structure for fast data retrieval. The second technique uses the same data structure but can be trained and evaluated dynamically as it processes training data as a stream of bytes and updates its underlying model on-the-fly. The third technique (hierarchical byte level language model, HBLM) mimics language acquisition to some extent by taking into account two well-known concepts from cognitive science: the long-term memory (already learnt byte sequences) and the span of working (short-term) memory (a very limited number of items from the long-term memory which can be processed at one moment). HBLM has a hierarchical binary structure for storing byte sequences. The properties of the three techniques are discussed and evaluated intrinsically and extrinsically. In terms of perplexity, they are inferior to word-based models but in two tasks with English and Czech data sets, they are competitive to some word-based models and superior to other character level models.

Keywords

byte level, language model, character level, suffix array, neural network, machine translation, long-term memory, language acquisition, working memory, natural language, short-term memory, text segmentation, perplexity, OOV, SRILM, RNN, morpheme, entropy, corpus

Language used: English

Date on which the thesis was submitted / produced: 20. 6. 2016

Thesis defence

• Date of defence: 1. 11. 2016
• Supervisor: prof. PhDr. Karel Pala, CSc.
• Reader: doc. Dr. Ing. Jan Černocký, Assoc. Prof. Dr. Tomaž Erjavec

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics