Data compression using grammar transformations

Michal Vašinek

Doctoral thesis

Abstract:

Komprese dat založená na statistických algoritmech je základem mnoha v praxi používaných kompresních algoritmů. Statistické kompresní algoritmy se obvykle využívají v posledním kroku kompresního schématu, kdy jejich použití předchází aplikování různých transformačních algoritmů. Jedním z konceptů transformačních algoritmů, který byl v nedávné době formalizován, je koncept transformace dat na základě gramatických transformací. Tyto transformace mají za cíl podchytit vnitřní strukturu dat a umožnit jejich efektivnější kompresi. Základním přístupem v gramatických transformacích je nalezení opakujících se podřetězců a jejich zakódování do abecedy neterminálních symbolů. V této práci se zabývám analýzou a návrhem algoritmů využívajících gramatických transformací. Rozlišuji zde dvě skupiny algoritmů: transformační algoritmy a algoritmy založené na bezkontextových a kontextových gramatikách. Je zde představen nový koncept transformací, který ke svému běhu nevyžaduje zavedení abecedy neterminálních symbolů, čímž usnadňuje uložení a následnou statistickou kompresi přepisovacích pravidel, zároveň však vyžaduje odlišnou definici inverzní transformace. Teoretická část práce pojednává o důsledcích aplikací transformačních a gramatických algoritmů na entropii nultého řádu a především prezentuje vztahy, které tyto důsledky exaktně popisují. Výsledkem této teoretické analýzy je několik modifikací populárního algoritmu Re-Pair a návrh algoritmu MinEnt. Vedlejším výsledkem této práce je návrh algoritmu DBC, který vybírá produkční pravidla na základě oddělujících symbolů.

Abstract:

Data compression based on statistical algorithms is the basis for many of the compression algorithms used in practice. Statistical compression algorithms are typically used in the last step of a compression scheme where their use precedes the application of various transformation algorithms. One of the concepts of transformation algorithms that has recently been formalized is the concept of data transformation based on grammar transformations. These transformations aim to capture the internal data structure and allow for more efficient compression. The basic approach in grammar transformations is finding repetitive substrings and encoding them into the alphabet of nonterminal symbols. In this work I deal with analysis and design of grammar transformations based algorithms. I distinguish here two groups of algorithms: transformation algorithms and algorithms based on the context-free and the context-sensitive grammars. A group of novel text transformation algorithms is presented, these algorithms do not require the introduction of the alphabet of nonterminal symbols, thus facilitating the storage and subsequent statistical compression of the production rules, but also requires a different definition of the inverse transformation. The theoretical part of the thesis deals with the consequences of applications of transformations and grammatical algorithms on zero order entropy and above all presents relations that exactly describe these consequences. The result of this theoretical analysis is several modifications of the popular Re-Pair algorithm and the design of the MinEnt algorithm. The secondary results of this work are the proposal of DBC algorithm that selects production rules based on delimiter symbols.

Keywords

gramatiky, bezkontextové gramatiky, komprese dat, entropie, Re-Pair, MinEnt, DBC

Keywords

grammars, context-free grammars, data compression, entropy, Re-Pair, MinEnt, DBC

Language used: English

Date on which the thesis was submitted / produced: 1. 10. 2018

Thesis defence

• Date of defence: 1. 2. 2019
• Supervisor: Jan Platoš
• Reader: Jaroslav Pokorný, Danny Dubé, Travis Gagie

VŠB - Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Doctoral programme / field:
Informatika, komunikační technologie a aplikovaná matematika / Informatika