Komprimace dat s využitím hlubokého učení

Petr Ptáček

Diplomová práce

Data Compression Using Deep Learning

Anotace:

Diplomová práce se zabývá problematikou komprese dat za pomocí využití umělých neuronových sítí. V rámci práce popisuji využití umělých neuronových sítí pro výpočet podmíněných pravděpodobností jednotlivých bajtů v souboru, který chceme komprimovat. Na základě těchto pravděpodobností je možné data komprimovat za pomocí algoritmu aritmetického kódování. Pomocí těchto pravděpodobností lze také předem odhadnout výslednou velikost komprimovaného souboru za pomocí informační entropie. Práce také popisuje práci s Tensorflow knihovnou, Keras a jupyter lab prostředím. V rámci několika různých sérií experimentů bylo zjištěno, že komprimace dat využívající predikce neuronových sítí nám dávají zajímavé výsledky pro různé architektury neuronových sítí. Součástí práce je také postup zpracování vstupních dat, jednotlivé modely neuronových sítí a výsledky experimentů.

Abstract:

The thesis deals with the problem of data compression using artificial neural networks. Within the thesis, I describe the use of artificial neural networks to calculate conditional probabilities of individual bytes in the file we want to compress. Based on these probabilities, the data can be compressed using an arithmetic coding algorithm. These probabilities can also be used to estimate the resulting compressed file size in advance using information entropy. The thesis also describes the work with the Tensorflow library, Keras and the jupyter lab environment. In several different series of experiments, it was found that data compression using neural network prediction gives us interesting results for different neural network architectures. The paper also includes the input data processing procedure, the different neural network models and the results of experiments.

Klíčová slova

Umělé neuronové sítě, Rekurentní neuronové sítě, Plně propojené neuronové sítě, Self-Attention mechanismus, LSTM, GRU, Komprese dat, Tensorflow, Keras, Aritmetické kódování, Python, Jupyter lab, Entropie, Zpracování textu, Generování textu, Náhradní model, Modelování pravděpodobností

Keywords

Artificial neural networks, Recurrent neural networks, Fully connected neural networks, Self-Attention mechanism, LSTM, GRU, Data compression, Tensorflow, Keras, Arithmetic coding, Python, Jupyter lab, Entropy, Text processing, Text generation, Surrogate model, Probability modeling

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 30. 4. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 5. 6. 2024
• Vedoucí: Michal Vašinek
• Oponent: Jan Platoš

VŠB – Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Magisterský studijní program:
Informatika