Forward error correction for storage applications

Bc. Michal Virgovič

Bachelor's thesis

Abstract:

Samo-opravné kódy (angl. Forward Error Correction codes) sú kľúčovým prvkom mnohých úložiskových systémov ktoré potrebujú zaistiť spoľahlivosť uložených dát. Tieto algoritmy sú založené na rôznych matematických teóriách, čo ich robí užitočnými pre iné použitia. Môžu využívať komplexné matematické operácie ako násobenie v konečných poliach, alebo jednoduché operácie ako je napríklad XOR. Všetky tieto faktory spôsobujú výkonnostné rozdiely rôznych samo-opravných algoritmov. Uložiskové systémy sú dôležitou komoditou informačnej spoločnosti a preto algoritmy na zaistenie integrity dát sú kľúčové. Toto je dôvod prečo je veľký dopyt po algoritmoch zaručujúcich ochranu dát, ktoré sú zároveň rýchle a nevyžadujú veľa dodatočného úložiskového priestoru. Tento dopyt je dôvodom existencie veľkého množstva dostupných knižníc implementujúcich tieto kódy. V tejto práci opisujeme základy, na ktorých stoja tieto algoritmy. Ďalej si zvolíme najpoužívanejšie kódy, ktoré taktiež opíšeme a zanalyzujeme ich výkon v rôznych odstupných knižniciach. Nakoniec rozoberieme výsledky merania a iných vlastností týchto implementácií.

Abstract:

Forward error correction algorithms are a vital element of many storage systems that require insurance of the reliability of data. These algorithms are based on various mathematical theories, and they are useful for different applications. They can use complex arithmetic operations like multiplication in Galois field or simple operations like XOR. All these factors contribute to the fact that the performances of these algorithms differ. Because storage is a crucial commodity of information society and the assurance of the integrity of data is essential, there is a high demand for algorithms that can ensure the data integrity aside from mirroring, which is not space-optimal. This demand is a reason why many open-source libraries emerged from different sources and backgrounds. In this work, we describe the basics on which these algorithms stand. We choose the most used codes in applications to explain the current situation of the theory. Then, we analyze the performance of these codes implemented by several libraries. Finally, we present our results of performance and discuss them along with other properties of these codes.

Keywords

forward error correction, erasure codes, storage, RAID, Ceph, Reed-Solomon, Low-density parity-check, Veritysetup

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2018

Thesis defence

• Date of defence: 25. 6. 2018
• Supervisor: Ing. Milan Brož
• Reader: RNDr. Petr Švenda, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Computer Systems and Data Processing