Parallelization of Query Processing in MedSavant

Bc. Miroslav Cupák

Diplomová práce

Anotace:

Táto práca sa zaoberá analýzou problematiky paralelizácie spracovania databázových dotazov na úrovni aplikácie s využitím techniky zvanej sharding (rozbitie, rozlomenie). Práca je inšpirovaná potrebou vyššieho výkonu a škálovateľnosti aplikácie MedSavant umožňujúcej vyhľadávanie nad genetickými variantmi. Výsledkom je modul pre tento systém založený na všeobecne použiteľnom rámci poskytujúcom tento druh paralelizácie, čo dovoľuje aplikáciám využiť viacero procesorov či strojov pre spracovanie dát. Táto technika vedie k takmer lineárnej škálovateľnosti systému, pričom mnohé dotazy dosahujú dokonca lepšie než lineárne zrýchlenie.

Abstract:

This work analyzes application-level parallelization of database query processing by means of sharding. The approach is driven by the need for better performance and scalability of MedSavant, an open-source search engine for genomic variants. The result of this thesis is a module for MedSavant providing a complete data access layer, the core of which is a general framework for application-level sharding. The approach allows the application to utilize multiple processors as well as machines when querying the underlying data. This enables the system to scale in a near-linear fashion as more servers are added, with many queries achieving even super-linear speedup.

Keywords

MedSavant, parallelization, sharding, genomic variant, query, Hibernate, Infobright

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 8. 1. 2014

Obhajoba závěrečné práce

• Obhajoba proběhla 10. 2. 2014
• Vedoucí: prof. RNDr. Luboš Brim, CSc.
• Oponent: RNDr. Milan Češka, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Informatika / Počítačové sítě a komunikace