Experimentální zpracování velkých dat

Bc. Michal KASAL

Master's thesis

Experimental processing of big data

Abstract:

Diplomová práce se zabývá problematikou velkých dat v biologii. Představuje termín velkých dat a nabízí přehled významných biologických databází. U těchto databází popisuje reprezentaci uložených dat a přístupy, kterými lze data získat. Dále práce obsahuje informace o některých metodách, které lze využít k analýze velkých dat v oblasti komparativní genomiky. Práce představuje současná paradigmata zpracování velkých dat a popisuje jednotlivé nástroje, které lze ke zpracování dat využívat. Tyto nástroje jsou v práci srovnány a některé z nich následně používány pro provádění experimentů týkajících se klasifikace variant lidského genomu podle etnicity. Klasifikace byla provedena nástrojem KNIME samostatně a také v kombinaci s Apache Sparkem. Provedené experimenty ukázaly, že optimálního zpracování velkých biologických dat lze dosáhnout distribuovaným zpracováním ve frameworku Apache Spark. Výsledky práce lze aplikovat na existující projekty. Bylo navrženo řešení pro analýzu velkých elektrofyziologických dat uložených v EEG/ERP Portálu.

Abstract:

This master thesis focuses on Big Data analytics in biology. After introducing this term, it provides an overview of important biological databases and describes a representation of stored data and approaches that can be used to obtain them. The thesis also contains the brief description of used methods for analysis of Big Data in comparative genomics. The thesis introduces current paradigms of processing Big Data, describes tools used for analytics and compares them. Some of these tools are then used for the classification variants of human genomes by ethnicity. The classification was done using KNIME as a standalone tool and in combination with Apache Spark. The experiments showed that distributed processing of big data in framework Apache Spark was optimal. Results can be applied on existing projects. This thesis also proposes a solution for analysis of the big data stored in the EEG/ERP Portal.

Keywords

velká data, biologické databáze, KNIME, Apache Spark

Language used: Czech

Date on which the thesis was submitted / produced: 12. 5. 2016

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Roman Mouček, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / field:
Computer Science and Engineering / Information Systems