Využití Spark pro zpracování dat na HPC infrastruktuře – Jiří Cága
Jiří Cága
Diplomová práce
Využití Spark pro zpracování dat na HPC infrastruktuře
Spark for Data Processing on the HPC Infrastructure
Anotace:
Diplomová práce popisuje technologie Apache Hadoop a Spark. V první částí seznamuje jak s popisem technologií tak s implementací vybraných algoritmů za pomoci těchto technologií. Druhá část je věnována návrhu grafického klienta pro spouštění implementovaných algoritmů nad službou HPC as a Service. Hlavním cílem bylo porovnání různých implementací algoritmů s využitím Apache Hadoopu a Sparku nad rozsáhlými …víceAbstract:
Diploma thesis describes technologies an Apache Hadoop and a Spark. In first part it explains technologies and implementation selected algorithms. The second part is devode design graphic client for launching implemented algorithms on HPC as a Service. The main goal was compare different implementation algorithms with use Hadoop and Spark onto range of dataset on HPC infrastructure in technology center …více
Jazyk práce: čeština
Datum vytvoření / odevzdání či podání práce: 30. 4. 2018
Identifikátor:
http://hdl.handle.net/10084/128338
Obhajoba závěrečné práce
- Obhajoba proběhla 4. 6. 2018
- Vedoucí: Jan Martinovič
- Oponent: Jan Kožusznik
Citační záznam
Citace dle ISO 690:
CÁGA, Jiří. \textit{Využití Spark pro zpracování dat na HPC infrastruktuře}. Online. Diplomová práce. Ostrava: Vysoká škola báňská - Technická univerzita Ostrava, Fakulta elektrotechniky a informatiky. 2018. Dostupné z: https://theses.cz/id/9x7e1m/.
Plný text práce
Právo: Plné texty vysokoškolských kvalifikačních prací obhájených na Vysoké škole báňské - Technické univerzitě Ostrava jsou uloženy v repozitáři DSpace. Přístup k plným textům mají všichni uživatelé bez omezení. Přístup je omezen pouze ve výjimečných případech, zpravidla z důvodu ochrany duševního vlastnictví. Nepřístupné práce jsou označeny jako closedAccess nebo embargoedAccess. Tištěné verze prácí jsou uloženy v Ústřední knihovně VŠB-TUO a jsou prezenčně přístupné ve studovně diplomových prací. Další nakládání s prací (kopírování, opisy, MVS) se řídí Knihovní a výpůjčním řádem Ústřední knihovny VŠB-TUO.
Obsah online archivu závěrečné práce
Zveřejněno v Theses:- autentizovaným zaměstnancům ze stejné školy/fakulty
Jak jinak získat přístup k textu
Instituce archivující a zpřístupňující práci: VŠB - Technická univerzita OstravaVŠB - Technická univerzita Ostrava
Fakulta elektrotechniky a informatikyMagisterský studijní program / obor:
Informační a komunikační technologie / Informatika a výpočetní technika
Práce na příbuzné téma
-
Identifikace cílů RNA vazných proteinů pomocí Machine Learning algoritmů
Eliška Chalupová -
Aplikace machine learning algoritmu na doporučení zboží ke koupi
Štěpán Kameník -
Machine Learning for Text Anomaly Detection
Alina Tsykynovska -
Localization of mobile devices using machine learning
Aleš Calábek -
Automate issue tagging and categorization using machine learning techniques
Michal Mokroš -
Supervised and Unsupervised Machine Learning Methods for System Log Anomaly Detection
Júlia Ščensná -
Deployment of a federated machine learning architecture on oncological data
Martin Kadaši -
Machine learning analysis and cataloging of extragalactic sources
Matej Kosiba