Vývoj datového skladu na platformě Teradata a Informatica v sektoru pojišťovnictví

Zdeněk Šiler

Master's thesis

Data warehousing on technological platform TERADATA and Informatica in the insurance industry

Abstract:

Tato diplomová práce se zabývá vývojem datového skladu na technologické platformě TERADATA a Informatica Power Center (dále jen IFPC). TERADATA poskytuje robustní databázový systém vhodný pro ukládání velkého objemu dat a rychlé zpracování dotazů nad těmito daty. Produkt Power Center slouží jako nástroj pro vývoj ETL procesů. Oba nástroje patří k vyspělým technologiím pro budování velkokapacitních datových skladů. Spojení databázového systému TERADATA a ETL nástroje IFPC vytváří výkonnou platformu pro vývoj datového skladu, kde jsou ukládány velké objemy dat napříč celým podnikem. Práce analyzuje oba nástroje při budování datového skladu a specifika jejich využití v sektoru pojišťovnictví. Práce je rozdělena do dvou hlavních tematických bloků -- teoretické a praktické části. Teoretická část práce detailně popisuje databázový systém TERADATA a ETL nástroj IFPC, včetně analýzy business intelligence architektury v segmentu pojišťovnictví, kde se často využívá této platformy pro budování a rozvoj datového skladu. Práce popisuje architekturu databázového systému TERADATA a způsob, jakým TERADATA ukládá data a zpracovává dotazy. Dále jsou charakterizována specifika, která je nutno zohlednit při vývoji datového skladu nad databázovým systémem TERADATA, a zároveň jsou analyzovány jeho výhody a nevýhody. Databázový systém TERADATA je konfrontován s ostatními konkurenčními databázovými systémy. Práce se věnuje také obecné charakteristice ETL nástroji IFPC - architektuře a jednotlivým komponentám. Jsou zkoumány výhody a nevýhody IFPC oproti konkurentům dostupným na trhu. Závěr teoretické části analyzuje synergické efekty platformy TERADATA a IFPC. Práce objasňuje reálné výhody spojení obou prostředků při budování a rozvoji datového skladu. Praktická část demonstruje použití nástrojů TERADATA a IFPC při vývoji datového skladu na reálném projektu Unifikace klientských dat. Na tomto projektu je popsán celý proces vývoje v datovém skladu od byznys požadavků přes funkční a technický design až k implementaci konkrétnímu mappingu v IFPC, řešení chyb během ETL vývoje a způsobu testování mappingu. Hlavní důraz je kladen na realizaci mappingu v IFPC, který je implementován v reálném prostředí v sektoru pojišťovny. Součástí této práce je také porovnání ETL nástrojů IFPC a SSIS dostupného v integrovaném balíku SQL Server 2008 R2.

Abstract:

This thesis focuses on data warehousing on technological platform TERADATA and Informatica Power Center (further only IFPC). TERADATA provides a robust database system for storage of big volume data and query processing over such data. Product Informatica Powercenter is a tool for developing of ETL processes. Both of tools belong to mature technology for large data warehouse development which stores large volumes of data over the enterprise. The thesis analyses both tools to build data warehouse and the specifics of their use in the insurance sector. The thesis is divided into two main thematic sections - theoretical and practical part. The theoretical part describes database system TERADATA and ETL tool IFPC in details, including analysis of business intelligence architecture in the insurance segment, which often uses this platform for data warehouse development. The thesis describes the architecture of database system TERADATA and the way to data storage and query processing. Then specific features, on which is necessary to focus by TERADATA data warehouse development, are characterized. Also its advantages and disadvantages are analyzed. Database system TERADATA is faced with other competing database systems. The thesis deals with general characteristics of ETL tool IFPC -- software architecture a its components. It examines the advantages and disadvantages of IFPC compared to competitors on the market. Conclusion of the theoretical part analyzes the synergies between Teradata and IFPC. The thesis explains the real benefits of combination TERADATA and IFPC. The practical part of thesis demostrates the use of tools for data warehousing development on real project Unification of client data. This project describes the entire development process in a data warehouse from business requirements through functional and technical design to implementation of ETL mapping in Informatica Power Center. It deals with bug fixing during ETL development and testing methods. The pratical part focuses on implementation of chosen mapping in IFPC which is deployed in the insurance sector. Part of this thesis is a comparison of ETL tools IFPC with SSIS ETL tool integrated in MS SQL Server 2008 R2.

Keywords

SSIS, distribuce dat, sekundární index, primární index, statistiky, IFPC, pojišťovnictví, architektura BI, ETL, mapping, Informatica Power Center, TERADATA, Data warehouse

Keywords

SSIS, data distribution, secondary index, primary index, statistics, IFPC, insurance, architecture BI, ETL, mapping, Informatica Power Center, TERADATA, Data warehouse

Language used: Czech

Date on which the thesis was submitted / produced: 3. 1. 2012

Thesis defence

• Date of defence: 6. 2. 2013
• Supervisor: Miloš Maryška
• Reader: Jana Hanušová

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie