Databázové zpracování klimatologických dat

RNDr. Radim Tolasz, Ph.D.

Doctoral thesis

Database Processing of Climatological Data

Abstract:

V posledních letech významně roste význam klimatologických databázových aplikací. Historická klimatologická data společně s datovými výstupy z automatických meteorologických stanic vytváří velký objem údajů a dalších klimatologických informací. Dostupné databázové systémy nabízejí různé možnosti zpracování dat. Moderní klimatologické aplikace obsahují informace o měření a o stanicích, tzv. metadata, datovou část, produkty, umožňují přímé spojení s dalšími aplikacemi (například GIS) a různé výstupy. Český hydrometeorologický ústav vyvíjí klimatologickou databázovou aplikaci CLIDATA pro práci s metadaty a k základnímu zpracování klimatologických údajů. Metadata obsahují geografický popis měřících stanic a aplikaci pro jejich správu. Je možné rozšířit popis stanice o textové poznámky, mapy, fotografie a sluneční obzor, pokud je v okolí stanice komplikovaný terén. Sluneční obzor má vliv na měření slunečního svitu i na jednotlivé parametry slunečního záření. Fotografie, zvláště v zastavěných oblastech, usnadní popis vlivu měst na pozorování. Popis pozorování je součástí definice každé stanice. Seznam prvků na stanici a pozorovací rozvrhy jsou uloženy v databázi pro aktuální i historické stanice. Pro každý prvek může existovat více popisných informací v závislosti na způsobu jakým se pozorování jednotlivých prvků v historii vyvíjelo. Databáze umožňuje zapsat k jednotlivým prvkům i používaný přístroj. Informace o stanici obsahuje i další podrobnosti (výměna a opravy přístrojů, počty používaných přístrojů, výsledky kontrolních návštěv stanice, přehled chyb v pozorování na stanici, školení pozorovatelů, apod.) a podrobné informace o pozorovateli na stanici. Aplikace má čtyři základní možnosti vstupu dat. Zaprvé import dříve pořízených údajů z předcházejících aplikací. Druhá možnost spočívá v importu textových souborů. Pro import textových souborů jsou v aplikaci definovány importní metody, které popisují formát vstupního řádku textového souboru (identifikace stanice, datum a prvek). V tomto případě uživatel pouze předá textový soubor na server. Po ukončení importu uživatel zkontroluje importní protokol a pokud se vyskytly v importu chyby, musí uživatel import opakovat. Třetí možností je import zpráv z telekomunikačních sítí nebo dalších zdrojů elektronických dat. V tomto případě musíme identifikovat formát zprávy. Stejně jako v předcházejících případech je vnitřní struktura zprávy popsána v aplikaci. Čtvrtou volbou je přepis dat z papírových výkazů. Nejprve musí být definován pořizovací formulář, který je vzhledově podobný papírovým výkazům. Formulář je možné používat po řádcích nebo po sloupcích, může obsahovat kontrolní součty ve sloupcích nebo v řádcích. Pořízené údaje jsou v jednotlivých formulářích ihned kontrolována s pomocí předem definovaných kontrolních rovnic, chybné nebo podezřelé hodnoty jsou označeny různou barvou. Pro pořízení údajů o meteorologických jevech jsou k dispozici zvláštní pořizovací formuláře pro až 24 jevy denně na každé stanici. Formulář obsahuje symbol meteorologického jevu, jeho začátek a konec a také intensitu. Údaje jsou z pořizovacích formulářů ukládány přímo do databázových tabulek. Kontrola údajů probíhá ve třech krocích. Nejprve je provedena kontrola horního a dolního limitu pro každý prvek, bez ohledu na místo nebo nadmořskou výšku stanice. Tato kontrola je jen velmi hrubá. Následuje "statická" kontrola podle rovnic, které definují vzájemné vztahy mezi prvky. Například maximální denní teplota vzduchu musí být vyšší nebo rovna všem teplotám které byly změřené během toho dne. Tato kontrola je prováděna v pořizovac

Abstract:

ích formulářích. Kód kvality je přidán k jednotlivým hodnotám po provedených kontrolách. Uživatel rozhodne, zda je hodnota správná, odhadne správnou hodnotu, nebo provede externí výpočet správné hodnoty. Pro třetí úroveň kontroly údajů systém využívá tabulky extrémních hodnot. Je nutné, aby bylo v databázi uloženo dostatečné množství údajů pro každou stanici a prvek. Nejprve je nutné vypočítat empirické pravděpodobnosti z údajů za nejméně dvacet let. Geografický informační systém zobrazuje na mapě symboly různých barev podle zařazení údajů do intervalů tvořených hodnotami empirických pravděpodobnosti. Uživatel takto snadno najde údaje, které mohou být chybné a nebyly detekovány v předcházejících kontrolních úrovních. Po provedení této kontroly je k celému měsíčnímu záznamu zapsán příznak signalizující, že hodnoty pro měsíc, prvek a čas pozorování byly zkontrolovány. Základní výpočty klimatologických hodnot jsou součástí databázové aplikace. Umožňují standardní klimatologické zpracování údajů a tvorbu různých výstupů. Uživatelem databázových produktů je Česká akademie věd, univerzitní pracoviště a další. Mezinárodní spolupráce mezi meteorologickými službami ve světě je důležitou součástí aplikace CLIDATA a předpokladem jejího dalšího rozvoje v budoucnosti. V současné době je aplikace CLIDATA používána v téměř 20 zemích.

Abstract:

The importance of climatology databases has grown significantly recently. Both historical data files and output from automatic weather stations produce huge of data and other climatological information. The database systems currently available offer extensive options for data processing. The modern climatological applications contain metadata information, data part, products, connections to other applications (GIS for example) and various outputs. The Czech Hydrometeorological Institute is developing the special climatological application CLIDATA for metadata and data handling. Metadata part contains mainly geography description of all stations and application to manage them. It is possible to extend the station description to include the above text constants, maps and photographs, and, if available, the skyline, especially where the terrain is complicated. The skyline may have a profound influence on measuring sunshine or individual parameters of sun radiation. Photographs, particularly at urban sites, will facilitate considerations of a city’s impacts on the station’s observations. The description of its observations belongs to each of the stations. The defined elements and observation schedules will be used, whereby the observation schedule is defined exactly for both the current situation and the observations made in the past. For each element, multiple rows in the table may be used depending on the way the observation of the element kept changing, and both regular and irregular observations can be typed in together. We also need to type in the instruments with the help of which the observations are (were) made. Furthermore, information about the station needs to be entered (replacement and repairs of instruments, stock-take numbers of instruments, results of visiting the station together with the notification of the errors the station may be making, etc.) and information about the observer(s) at the station. The raw data have four basic options of working with data. The first option consists in importing data processed earlier, which is currently in the electronic form. The second option also consists in importing earlier obtained data from text format. For importing this data user have to define an import method that will describe the data in a line of a text file (station identification, date and element) and in this case we will store the data on the server. After completing the import, we will identify the number of errors and their causes in a separate file again. The third option is to import data from telecommunication networks or other sources of electronic data. In this case we have to identify the arrangement of the message. Like in the previous cases the internal structure of the message must be described and the procedure will thence be analogous. The fourth option is data entry. Here, the data entry form has to be defined first of all. The data entry form is a virtual analogy to paper documents. The form may have the portrait or landscape format, and it may contain check sums in columns or rows. Any number of data entry forms may be defined, and if the data is checked for correctness by means of new production, a mismatch in values can be marked by a different colour. For entering data on phenomena, a predefined virtual form exists and can be used; up to 24 phenomena for any station and day in the month can be typed in. The symbol of the phenomenon, and its beginning and end and also its intensity can be written and stored in the form. In all cases the stored values are stored directly in the database, which makes it possible to use them for operating purposes. Data is checked in three steps/levels. First of all it is checked against the general limits for each element, regardless of the site or altitude. This check is obviously only very rough. Then a “static” check is performed based on the equations stored in separate tables. Here it is defined, for example, that the maximum daily air temperature m

Abstract:

ust be higher than or at least equal to all the temperatures that were measured during that day. This check is performed in the virtual data production forms. In this case, the data quality code can be attached to the data, or the data may be extended to include estimates or calculations. For the third level of check, tables of extreme values need to be calculated, which implies that the database must already contain a sufficient amount of data for each station and element. It appears that the best approach is to calculate empirical probabilities for a period of at least twenty years, on the basis of which the normal values are calculated. Geographical information systems will then plot them in maps using different colours according to the different probability levels, which make it relatively easy to find – at least for meteorological elements with homogeneous values – implausible or quite erroneous values that have escaped the previous checks. After this check, a flag appears in the table to indicate that the values for the month, element and observation time have been validated. The basic climatographic calculations can be included in the database application. Each application is expected to contain a number of products. The Czech Academy of Science, Universities and other users can use data saved in database. The international cooperation between meteorological services around the world is important part of CLIDATA future. Nowadays nearly 20 countries use the CLIDATA application.

Keywords

klimatologické údaje, databázová aplikace, zpracování dat, CLIDATA climatological data, database application, data products, CLIDATA

Language used: Czech

Date on which the thesis was submitted / produced: 15. 5. 2007

Thesis defence

• Date of defence: 15. 6. 2007
• Supervisor: prof. RNDr. Rudolf Brázdil, DrSc.
• Reader: Prof. RNDr. Vít Voženílek, CSc., Prof. RNDr. Milan Lapin, CSc.

Masaryk University

Faculty of Science

Doctoral programme / field:
Geography / Physical Geography