Outliers and structural breaks in time series using state space models and indicator saturation approach

Zuzana Leová

Master's thesis

Outliery a štrukturálne zmeny v časových radách s použitým state space modelov a indikátorovo-saturánym prístupom

Abstract:

S rýchlym rastom dostupných dát mnohé firmy investujú dátovej analýzy, identifikácie trendov a zmien v dátovej štruktúre. Neočakávané zmeny, ako sú napríklad šoky, môžu významné ovlyvniť výber najlepšieho prediktivneho modelu, diagnostickú analýzu a tvorbu prognóz. Pre získanie cenných informácií z dát je preto automatická detekcia štrukturálnych zmien v časových radách nutná. Kalmanov filter a space state modely potvrdili presnosť i flexibilitu pri extrakcii komponent časových rad. S použitím indicatoro-saturálneho prístupu a stepwise selekcie premenných, sme vyvinuli techniku identifikácie outlierov a štrukturálnych zmien v časových radách, a to vrátane identifikácie konkrétneho typu anomálie. Vzhľadom na to, že výskum bol primárne zameraný na použitie základného štrukturálneho modelu, výsledky prezentujú detekciu štyroch typov: aditívnych outlierov, zmeny úrovne, trendu a zmeny sezónnosti. Z dôvodu porovnania vyvinutého algoritmu s alternatívnymi detekčnými technikami bol prevedený Monte Carlo experiment s prešetrením rôznych scenárov. Zistili sme, že vyvinutá metóda dokáže zachytiť štruktúru časových rad bez preučenia a nadmerných zásahov analytika; preto, postup je presnejší. Kontrastne, v porovnaní s alternatívnymi technikami, náš prístup je výpočtovo náročný.

Abstract:

With the rapid growth of available data, many companies are struggling to identify valuable trends and important changes in the data structure. Unexpected changes in unobserved components of time series, such as shocks or trend changes, can significantly impact the choice of the best fitting model, diagnostic tests, and forecast creation. To create valuable insights, the automatic detection of outliers and structural changes is more often necessary than merely desired. Kalman filteringand smoothing techniques have proved to be both precise and flexible in extracting unobserved components in time series. With incorporation of the indicator saturation approach and step-wise variable selection, we develop a technique to effectively identify outliers and changes in structural time series, including detection of the particular type of outlier or change. Considering the basic structural model, we focus on the detection of four types: additive outliers, level shifts, trendchanges, and seasonal additive outliers. We use Monte Carlo simulations to investigate the performance of the algorithms under different variances, outlier magnitudes, and locations. Next, wecompare the simulation results with the performance on a real data set with eight time series of hierarchical structure, in comparison to alternative outlier detection techniques. We found that thedeveloped method is able to capture the time series structure without over-fitting; therefore, the detection procedure is more precise. On the other hand, in comparison to the alternative techniques,our approach is computationally more expensive. Thus it should be used carefully with respect to specific use cases.

Keywords

Outliery, Štrukturálne zmeny, State space modely, Indikátoro-saturálny pristup

Keywords

Basic structural model, State Space models, Time series econometrics, Indicator saturation approach

Language used: English

Date on which the thesis was submitted / produced: 29. 5. 2017

Thesis defence

• Date of defence: 30. 1. 2019
• Supervisor: Jan Zouhar
• Reader: Vladimír Holý

Vysoká škola ekonomická v Praze

Master programme / field:
Kvantitativní metody v ekonomice / Ekonometrie a operační výzkum