Predikce časových řad hlubokými neuronovými sítěmi

Bc. Lada ZADRANSKÁ

Master's thesis

Time Series Forecasting using Deep Neural Networks

Abstract:

Recurrent Neural Networks are models designed to operate over sequential data, used for classification and regression tasks. Types of Recurrent Neural Networks are described in this thesis and the algorithms are used in the implementation of a baseline model for time series forecasting. Grid Search or Bayesian Optimisation are strategies that assist in finding the best combination of hyperparameters -variables, which have a great impact on the process of learning. The purpose of the thesis is to find whether Side-Channel Injection could improve the accuracy of predictions using RNNs. Mean and slopes and intercepts of a fitted line are fed as new variables with input data to the networks and the functionality of this method is verified using the implementation of the two models. Another RNN structure is introduced as the Augmented RNN model as a compromise between simple RNNs and RNN Autoencoders. Several experiments were conducted for the aforementioned models and the Augmented RNN model was selected as the model with the best performance using Akaike's Information Criterion, Hypothesis Testing and visual result comparison. Another contribution of this thesis is a detailed overview of the process of implementing RNN Autoencoders and the techniques used for hyperparameters optimisation.

Abstract:

Rekurentní neuronové sítě jsou modely pracující s posloupnostmi dat používané pro klasifikační i regresní úlohy. Typy rekurentních neuronových sítí jsou definovány v této práci společně se svými algoritmy, které jsou použity při implementaci výchozího modelu. Grid Search či Bayesovská optimalizace jsou metody pomáhající nalézt optimální hodnoty hyperparametrů - proměnných, které ovlivňují rychlost a přesnost učení. Tyto metody byly použity k nastavení neuronové sítě. Cílem této práce bylo zjistit, zda může metoda injekce postranních kanálů zlepšit přesnost predikcí rekurentních neuronových sítí. Průměr a směrnice a úsek přímky dané lineární regresí jsou použity jako nové proměnné vstupních dat a funkčnost této metody byla ověřena implementací těchto dvou modelů. Další struktura rekurentní neuronové sítě je definována jakožto Rozšířený RNN model, který je kompromisem mezi klasickou rekurentní neuronovou sítí a autoenkodéry využívajícími rekurentní neuronové sítě. Pro všechny modely bylo provedeno několik experimentů a Rozšířený RNN model byl za pomoci Akaikova informačního kritéria, testování hypotéz a~analýzy výsledků na zákládě pozorování grafů vybrán jako nejlepší model. Dalším přínosem této práce je detailní přehled postupů při implementaci autoenkodérů využívajících rekurentní sítě a popis technik použitých při optimalizaci hyperparametrů.

Keywords

Strojové učení, rekurentní neuronové sítě, Long-Short Term Memory, Gated Recurrent Unit, Seq2Seq, predikce časových řad, injekce postranních kanálů, TensorFlow

Language used: English

Date on which the thesis was submitted / produced: 27. 6. 2019

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Kamil Ekštein, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / field:
Computer Science and Engineering / Information Systems