Klasifikace světelných křivek kvasarů s použitím metod data-miningu

Bc. Martin Vo

Master's thesis

Classification and detection of the quasar light curves with help of data-mining methods

Abstract:

Cílem této práce je představit různé přístupy strojového učení ke klasifikaci světelných křivek kvazarů. Tyto objekty jsou ideální pro testování klasifikačních metod, protože jejich proměnnost je nepravidelná a bez nápadných charakteristických rysů. Navíc jsou velmi podobné světelným křivkám Be hvězd, které stále tvoří početnou skupinu mezi kandidáty na kvazary v mnoha astronomických automatizovaných přehlídkách. Podobnost je většinou tak velká, že i pro oko odborníka jsou tyto objekty nerozlišitelné. Z tohoto hlediska není cílem této práce pouhá automatizace klasifikačních procesů, ale zároveň vytvoření modelu, který překoná i odborný lidský úsudek. Model musí být schopen se naučit i nepatrné závislosti mezi jednotlivými vzory, které lidskému oku mohou uniknout, a proto jsou kladeny vysoké nároky na zpracování dat, způsob reprezentace objektů pro klasifikaci a komplexnost modelu. Za tímto účelem byl vytvořen Light Curves Classifier – program pro klasifikaci světel- ných křivek s využitím metod data miningu a strojového učení. Projekt byl vyvíjen přes 3 roky a je nyní k dispozici pro širokou veřejnost jako webová aplikace, Pythonovská knihovna nebo jako aplikace příkazového řádku. Program je schopen se naučit z tréno- vacích dat na základě specifikovaných rysů popisujících zkoumané objekty. Natrénované modely mohou být použity k filtrování výstupů z astronomických databází nebo z lokálně uložených dat. Implementované databázové konektory lze použít ke stahování světelných křivek z různých databází jako OGLE II, OGLE III, MACHO, Kepler, ASAS či CoRoT. Za pomocí tohoto balíku byl natrénován klasifikační model pro rozpoznávání kvazarů od Be hvězd, proměnných hvězd a neproměnných hvězd. Jednotlivé hvězdy byly pro klasi- fikaci reprezentovány různými parametry jako je například odlišnost od vzorku známých kvazarů. Natrénovaný model byl pak použit k porovnání výsledků s podobnou prací za účelem ověření přesnosti modelu. Druhá část práce je věnována aplikaci konvolučních neuronových sítí na světelné křivky. Přestože jsou konvoluční neuronové sítě široce využívány pro obrazová data a časové řady, v oblasti světelných křivek jde stále o poměrně netradiční přístup. Důvodem je kvalita světelných křivek, která je pro neuronové sítě zpravidla nedostačující. Světelné křivky jsou většinou značně zašuměné a obsahují mnoho chybějících hodnot. V této práci je ukázáno, že i takováto data mohou za pomocí důkladného zpracování vést k vytvoření kvalitního modelu. Klasifikační modely predikují pravděpodobnost příslušnosti do jednotlivých tříd, ale zpravidla nám neumožňují lépe porozumět zkoumaným objektů. V práci je ukázáno, že vizualizace konvolučních filtrů je jeden ze způsobů, jak odhalit na jaké vzory se neuronové sítě dívají. Generativní adversariální neuronové síťě mohou být vhodnou metodou k lepšímu porozumění proměnnosti kvazarů. Skládají se ze dvou modelů, které se navzájem trénují. V našem případě, první model klasifikuje světelné křivky a druhý vytváří nové, které se po zdárném natrénování podobají světelným křivkám kvazarů. Analýza aplikace této metody pro kvazary může být použita pro tvorbu modelů i pro jiné astronomické objekty, jedná se tak o zcela nový přístup ke světelným křivkám.

Abstract:

The goal of this work is to present machine learning approaches for classification of light curves of quasars. These objects are ideal for testing classification models because their variability is irregular and without any obvious characteristic patterns. Moreover, light curves of Be stars are very similar to the light curves of the quasars and they are usually indistinguishable even for the experts in the field. It means that the aim is not only to build an automatic classification pipeline to process a huge amount of data but to build a model which even outperform a human. Therefore the model has to be much more complex in order to detect tiny dependencies between particular patterns which are almost invisible to the human eye. In this work, Light Curves Classifier is presented – a package which utilizes various modern instruments and methods of data mining and machine learning in order to build efficient classification pipelines. It has been developed over 3 years and it can be used as Python package, web application or command line application. The program is capable of learning from the given training sample based on specified features describing inspected objects. The trained classifiers can be used to filter the outputs from an astronomical database or from the data stored locally. The database connectors can be also employed to download queried light curves and all available information from sources such as OGLE II, OGLE III, MACHO, Kepler, ASAS and CoRoT. Finally, a classification pipeline was developed to distinguish quasars from Be stars, variable stars and stars without a variability. Particular stars were described by various features such as dissimilarity from template quasars. The trained model was then used to compare results from similar work in order to determine the precision of the model. The second part of this work is dedicated to Convolutional Neural Networks and their application for light curves. Despite the fact that they are widely used for sequential data, it is still a quite new approach for light curves, because they are often noisy and contain lots of missing values which can be very problematic. In this work, it is shown that by proper feature engineering even low-quality data from ground-based observations can be employed to make a decent model. Classification models usually do not provide any knowledge about the inspected ob- jects. Since neural networks are complicated and hard to interpret, one can hardly explain decisions of the model. A new proposal of this work is to use Generative Adversarial Neural Network (GAN) which is designed exactly for such kind of tasks. It combines two models in order to make a powerful pair of classifier and generator which are trained together. Analysis of the application of the method can be used to develop custom models for arbitrary astronomical objects because for light curves it is a completely new approach.

Keywords

light curves, Machine Learning, Convolutional Neural Network, Generative Adversarial Neural Network, SAX, Quasars, time series, světelné křivky, kvazary, časové řady

Language used: English

Date on which the thesis was submitted / produced: 15. 5. 2018

Thesis defence

• Date of defence: 13. 6. 2018
• Supervisor: Mgr. Viktor Votruba, Ph.D.
• Reader: Mgr. Filip Hroch, Ph.D.

Masaryk University

Faculty of Science

Master programme / field:
Physics / Theoretical Physics and Astrophysics