Loosely Symmetric Neural Network Implementation

Lucie Formánková

Bachelor's thesis

Abstract:

Nedostatečná nebo nevyrovnaná data jsou častým problémem např. ve zdravotnictví, kde jsou data omezena kvůli ochraně osobních údajů a soukromí. Takovýto nepoměr má za následek snížení výkonnosti klasifikátorů, protože často dávají přednost klasifikaci majoritní třídy. Umělá neuronová síť při učení vyvažuje velké množství dobře připravených vyvážených dat. Naproti tomu lidé dokážou získat novou informaci i z mála dat. Tato práce se zabývá implementací kognitivních zkreslení do neuronových sítí, díky které by měl model více napodobovat lidský způsob učení. Model loosely symmetric neural network navržený Taniguchi et al. už byl dříve otestovaný autory v jazyce R a dosáhl nejlepších výsledků z ostatních testovaných. Protože implementace není dostupná, během této práci došlo k jejímu vytvoření v jazyce Python. Práce obsahuje teoretický úvod do strojového učení, popis algoritmu učení neuronových sítí a loosely symmetric modelu včetně vytvořených variant, a evaluaci. Během evaluace na problematice klasifikace spamu, nová implementace LSNN dokázala držet krok s modelem LSNB a dokonce měla lepší výsledky než model eLSNB, který byl dříve vyhodnocen na stejném datasetu jako nejlepší. Způsob „vylepšení“, ale není v původním popise jednoznačně vysvětlen. Není proto jasné, zda je model správnou implementací původního návrhu modelu LSNN. Tato implementace LSNN modelu dokázala svůj potenciál, proces učení by ale mohl být dále vylepšen doplněním metody předčasného ukončení trénování.

Abstract:

Insufficient or imbalanced data are a common issue, e.g., in healthcare where the data is limited to protect personal data and privacy. This imbalance results in classifiers' poor performance as they usually prioritize the majority class during classification. The artificial neural network requires a large amount of well-prepared balanced data. Human beings, on the other hand, can extract new information even from a few. This thesis deals with the implementation of cognitive biases into neural networks, which should help the model imitate human learning. The loosely symmetric model designed by Taniguchi et al. had been tested before by authors in the language R and achieved the best results from all tested models. During this thesis, the implementation was created in Python as there is no other available. The thesis contains a theoretical introduction to machine learning, the fit algorithm of the neural network, the loosely symmetric model description, including created variants, and the evaluation. During the evaluation of the spam classification, the new LSNN implementation managed to keep up with the model LSNB and even achieved better performance than the eLSNB model, which performed best on the same dataset in previous research. However, the method of "enhancement" is not clearly explained in the original description. Therefore, it is unknown whether this model is the correct implementation of the original design of the LSNN model. This implementation of the LSNN model proved its potential. However, the fit process could be further extended with the method of early stopping.

Keywords

umělá neuronová síť, kognitivní zkreslení, nevyvážená data, spam

Keywords

cognitive biases, imbalanced data, artificial neural network, spam

Language used: English

Date on which the thesis was submitted / produced: 9. 7. 2020

Thesis defence

• Date of defence: 14. 6. 2021
• Supervisor: Tomáš Kliegr
• Reader: Petr Berka

Vysoká škola ekonomická v Praze

Bachelor programme / field:
Aplikovaná informatika / Aplikovaná informatika